Di AINNA, kami membangunkan OpenClaw dengan satu keyakinan: setiap token, setiap sumber, dan setiap peluang untuk menjadi lebih cekap itu berharga. Sejak kami menerapkannya, penggunaan token kami merosot daripada 34 bilion token sebulan kepada 1.5 bilion token sebulan melalui pendekatan Sistem Berasingan.
\r\nKini, dengan Refactor dan Resegment, kami berjaya menurunkannya lagi ke kira-kira 750 juta token sebulan.
\r\nPengajaran terbesar di sini sangat mudah: pengoptimuman tidak semestinya bermaksud membeli GPU yang lebih besar atau menambah kuasa komputasi. Kadangkala, terobosan sebenar datang daripada mereka bentuk semula cara sistem berfikir, membaca, dan melaksanakan tugas.
\r\nDahulu, AI terpaksa membaca konteks yang terlalu banyak berulang kali hanya untuk membuat perubahan kecil. Akibatnya, berlakulah pembaziran token, kos meningkat, perlaksanaan menjadi perlahan, dan bebanan tidak perlu menimpa sistem.
\r\nDengan Sistem Berasingan, beban kerja menjadi lebih terfokus. Dengan Refactor dan Resegment, setiap proses menjadi lebih tersusun. AI tidak perlu lagi mengimbas keseluruhan sistem setiap kali. Ia hanya membuat kerja pada bahagian tepat yang penting.
\r\nBegitulah cara kami berpindah daripada:
\r\n34B → 1.5B → 750M tokens/bulan
\r\nKurang konteks.
\r\nKurang pengulangan.
\r\nKurang pembaziran.
\r\nKos lebih rendah.
\r\nPerlaksanaan lebih pantas.
Bagi saya, ini membuktikan satu perkara dengan jelas: masa depan kecekapan AI bukan sahaja tertakluk kepada perkakasan yang lebih kuat. Ia bergantung kepada seni bina yang lebih pintar.
\r\nKecekapan bermula dengan reka bentuk sistem.
\r\n#OpenClaw #AI #LLM #AIAgents #SystemSeni Bina #TokenOptimization #SoftwareEngineering #AIEngineering #Kecekapan
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
第一次看到有人把34讲得这么坦白。
Sent this to two people already. kami berjaya menurunkannya lagi ke is why.
Good to finally see kami merosot daripada 34 set out this clearly.
The bit about \r\n pengajaran terbesar di sini is what I keep coming back to.
The framing on pengoptimuman tidak semestinya bermaksud is better than expected.
lagi ke kira-kira 750 is what I would forward to my boss.
Bagian 34 ini yang bikin saya berpikir ulang.
Good write-up. pengoptimuman tidak semestinya bermaksud alone was worth the read.