Kalau tengok dari sudut operasi, kos bulanan AI boleh melonjak tinggi bergantung pada model, struktur sistem, dan corak penggunaan. Tetapi masalah sebenar bukan semestinya AI itu mahal. Kebanyakan syarikat guna LLM besar untuk setiap tugas, termasuk kerja-kerja yang sebenarnya boleh diselesaikan dengan peraturan mudah, script, database, atau model tempatan yang lebih kecil.
Sama macam guna lori treler untuk hantar satu beg kecil dari Melaka ke Kuala Lumpur. Lori memang boleh buat kerja itu, tapi Kancil pun boleh hantar barang yang sama dengan jauh lebih jimat minyak dan kos penyelenggaraan. Itu prinsip Smart Routing: guna enjin pemprosesan yang sesuai dengan tugas tertentu.
Di NeuralOps, Sistem Berasingan Builder Agent kami menggunakan LLM tempatan, Guard Rails, dan Smart Routing untuk mereka dan bina sistem. Penggunaan token memang tinggi pada peringkat awal - untuk pembelajaran, pembangunan, ujian, dan validasi - tetapi fasa ini sementara sahaja.
Sebaik sahaja Sistem Berasingan siap, operasi berulang akan dialihkan kepada peraturan tetap, perkhidmatan PHP, skrip automasi, database, dan aliran kerja yang telah disahkan. Sistem itu kemudian boleh berjalan berterusan tanpa perlu LLM memproses setiap transaksi.
Hasilnya, penggunaan token bulanan boleh turun dari kira-kira 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk pengecualian, kes tidak dikenali, penambahbaikan sistem, dan tugas yang benar-benar memerlukan AI. Dalam sesetengah kes gunaan, aliran kerja detached utama itu sendiri boleh beroperasi dalam lingkungan USD20 sebulan, bergantung pada infrastruktur dan beban kerja.
Apa yang kami perhatikan di lapangan:
Penggunaan token lebih rendah
Kos operasi jangka panjang lebih jimat
LLM tempatan untuk kawalan lebih baik
Guard Rails bagi output yang lebih boleh diramal
Smart Routing supaya tidak bergantung pada model yang terlalu besar
AI digunakan hanya apabila AI benar-benar diperlukan
Aliran kerja detached yang terus berjalan tanpa caj token berulang
Prinsip NeuralOps mudah sahaja:
Jangan guna lori kalau Kancil boleh buat kerja itu. AI bina sistem. Kemudian sistem itu berjalan sendiri.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
32のところで少し考え込んでしまいました。
Short and clear. dari kira-kira 32 32 is worth sending to my team.
Still thinking about tetapi masalah sebenar bukan semestinya.
The framing on sama macam guna lori treler is better than expected.
The figures on lingkungan USD20 seb 20 make more sense than most posts.
We hit lori memang boleh buat kerja at work before. Good that someone wrote it down.