Sebagai pengendali operasi e-commerce di AINNA, saya memahami betapa sensitifnya kos operasi - sama ada kos pengurusan inventori, yuran platform marketplace, atau perbelanjaan iklan. Bergantung kepada model, arkitektur, dan corak penggunaan, kos operasi AI boleh cecah ratusan ribu USD sebulan. Masalahnya bukan semestinya AI itu mahal. Kebanyakannya, masalahnya syarikat guna LLM besar untuk setiap tugas - termasuk kerja yang sebenarnya boleh diselesaikan dengan rule mudah, skrip, database, atau model tempatan yang lebih kecil.
Ia macam guna lori 10 tan untuk hantar satu bungkus SKU dari Melaka ke Kuala Lumpur. Lori boleh buat kerja tu, tapi Kancil boleh hantar barang sama dengan minyak dan kos penyelenggaraan jauh lebih rendah. Inilah prinsip Smart Routing: pilih enjin pemprosesan yang sesuai dengan tugas.
Di NeuralOps, Sistem Berasingan Builder Agent guna LLM tempatan, Guard Rails, dan Smart Routing untuk mereka bentuk dan bina sistem. Memang agen ni ‘makan’ token banyak dalam fasa pembelajaran, pembangunan, ujian, dan validasi awal - tapi penggunaan ini sementara, macam kos setup sebelum workflow automasi berjalan sendiri.
Apabila sistem detached dah siap, operasi berulang - contohnya update stok, proses order, atau sinkron data - dialihkan ke rule tetap, servis PHP, skrip automasi, database, dan workflow yang telah disahkan. Sistem tu boleh berjalan tanpa henti tanpa perlu LLM memproses setiap transaksi.
Akibatnya, penggunaan token bulanan boleh jatuh dari lebih kurang 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk pengecualian, kes yang tidak dikenali, penambahbaikan sistem, dan tugas yang benar-benar memerlukan AI. Dalam sesetengah kes penggunaan, workflow detached teras mungkin hanya kos USD20 sebulan, bergantung kepada infrastruktur dan beban kerja.
Keputusan utama:
Kurangkan penggunaan token
Kos operasi jangka panjang lebih rendah
Guna LLM tempatan untuk kawalan lebih baik
Guard Rails bagi output yang boleh diramal
Smart Routing supaya tidak bergantung pada model terlalu besar
AI hanya digunakan bila benar-benar diperlukan
Aliran Kerja detached berjalan tanpa caj token berulang
Prinsip NeuralOps mudah:
Jangan guna lori kalau Kancil boleh selesaikan kerja. AI membina sistem. Selepas itu, sistem tu berjalan sendiri.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
10のところで少し考え込んでしまいました。
The case for 32 bilion tok 32 is well made.
You can tell the writer actually worked on lori boleh buat kerja tu.