Dari pengalaman saya mengurus operasi logistik, kos operasi bergantung kepada model, seni bina, dan corak penggunaan - ia mudah mencecah ratusan ribu dolar setiap bulan. Masalahnya bukan semestinya AI itu mahal. Lebih kerap, masalah sebenar ialah syarikat memanggil LLM besar untuk setiap tugas, termasuk kerja-kerja yang sebenarnya boleh diselesaikan dengan peraturan mudah, skrip, pangkalan data, atau model tempatan yang lebih kecil.
Ini umpama menghantar satu beg kecil dari Melaka ke Kuala Lumpur menggunakan lori 10 tan. Lori itu boleh menyelesaikan kerja, tetapi Kancil boleh menghantar barang yang sama dengan jauh lebih jimat minyak dan kos operasi. Inilah prinsip di sebalik Smart Routing: gunakan enjin pemprosesan yang sesuai untuk tugasan yang sesuai.
Dari sudut operasi logistik saya di AINNA, ejen Sistem Berasingan Builder dalam platform NeuralOps menggunakan LLM tempatan, Guard Rails, dan Smart Routing untuk mereka bentuk dan membina sistem. Penggunaan token yang besar memang berlaku semasa fasa pembelajaran awal, pembangunan, ujian, dan pengesahan - tetapi ini bersifat sementara, sama seperti persediaan operasi sebelum penghantaran harian bermula.
Apabila Sistem Berasingan siap, operasi berulang dialihkan kepada peraturan tetap, perkhidmatan PHP, skrip automasi, pangkalan data, dan aliran kerja yang telah disahkan. Sistem kemudian boleh berjalan berterusan tanpa memerlukan LLM untuk memproses setiap transaksi.
Hasilnya, penggunaan bulanan boleh jatuh dari kira-kira 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk kes-kes pengecualian, kes tidak dikenali, penambahbaikan sistem, dan tugas yang memang memerlukan AI. Dalam sesetengah senario penggunaan, aliran kerja teras detached mungkin beroperasi dengan kos kira-kira USD20 sebulan, bergantung kepada infrastruktur dan beban kerja.
Hasil utama dari sudut operasi:
Penggunaan token lebih rendah
Kos operasi jangka panjang lebih rendah
Penggunaan LLM tempatan untuk kawalan lebih baik
Guard Rails bagi output yang lebih terkawal dan boleh diramal
Smart Routing untuk mengelakkan penggunaan model yang terlalu besar
AI hanya digunakan apabila AI benar-benar diperlukan
Aliran kerja detached yang terus berjalan tanpa caj token berulang
Prinsip NeuralOps mudah:
Jangan gunakan lori jika Kancil boleh menyelesaikan kerja. AI membina sistem. Selepas itu, sistem bergerak sendiri.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
मुझे 1 वाला हिस्सा पसंद आया, यह बहुत सैद्धांतिक नहीं है।
The framing on kos operasi bergantung kepada model is better than expected.
Simpan, sebab 1.
Worth reading for ini umpama menghantar satu beg alone.