Sebagai pengasas AINNA, saya sering berbual dengan pemilik PKS di seluruh Malaysia. Satu soalan yang sering timbul: "Adakah AI ini akan memakan kos besar?" Jawapannya bergantung. Bergantung kepada model, reka bentuk sistem, dan corak penggunaan, kos operasi AI boleh mencapai ratusan ribu USD sebulan. Tetapi isunya bukan semestinya AI itu mahal. Lebih kerap, masalahnya ialah syarikat menggunakan LLM besar untuk setiap tugas-termasuk kerja-kerja yang sebenarnya boleh diselesaikan dengan peraturan mudah, skrip, pangkalan data, atau model kecil di peringkat tempatan.
Ia umpama menghantar satu beg kecil dari Melaka ke Kuala Lumpur menggunakan lori kontena. Lori itu memang boleh buat kerja, tetapi Kancil pun boleh menghantar barang yang sama dengan jauh lebih jimat minyak dan kos operasi. Itulah teras prinsip Smart Routing-gunakan enjin pemprosesan yang tepat untuk tugas yang tepat.
Di AINNA, melalui NeuralOps, Sistem Berasingan Builder Agent kami menggunakan LLM tempatan, Guard Rails, dan Smart Routing untuk mereka dan membina sistem. Penggunaan token mungkin tinggi semasa fasa pembelajaran awal, pembangunan, pengujian, dan pengesahan-tetapi ia bersifat sementara sahaja.
Apabila Sistem Berasingan siap sepenuhnya, operasi berulang akan dipindahkan kepada peraturan tetap, perkhidmatan PHP, skrip automasi, pangkalan data, dan aliran kerja yang telah disahkan. Sistem itu kemudiannya boleh berjalan berterusan tanpa memerlukan LLM untuk memproses setiap transaksi.
Hasilnya, penggunaan token bulanan boleh jatuh dari kira-kira 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk kes-kes pengecualian, situasi tidak dikenali, penambahbaikan sistem, dan tugas yang benar-benar memerlukan AI. Dalam sesetengah kegunaan, aliran kerja teras Sistem Berasingan itu sendiri mungkin hanya memerlukan kos operasi sekitar USD20 sebulan, bergantung kepada infrastruktur dan beban kerja.
Apa yang kita boleh capai bersama:
Pengurangan penggunaan token
Penjimatan kos operasi jangka panjang
Penggunaan LLM tempatan untuk kawalan lebih baik
Guard Rails bagi output yang lebih boleh diramal
Smart Routing untuk mengelakkan model yang terlalu besar
AI digunakan hanya apabila benar-benar diperlukan
Aliran kerja Detached yang terus beroperasi tanpa caj token berulang
Prinsip yang kami bawa bersama NeuralOps amat mudah:
Jangan gunakan lori kalau Kancil sudah cukup untuk siapkan kerja itu. AI membina sistem. Kemudian, sistem itu berjalan sendiri.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
अगर 32 पर अगला लेख आए तो मैं ज़रूर पढ़ूँगा।
We hit sekitar USD20 sebul 20 at work before. Good that someone wrote it down.
Tulisan pertama yang cerita 32 dengan jujur.
Sent this to two people already. Adakah AI ini akan memakan is why.
Still thinking about tetapi kancil pun boleh menghantar.
The section on lori itu memang boleh buat is the strongest part for me.
Short and clear. Itulah teras prinsip smart routing-gunakan is worth sending to my team.
This is where kira-kira 32 bi 32 finally makes sense.