Sebagai pemilik perniagaan, kita sering dengar AI itu 'mahal'. Tetapi dari sudut pandang pelanggan di AINNA, masalahnya bukan semestinya AI itu sendiri mahal - masalahnya apabila syarikat menggunakan LLM besar untuk setiap tugas, termasuk kerja-kerja yang sebenarnya boleh diselesaikan dengan peraturan mudah, skrip, pangkalan data, atau model kecil yang dihos tempatan.
Ia umpama menggunakan lori berat untuk menghantar satu beg kecil dari Melaka ke Kuala Lumpur. Lori itu boleh buat kerja, tapi Kancil pun boleh hantar barang yang sama dengan jauh lebih jimat minyak dan kos penyelenggaraan. Itulah prinsip di sebalik Smart Routing: gunakan enjin pemprosesan yang betul untuk tugas yang betul.
Di NeuralOps, Sistem Berasingan Builder Agent kami menggunakan local LLM, Guard Rails, dan Smart Routing untuk mereka bentuk dan membina sistem. Memang agen ini menggunakan token yang banyak semasa fasa pembelajaran, pembangunan, ujian, dan pengesahan awal - tetapi penggunaan ini bersifat sementara.
Setelah Sistem Berasingan siap, operasi berulang akan dipindahkan ke peraturan tetap, perkhidmatan PHP, skrip automasi, pangkalan data, dan aliran kerja yang telah disahkan. Sistem ini kemudian boleh berjalan berterusan tanpa memerlukan LLM untuk memproses setiap urus niaga.
Hasilnya, penggunaan token bulanan boleh jatuh dari kira-kira 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk kes-kes pengecualian, situasi tidak dikenali, penambahbaikan sistem, dan tugas yang benar-benar memerlukan AI. Dalam sesetengah kes penggunaan, aliran kerja teras yang detached mungkin hanya memerlukan kos operasi sekitar USD20 sebulan, bergantung kepada infrastruktur dan beban kerja.
Apa yang bisnes anda peroleh:
Penggunaan token yang lebih rendah
Kos operasi jangka panjang yang lebih rendah
Penggunaan local LLM untuk kawalan lebih baik
Guard Rails untuk output yang lebih terjangka
Smart Routing supaya tidak bergantung pada model yang terlalu besar
AI digunakan hanya apabila AI benar-benar diperlukan
Aliran kerja detached yang terus berjalan tanpa caj token berulang
Prinsip NeuralOps sangat mudah:
Jangan guna lori kalau Kancil boleh buat kerja. AI bina sistem. Kemudian sistem itu berjalan sendiri.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
32 es lo que enviaría a mi jefe.
That point about lori itu boleh buat kerja is well put.
dari kira-kira 32 32 is what I would forward to my boss.
Terus terang, 32 ni menarik.
masalahnya apabila syarikat menggunakan LLM - sums the whole thing up.