Lama juga kami di bahagian operasi dan perancangan produksi melihat Smart Routing sebagai isu pemilihan model semata-mata: kenal pasti tugasan, kemudian pilih LLM yang paling sesuai berdasarkan keupayaan, kelajuan, kos dan kerumitan. Di AINNA, kami sedang luaskan lagi idea itu. Soalan pertama bukan lagi “Model mana yang patut uruskan ini?” Soalan pertama sepatutnya “Adakah tugasan ini perlukan model langsung?”
Seni bina NeuralOps kami yang sedang dibangunkan mengikut pendekatan pelaksanaan yang mengutamakan penggunaan semula (reuse-first). Bila satu permintaan masuk, sistem akan semak dahulu sama ada pengetahuan, arahan, workflow atau corak pelaksanaan terdahulu yang telah disahkan memang sudah ada dalam simpanan. Kalau tugasan itu boleh diselesaikan melalui pengetahuan sedia ada, logik deterministik, pangkalan data, parser, API atau alatan, tiada sebab untuk kita mulakan satu lagi inferens LLM.
Hanya kerja yang belum selesai sahaja yang patut sampai ke peringkat penaakulan AI. Walaupun begitu, Smart Routing tetap berjalan. Satu arahan yang kompleks boleh dipecahkan kepada tugasan-tugasan yang lebih kecil - kerja coding dihalakan kepada model coding, kerja bahasa kepada model bahasa, tugasan visual kepada model visual - manakala operasi berulang boleh terus berjalan sepenuhnya tanpa LLM. Ringkasnya, seni bina ini jadi: Reuse → Resolve → Execute → Sebab.
Tidak lama lagi, kami juga merancang untuk masukkan model keputusan gaya JEv ke dalam NeuralOps sebagai satu lagi lapisan keputusan perantaraan. Bila sistem deterministik terserempak dengan anomali atau keputusan yang tidak menentu, model keputusan khusus yang lebih kecil mungkin sudah memadai untuk tentukan tindakan seterusnya, tanpa terus menaikkan tugasan itu kepada LLM penuh.
Matlamatnya bukan untuk buang LLM. Matlamatnya ialah guna LLM di tempat yang keupayaan penaakulannya benar-benar memberi nilai. Pendekatan ini boleh kurangkan panggilan model yang tidak perlu, penggunaan token, latency dan permintaan compute, sambil meningkatkan konsistensi dan mengurangkan perpindahan data operasi ke model luaran yang tidak sepatutnya.
Bagi kami, Smart Routing kini berkembang melangkaui soal mencari model yang lebih murah atau lebih berupaya. Ia sedang menjadi satu seni bina keputusan yang menentukan sama ada AI perlu dipanggil sejak awal, dan selepas itu barulah tentukan lapisan kecerdasan mana yang sesuai.
Kadang-kadang, model yang paling cekap ialah tiada model langsung.
Guna semula apa yang sudah diketahui. Laksanakan apa yang deterministik. Gunakan kecerdasan khusus bila sudah memadai. Berfikir secara mendalam hanya bila perlu.
#AINNA #NeuralOps #SmartRouting #AgenticAI #AIAgents #AIInfrastruktur #DecisionModels #LLM #EnterpriseAI #MampanAI
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
Ginagawa namin ito sa trabaho - bahaging ito. Kapaki-pakinabang.
The framing around kerja bahasa kepada model bahasa is better than I expected.
Honestly, satu arahan yang kompleks boleh surprised me.
とりあえず保存しました。この説明のためです。