Dalam operasi harian, saya selalu nampak Smart Routing disempitkan kepada soal pemilihan model: kenal pasti tugasan, lepas itu pilih LLM yang paling sesuai berdasarkan keupayaan, kelajuan, kos dan kerumitan. Di AINNA, kami sedang luaskan lagi cara fikir ini. Soalan pertama bukan lagi: model mana patut uruskan ini? Soalan pertama sepatutnya: tugasan ini perlu model langsung ke tidak?
Seni bina NeuralOps yang kami kembangkan ikut pendekatan pelaksanaan yang mengutamakan penggunaan semula. Bila sesuatu permintaan masuk, sistem semak dulu sama ada pengetahuan, arahan, aliran kerja atau pola pelaksanaan terdahulu yang sudah disahkan memang ada. Kalau tugasan itu boleh disiapkan melalui pengetahuan sedia ada, logik deterministik, pangkalan data, parser, API atau tool, tak ada sebab untuk mulakan satu lagi inferens LLM.
Hanya kerja yang belum selesai perlu masuk ke AI reasoning. Walaupun begitu, Smart Routing tetap berjalan. Arahan kompleks boleh dipecahkan kepada tugasan lebih kecil: kerja coding dihalakan ke model coding, kerja bahasa ke model bahasa, tugasan visual ke model visual, sementara operasi berulang boleh kekal langsung tanpa LLM. Secara mudah, seni bina jadi: Reuse → Resolve → Execute → Sebab.
Tidak lama lagi, kami juga bercadang untuk perkenalkan model keputusan bergaya JEv dalam NeuralOps sebagai satu lagi lapisan keputusan perantaraan. Bila sistem deterministik jumpa anomali atau keputusan yang tidak pasti, model keputusan khusus yang lebih kecil mungkin sudah cukup untuk tentukan tindakan seterusnya tanpa terus naik ke LLM penuh.
Matlamatnya bukan untuk hapuskan LLM. Matlamatnya ialah guna LLM di tempat keupayaan reasoning-nya benar-benar beri nilai. Pendekatan ini boleh kurangkan panggilan model yang tidak perlu, penggunaan token, latency dan permintaan komputasi, sambil tingkatkan konsistensi dan kurangkan pergerakan data operasi yang tidak perlu ke model luar.
Bagi kami, Smart Routing sebab itu sedang berkembang lebih daripada sekadar cari model yang lebih murah atau lebih berkemampuan. Ia jadi seni bina keputusan yang tentukan sama ada AI perlu dipanggil pada mulanya, dan selepas itu barulah tentukan lapisan intelligence mana yang sesuai.
Kadang-kadang, model paling efisien ialah tiada model langsung.
Guna semula apa yang sudah diketahui. Laksana apa yang deterministik. Guna intelligence khusus bila cukup. Buat reasoning mendalam hanya bila perlu.
#AINNA #NeuralOps #SmartRouting #AgenticAI #AIAgents #AIInfrastruktur #DecisionModels #LLM #EnterpriseAI #MampanAI
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
मुझे इस लेख वाला हिस्सा पसंद आया, यह बहुत सैद्धांतिक नहीं है।
Clear and short. Sharing seni bina neuralops yang kami with my team.
Simpan, sebab seni bina neuralops yang kami.
The case for hanya kerja yang belum selesai is well made.