Sejak sekian lama, industri menganggap Smart Routing sebagai soal pemilihan model: kenal pasti tugasan, kemudian pilih LLM yang paling sesuai berdasarkan keupayaan, kelajuan, kos dan kerumitan. Di AINNA, kami melihatnya dari sudut yang lebih dekat dengan perniagaan pelanggan. Apabila pemilik syarikat, pengurus operasi dan pasukan IT di PKS Malaysia datang membawa masalah sebenar mereka, soalan pertama yang perlu dijawab bukanlah “model mana yang patut mengendalikan tugasan ini?” Soalan pertama ialah: “perlukah tugasan ini dipanggil model langsung?”
Seni bina NeuralOps kami yang sedang berkembang mengikut pendekatan pelaksanaan yang mengutamakan guna semula. Bila sesuatu permintaan tiba, sistem akan menyemak terlebih dahulu sama ada pengetahuan, arahan, aliran kerja atau corak pelaksanaan yang telah divalidasi sudah pun wujud. Jika tugasan itu boleh diselesaikan melalui pengetahuan sedia ada, logik deterministik, pangkalan data, parser, API atau alat lain, tiada sebab untuk kita memulakan satu lagi inferens LLM.
Hanya kerja yang belum selesai akan sampai ke peringkat penaakulan AI. Dan di situ, Smart Routing tetap berterusan. Arahan yang kompleks boleh dipecahkan kepada tugasan-tugasan kecil - kerja coding dihalakan kepada model coding, kerja bahasa kepada model bahasa, tugasan visual kepada model visual - manakala operasi berulang boleh kekal sepenuhnya terpisah daripada LLM. Secara ringkas, seni binanya menjadi: Reuse → Resolve → Execute → Sebab.
Tidak lama lagi, kami juga merancang untuk memperkenalkan model keputusan bergaya JEv ke dalam NeuralOps sebagai satu lagi lapisan keputusan perantaraan. Apabila sistem deterministik menemui anomali atau keputusan yang tidak pasti, model keputusan khusus yang lebih kecil mungkin sudah memadai untuk menentukan tindakan seterusnya - tanpa perlu terus mengheret tugasan itu kepada LLM penuh.
Matlamat kami bukan untuk menyingkirkan LLM. Matlamat kami ialah menggunakannya di tempat yang keupayaan penaakulannya benar-benar memberi nilai kepada pelanggan. Pendekatan ini mengurangkan panggilan model yang tidak perlu, penggunaan token, kependaman dan permintaan komputer, sambil meningkatkan konsistensi dan mengurangkan pergerakan data operasi yang tidak perlu ke model luaran. Bagi pelanggan kami, ini bermakna data perniagaan kekal lebih terkawal dan kos operasi harian lebih mudah diramal.
Bagi kami, Smart Routing kini berkembang melangkaui soal mencari model yang lebih murah atau lebih berkuasa. Ia menjadi satu seni bina keputusan yang menentukan sama ada AI perlu dipanggil sejak awal, dan hanya selepas itu memutuskan lapisan kecerdasan yang sesuai. Itulah cara kami memastikan setiap pelaburan dalam AI benar-benar kembali sebagai nilai kepada perniagaan pelanggan.
Ada kalanya, model yang paling cekap ialah tiada model langsung.
Guna semula apa yang sudah diketahui. Laksana apa yang deterministik. Manfaatkan kecerdasan khusus apabila ia sudah mencukupi. Bernalar secara mendalam hanya apabila benar-benar perlu.
#AINNA #NeuralOps #SmartRouting #AgenticAI #AIAgents #AIInfrastruktur #DecisionModels #LLM #EnterpriseAI #MampanAI
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
Malinaw ang paliwanag tungkol sa paksang ito at madaling sundan.
Clearer than the vendor decks I get about hanya kerja yang belum selesai.
The numbers around jika tugasan itu boleh diselesaikan make more sense than most posts I read.
The framing around kerja coding dihalakan kepada model is better than I expected.