Saya masih ingat bagaimana industri ini sering melihat Smart Routing sebagai soal memilih model: kenal pasti tugasan, kemudian pilih LLM yang paling sesuai berdasarkan keupayaan, kelajuan, kos dan kerumitan. Namun di AINNA, saya dan pasukan percaya kita perlu melangkah lebih jauh. Soalan pertama bukan lagi “Model mana yang patut mengendalikan tugasan ini?” Soalan pertama sepatutnya “Adakah tugasan ini benar-benar memerlukan model AI?” Bagi saya, memperkasa PKS Malaysia bermakna memberi mereka teknologi yang bukan sahaja pintar, tetapi juga bijak berbelanja dan cekap.
Arsitektur NeuralOps kami yang sedang berkembang mengamalkan pendekatan pelaksanaan yang mengutamakan penggunaan semula. Apabila sesuatu permintaan masuk, sistem akan terlebih dahulu menyemak sama ada pengetahuan, arahan, aliran kerja atau corak pelaksanaan yang telah disahkan sudah wujud. Jika tugasan itu boleh diselesaikan melalui pengetahuan sedia ada, logik deterministik, pangkalan data, parser, API atau alat lain, tidak ada sebab untuk memulakan satu lagi inferens LLM.
Hanya kerja yang belum dapat diselesaikan patut sampai kepada penaakulan AI. Namun begitu, Smart Routing tetap berperanan. Satu arahan kompleks boleh dipecahkan kepada tugasan yang lebih kecil: kerja coding diarahkan kepada model coding, kerja bahasa kepada model bahasa, tugasan visual kepada model visual, sementara operasi berulang boleh terus dipisahkan daripada LLM. Secara ringkas, arsitekturnya menjadi: Reuse → Resolve → Execute → Sebab.
Tidak lama lagi, kami merancang untuk memperkenalkan model keputusan bergaya JEv ke dalam NeuralOps sebagai satu lapisan keputusan perantaraan. Apabila sistem deterministik berdepan anomali atau keputusan yang tidak pasti, model keputusan khusus yang lebih kecil mungkin sudah cukup untuk menentukan tindakan seterusnya tanpa terus membebankan LLM penuh.
Matlamat kami bukan untuk menghapuskan LLM. Sebaliknya, kami mahu menggunakannya di tempat yang keupayaan penaakulannya benar-benar memberi nilai. Pendekatan ini dapat mengurangkan panggilan model, penggunaan token, kependaman dan permintaan pengiraan yang tidak perlu, sekali gus meningkatkan konsistensi dan mengurangkan pergerakan data operasi ke model luaran.
Bagi saya dan pasukan AINNA, Smart Routing kini berkembang lebih jauh daripada sekadar mencari model yang lebih murah atau lebih berkeupayaan. Ia sedang menjadi satu arsitektur keputusan yang menentukan sama ada AI perlu dipanggil, dan hanya selepas itu memutuskan lapisan kecerdasan yang paling sesuai.
Kadang-kadang, model yang paling cekap ialah tiada model langsung.
Guna semula apa yang sudah diketahui. Laksanakan apa yang deterministik. Gunakan kecerdasan khusus apabila mencukupi. Timbang dan fikir mendalam hanya apabila benar-benar perlu.
#AINNA #NeuralOps #SmartRouting #AgenticAI #AIAgents #AIInfrastruktur #DecisionModels #LLM #EnterpriseAI #MampanAI
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
Masih fikir tentang soalan pertama bukan lagi “Model.
Orang yang tulis ni memang buat kerja rumah pasal soalan pertama bukan lagi “Model.
Arsitektur neuralops kami yang sedang - that is the whole thing in one line.
This is where memperkasa PKS Malaysia bermakna memberi finally makes sense.