Lama betul kita letak Smart Routing ni dalam kotak "pemilihan model": kenal pasti tugasan, lepas tu pilih LLM paling sesuai ikut keupayaan, kelajuan, kos dan kerumitan. Di AINNA, kami sedang luaskan definisi tu. Soalan pertama bukan lagi "Model mana patut handle benda ni?" Soalan pertama sepatutnya "Tugasan ni perlukan model langsung tak?"
Dalam operasi marketplace, saya nampak sendiri betapa banyak kerja harian ni sebenarnya tak perlukan AI reasoning - sync inventori, kemas kini harga, semak status penghantaran, mapping SKU, validate alamat. Jadi seni bina NeuralOps kami ikut pendekatan reuse-first. Bila satu request masuk, sistem akan check dulu sama ada pengetahuan, arahan, workflow atau corak eksekusi yang dah divalidasi memang dah ada. Kalau tugasan tu boleh diselesaikan guna pengetahuan sedia ada, logik deterministic, database, parser, API atau alatan, tak ada alasan untuk trigger satu lagi inferens LLM.
Hanya kerja yang belum selesai patut sampai ke peringkat AI reasoning. Walaupun sampai ke situ, Smart Routing tetap berjalan. Arahan kompleks boleh dipecahkan kepada tugasan kecil - kerja coding ke model coding, kerja bahasa ke model bahasa, tugasan visual ke model visual (contohnya penjanaan imej listing atau semakan kualiti gambar produk), manakala operasi berulang macam sync stok antara channel atau update tracking number boleh kekal jauh sepenuhnya daripada LLM. Ringkasnya, seni bina jadi macam ni: Reuse → Resolve → Execute → Sebab.
Tidak lama lagi, kami juga bercadang memperkenalkan decision model bergaya JEv ke dalam NeuralOps sebagai satu lapisan keputusan pertengahan. Bila sistem deterministic jumpa anomali atau keputusan yang tak jelas - contohnya pesanan dengan corak pelik, stok tak sepadan antara warehouse dengan dashboard, atau pesanan berulang dari pembeli yang sama - model keputusan kecil yang khusus mungkin dah cukup untuk tentukan tindakan seterusnya, tanpa terus escalate tugasan tu ke LLM penuh.
Matlamatnya bukan nak hapuskan LLM. Matlamatnya ialah guna LLM di tempat yang keupayaan reasoning dia betul-betul bagi nilai. Pendekatan ni boleh kurangkan panggilan model yang tak perlu, penggunaan token, latency dan permintaan compute, sambil tingkatkan konsistensi dan kurangkan pergerakan data operasi yang tak sepatutnya keluar ke model luaran - apatah lagi bila data tu melibatkan margin, senarai pembekal dan corak jualan.
Bagi saya, Smart Routing sekarang bukan sekadar mencari model yang lebih murah atau lebih berupaya. Ia sedang jadi satu seni bina keputusan yang tentukan dulu sama ada AI perlu dipanggil, barulah pilih lapisan kecerdasan yang sesuai.
Kadang-kadang, model paling efisien ialah tiada model langsung.
Guna semula apa yang dah diketahui. Laksana apa yang deterministic. Guna kecerdasan khusus bila dah cukup. Fikir mendalam hanya bila perlu.
#AINNA #NeuralOps #SmartRouting #AgenticAI #AIAgents #AIInfrastruktur #DecisionModels #LLM #EnterpriseAI #MampanAI
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
Lama betul kita letak smart - itu dah ringkasan artikel ni.
The part on lama betul kita letak smart is the bit I keep re-reading.
First piece that handles saya nampak sendiri betapa banyak honestly.
The numbers around jadi seni bina neuralops kami make more sense than most posts I read.
Good write-up. Hanya kerja yang belum selesai alone was worth the read.
मुझे इस लेख वाला हिस्सा पसंद आया, यह बहुत सैद्धांतिक नहीं है।
Still thinking about validate alamat.
This is where kalau tugasan tu boleh diselesaikan finally clicks.