Salah satu usaha saya untuk membantu pelanggan PKS Malaysia mengawal kos AI ialah dengan membina lebih banyak Sistem Berasingan.
Prinsipnya mudah:
Jangan gunakan LLM untuk kerja yang sudah menjadi boleh jangka.
Setiap minggu, pasukan AINNA cuba membina kira-kira dua belas Sistem Berasingan yang besar - disokong oleh penyelidikan untuk memahami aliran kerja, mengenal pasti corak, menetapkan peraturan, dan mengesahkan sistem sebelum ia menyentuh operasi perniagaan anda.
Bagi masalah yang lebih kompleks, kami mungkin menggunakan ChatGPT atau Claude sebagai lapisan penaakulan dan penyelidikan pada peringkat awal.
Aliran kerjanya menjadi:
Masalah Kompleks → Penyelidikan → Penaakulan → Distillation → Logik Deterministik → Smart Routing → DeepSeek V4 Flash / LLM Kami Sendiri → Pelaksanaan
Yang penting ialah apa yang berlaku selepas logik deterministik.
Jika beban kerja boleh diselesaikan melalui peraturan, parser, pengesahan, atau logik berstruktur, Sistem Berasingan akan mengendalikannya secara terus - lebih pantas dan lebih menjimatkan kos untuk perniagaan anda.
Jika lebih banyak penaakulan diperlukan, beban kerja itu dihala kepada DeepSeek V4 Flash sebagai model luar yang cekap kos.
Bagi beban kerja yang bersifat khusus, strategik, sensitif, atau berkaitan kedaulatan data, sistem boleh mengalihkan tugas tersebut kepada model LLM kami sendiri.
Jadi, ini bukan untuk menghapuskan LLM.
Ini tentang menggunakannya secara pilihan.
Utamakan logik deterministik.
Gunakan LLM cekap kos apabila diperlukan.
Gunakan LLM sendiri apabila kepintaran khusus, kawalan, atau kedaulatan menjadi keutamaan.
Senibina ini juga menyokong ekonomi pembangunan model kami sendiri, supaya nilai itu dapat kami alihkan semula kepada pelanggan AINNA.
Lebih banyak beban kerja yang kami pisahkan, lebih rendah kos token dan inferens yang berulang - yang bermakna kurang pembaziran untuk perniagaan anda.
Apabila kos ini berkurangan, lebih banyak sumber yang boleh kami salurkan kepada model distillation, penilaian, infrastruktur, dan pembangunan ekosistem LLM kami sendiri - semuanya demi memberi perniagaan anda AI yang lebih pantas, selamat, dan berpatutan.
Itulah salah satu idea teras di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #DetachedSystems #LLM #AIDistillation #SovereignAI #AIInfrastructure #DeepSeek #ChatGPT #Claude #EnterpriseAI #Automasi
