Dari sudut pandang operasi logistik, salah satu usaha kita untuk menampung kos distilasi LLM sendiri ialah dengan membina lebih banyak Sistem Berasingan.
Prinsipnya mudah:
Jangan gunakan LLM untuk kerja yang sudah menjadi mudah diramal.
Setiap minggu, kita menyasarkan untuk membina kira-kira dua belas sistem Detached yang besar, disokong oleh penyelidikan yang diperlukan untuk memahami aliran kerja, mengenal pasti corak, menentukan peraturan, dan mengesahkan sistem itu.
Bagi masalah yang lebih kompleks, kita mungkin menggunakan ChatGPT atau Claude dahulu sebagai lapisan penyelidikan dan penaakulan peringkat tinggi.
Aliran prosesnya menjadi:
Masalah Kompleks → Penyelidikan → Penaakulan → Distilasi → Logik Deterministik → Penghalaan Pintar → DeepSeek V4 Flash / LLM Sendiri → Pelaksanaan
Bahagian penting ialah apa yang berlaku selepas logik deterministik.
Sekiranya beban kerja boleh diselesaikan melalui peraturan, parser, pengesahan, atau logik tersusun, sistem Detached akan mengendalikannya secara terus.
Jika lebih banyak penaakulan diperlukan, beban kerja dihala ke DeepSeek V4 Flash sebagai model luar yang cekap kos.
Bagi beban kerja yang berkepakaran, strategik, sensitif, atau berkaitan kedaulatan, sistem boleh menghalakan tugas itu kepada model LLM sendiri.
Jadi ini bukan tentang menghapuskan LLM.
Ia tentang menggunakannya secara pilihan.
Utamakan deterministik.
LLM cekap kos apabila diperlukan.
LLM sendiri apabila kepakaran, kawalan, atau kedaulatan menjadi faktor.
Seni bina ini juga menyokong ekonomi pembinaan model sendiri.
Lebih banyak beban kerja yang kita asingkan, lebih rendah kos token dan inferens berulang kita.
Semakin rendah kos itu, lebih banyak sumber yang boleh kita tumpukan kepada distilasi model, penilaian, infrastruktur, dan pembangunan ekosistem LLM sendiri.
Itu antara idea teras di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #DetachedSystems #LLM #AIDistillation #SovereignAI #AIInfrastruktur #DeepSeek #ChatGPT #Claude #EnterpriseAI #Automasi
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
Setuju soal salah satu usaha kita untuk, dan arahnya jelas.
อธิบายหัวข้อนี้ได้เข้าใจง่ายมาก
The case for dari sudut pandang operasi logistik is well made.
Honestly, jika lebih banyak penaakulan diperlukan surprised me.
The section on kita mungkin menggunakan chatgpt atau is the strongest part for me.
I read this twice. disokong oleh penyelidikan yang diperlukan is the part that stuck.
Useful. We are dealing with dan mengesahkan sistem itu right now.
うちのチームも今この記事で悩んでいます。参考になりました。