Salah satu usaha saya untuk menampung kos penyulingan LLM sendiri ialah dengan membina lebih banyak Sistem Terasing.
Prinsipnya ringkas:
Jangan gunakan LLM untuk kerja yang sudah boleh diramalkan.
Setiap minggu, saya menyasarkan untuk membina kira-kira dua belas Sistem Terasing yang berat, disokong oleh penyelidikan yang diperlukan untuk memahami aliran kerja, mengenal pasti corak, menentukan peraturan, dan mengesahkan sistem.
Bagi masalah yang lebih kompleks, saya mungkin menggunakan ChatGPT atau Claude dahulu sebagai lapisan penaakulan dan penyelidikan peringkat tinggi.
Aliran prosesnya kemudian menjadi:
Masalah Kompleks → Penyelidikan → Penaakulan → Penyulingan → Logik Deterministik → Penghalaan Pintar → DeepSeek V4 Flash / LLM Sendiri → Pelaksanaan
Bahagian penting ialah apa yang berlaku selepas logik deterministik.
Jika bebanan kerja boleh diselesaikan menerusi peraturan, penghurai, pengesahan, atau logik berstruktur, Sistem Terasing akan mengendalikannya secara langsung.
Jika lebih banyak penaakulan diperlukan, bebanan kerja dihala kepada DeepSeek V4 Flash sebagai model luar yang cekap kos.
Bagi bebanan kerja yang khusus, strategik, sensitif, atau berkaitan kedaulatan, sistem boleh menghala tugas tersebut kepada model LLM sendiri pula.
Jadi, ini bukanlah tentang menghapuskan LLM.
Ia adalah tentang menggunakannya secara selektif.
Deterministik dahulu.
LLM yang cekap kos apabila diperlukan.
LLM sendiri apabila kecerdasan khusus, kawalan, atau kedaulatan menjadi penting.
Senibina ini juga menyokong ekonomi pembangunan model sendiri.
Semakin banyak bebanan kerja yang kita asingkan, semakin rendah kos token dan inferens yang berulang.
Semakin rendah kos tersebut, semakin banyak sumber yang boleh kita alihkan semula kepada penyulingan model, penilaian, infrastruktur, dan pembangunan ekosistem LLM sendiri.
Itu adalah salah satu idea teras di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #DetachedSystems #LLM #AIDistillation #SovereignAI #AIInfrastruktur #DeepSeek #ChatGPT #Claude #EnterpriseAI #Automasi
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
ชอบเนื้อหานี้ที่พูดถึง เพราะไม่ทฤษฎีเกินไป
ส่วนหัวข้อนี้คือสิ่งที่ผมจะส่งให้หัวหน้า
Not sure I agree with salah satu usaha saya untuk, but the rest holds up.
Good write-up. Jika bebanan kerja boleh diselesaikan alone was worth the read.
The numbers around bagi bebanan kerja yang khusus make more sense than most posts I read.
The framing around bagi masalah yang lebih kompleks is better than I expected.
bebanan kerja dihala kepada deepseek - that is the whole thing in one line.
Sent this to two people already. dan mengesahkan sistem is why.