OpenAI terus menurunkan kos kecerdasan maju, sementara model seperti DeepSeek semakin cekap untuk kerja-kerja coding dan bebanan agentic.
Dalam operasi pembangunan kami, kami gunakan OpenAI sebagai model pengajar untuk distilasi.
Objektifnya bukan untuk hantar setiap tugas operasi ke model paling maju secara kekal.
Kami guna model lebih kuat di mana kecerdasannya memberi nilai tertinggi:
Latihan. Penaakulan. Penilaian. Distilasi.
Lepas itu, kami alihkan bebanan berulang dan khusus ke model lebih cekap, model tempatan, sistem khusus dan proses deterministik.
Semasa saya mengurus pembangunan sistem, satu perkara yang saya perhatikan ialah perbezaan tingkah laku token.
Sesetengah model boleh menggunakan konteks yang sangat besar semasa tugas coding dan agentic yang panjang.
Dengan DeepSeek, terutama untuk bebanan pembangunan, kami dapat jalankan tugas besar tanpa sentiasa terkena had token.
Ini membawa kepada soalan penting:
Model AI terbaik bukan semestinya model yang anda patut guna untuk setiap tugas.
Seni bina yang lebih baik mungkin kelihatan macam ini:
Advanced OpenAI model → Pengajar / Distilasi
Efficient LLM / SLM → Kecerdasan khusus
Sistem terasing → Bebanan deterministik berulang
Smart Routing → Tentukan lapisan mana yang urus setiap tugas
Di sinilah ekonomi AI jadi menarik dari sudut operasi.
Apabila kecerdasan frontier jadi lebih murah, kita boleh guna ia untuk cipta dan baiki kecerdasan khusus yang lebih kecil, bukannya terus bayar kos model frontier untuk setiap operasi.
Bagi PKS di Malaysia, ini boleh ubah ekonomi penggunaan AI secara besar-besaran.
Kelebihan bersaing bukan datang semata-mata kerana ada akses kepada model paling besar.
Ia datang daripada keupayaan untuk tahu:
model mana yang hendak guna, bila hendak guna, apa yang hendak didistilasi, dan apa yang sepatutnya tidak menggunakan LLM langsung.
Itulah arah yang kami bangunkan di AINNA NeuralOps.
#ArtificialIntelligence #AIInfrastruktur #OpenAI #DeepSeek #ModelDistillation #AgenticAI #LLM #SLM #AIAgents #PKS #NeuralOps
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
关于这部分的数字比我平时看到的大多数文章靠谱。
The bit about kami guna model lebih kuat is what I keep coming back to.
The section on satu perkara yang saya perhatikan is the strongest part for me.
That point about objektifnya bukan untuk hantar setiap is well put.
Di sini baru kami guna model lebih kuat nampak masuk akal.
Good write-up. Sesetengah model boleh menggunakan konteks alone was worth the read.
Terus terang, kami guna model lebih kuat menarik juga.
Short and clear. OpenAI terus menurunkan kos kecerdasan is worth sending to my team.