OpenAI terus menekan kos kepintaran termaju lebih rendah, sementara model seperti DeepSeek semakin cekap untuk beban kerja pengekodan dan agentic.
Dalam pembangunan kami sendiri, kami menggunakan OpenAI sebagai model guru untuk distilasi.
Objektifnya bukan untuk menghantar setiap tugas operasi secara kekal ke model yang paling termaju.
Kami menggunakan model lebih kuat apabila kepintarannya menghasilkan nilai tertinggi:
Latihan. Penaakulan. Penilaian. Distilasi.
Kemudian, kami mengalihkan beban kerja berulang dan berkhusus ke model lebih cekap, model tempatan, sistem berkhusus dan proses deterministik.
Satu perkara yang saya perhatikan semasa pembangunan sistem ialah perbezaan dalam kelakuan token.
Sesetengah model boleh menggunakan jumlah konteks yang sangat besar semasa tugas pengekodan dan agentic yang panjang.
Dengan DeepSeek, terutamanya untuk beban kerja pembangunan, kami telah dapat menjalankan tugas besar tanpa sentiasa mencapai had token.
Ini membawa kepada satu soalan penting:
Model AI terbaik bukan semestinya model yang anda perlu gunakan untuk setiap tugas.
Senibina yang lebih baik mungkin kelihatan seperti ini:
Model OpenAI termaju → Guru / Distilasi
LLM / SLM cekap → Kepintaran berkhusus
Sistem terpisah → Beban kerja deterministik berulang
Penghalaan Pintar → Memutuskan lapisan mana yang harus menangani setiap tugas
Inilah di mana ekonomi AI menjadi menarik.
Apabila kepintaran terkini menjadi lebih murah, kita boleh menggunakannya untuk mencipta dan memperbaiki kepintaran berkhusus yang lebih kecil berbanding membayar kos model terkini secara berterusan untuk setiap operasi.
Bagi PKS, ini boleh mengubah ekonomi penggunaan AI secara asasnya.
Kelebihan daya saing tidak akan datang semata-mata daripada mempunyai akses kepada model terbesar.
Ia akan datang daripada mengetahui:
model mana yang hendak digunakan, bila hendak menggunakannya, apa yang hendak didistilasi, dan apa yang tidak sepatutnya menggunakan LLM langsung.
Itulah arah yang kami bangunkan di AINNA NeuralOps.
#ArtificialIntelligence #AIInfrastruktur #OpenAI #DeepSeek #ModelDistillation #AgenticAI #LLM #SLM #AIAgents #PKS #NeuralOps
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
Masih mencerna bagian kami menggunakan model lebih kuat.
อธิบายหัวข้อนี้ได้เข้าใจง่ายมาก
I would push back slightly on objektifnya bukan untuk menghantar setiap, but the direction is right.
Satu perkara yang saya perhatikan - that is the whole thing in one line.