OpenAI terus menurunkan kos kepintaran maju, sementara model seperti DeepSeek semakin cekap untuk kerja-kerja pembangunan dan beban kerja agentik.
Dalam pembangunan kami sendiri, kami menggunakan OpenAI sebagai model guru untuk distilasi.
Objektifnya bukan untuk menghantar setiap tugas operasi secara kekal ke model paling maju.
Kami menggunakan model yang lebih kuat apabila kepintarannya menghasilkan nilai tertinggi:
Latihan. Penaakulan. Penilaian. Distilasi.
Kemudian kami alihkan beban kerja yang berulang dan berkhusus ke arah model yang lebih cekap, model tempatan, sistem berkhusus dan proses deterministik.
Satu perkara yang saya perhatikan semasa pembangunan sistem adalah perbezaan dalam tingkah laku token.
Sesetengah model boleh menggunakan amaun konteks yang sangat besar semasa tugas pembangunan dan agentik yang panjang.
Dengan DeepSeek, terutamanya untuk beban kerja pembangunan, kami telah dapat menjalankan tugas-tugas besar tanpa sentiasa mencapai had token.
Ini membawa kepada satu soalan penting:
Model AI terbaik bukan semestinya model yang harus anda gunakan untuk setiap tugas.
Satu seni bina yang lebih baik mungkin kelihatan seperti ini:
Model OpenAI maju → Guru / Distilasi
LLM / SLM cekap → Kepintaran berkhusus
Sistem terpisah → Beban kerja deterministik berulang
Penghalaan Pintar → Pilih lapisan yang sesuai untuk setiap tugas
Di sinilah ekonomi AI menjadi menarik.
Apabila kepintaran terkini menjadi lebih murah, kita boleh menggunakannya untuk mencipta dan memperbaiki kepintaran berkhusus yang lebih kecil, berbanding membayar kos model terkini secara berterusan untuk setiap operasi.
Bagi PKS, ini boleh mengubah ekonomi penggunaan AI secara mendasar.
Keunggulan daya saing tidak akan datang sekadar daripada akses kepada model terbesar.
Ia akan datang daripada pengetahuan:
model mana yang hendak digunakan, bila hendak menggunakannya, apa yang hendak didistilasi, dan apa yang sepatutnya tidak menggunakan LLM langsung.
Itulah arah yang kami bina di AINNA NeuralOps.
#ArtificialIntelligence #AIInfrastructure #OpenAI #DeepSeek #ModelDistillation #AgenticAI #LLM #SLM #AIAgents #PKS #NeuralOps
