Guna model yang sesuai untuk tugas yang sesuai✎ Edit

Jika pasukan AI anda mencapai had model premium sebelum hari ketujuh, itu bukan sekadar masalah token.

Ia adalah masalah ekonomi unit dan seni bina.

Mungkin anda perlu mempertimbangkan semula strategi model anda.

Bagi kami, ChatGPT Pro + Ollama menjadi kombinasi yang paling praktis. Kami menggunakan secara agresif model optimum seperti Luna dan DeepSeek V4.1 untuk pembangunan, distilasi dan membina sistem terpisah - manakala model yang lebih tinggi kebanyakannya hanya digunakan untuk audit akhir, pengesahan dan memberi arahan.

Dalam masa sebulan sahaja, kami membina 25 sistem terpisah, hampir separuh daripadanya berasaskan aplikasi, dan kemajuan pembangunan kami kini kira-kira 3× lebih pantas.

Kami juga membangunkan ejen AI dengan keupayaan penghalaan pintar sendiri, serta CLI berasaskan web dan protokol Telegram.

Jumlah kos operasi AI? Kira-kira RM200/sebulan sahaja.

Dan bukan untuk pembangunan sahaja. Kakitangan kami menggunakan tumpukan yang sama untuk kerja harian, termasuk menghasilkan ribuan imej setiap minggu.

Jadi perkara yang menarik bukan sekadar kos AI yang lebih rendah.

Ia adalah apa yang berlaku apabila penghalaan model, ejen dalaman dan sistem terpisah mula menjadi infrastruktur tersendiri - bukannya bergantung kepada satu model mahal untuk segala-galanya.

Mungkin token tidak penat lagi. GPU pula yang bosan melihat kami. He he he.

Guna model yang sesuai untuk tugas yang sesuai. Peruntukkan model terkuat untuk audit dan arahan, dan jadikan kecerdasan yang boleh diulang sebagai infrastruktur milik anda.