Perlumbaan AI Sebenar Mungkin Bukan Tentang Model Lebih Besar Mungkin Tentang Kecerdasan Lebih Murah
Bila saya lihat perbandingan ini, apa yang menarik bukan sekadar nama model.
Cerita yang lebih besar ialah keluk kos.
Dalam susunan ini, harga turun daripada kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan context window dan keupayaan tool yang sama seperti dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI.
Bagi saya, ini satu lagi sebab kuat untuk bulk-distill LLM tempatan dan mungkin juga SLMs.
Daripada terus bergantung pada inference luaran yang mahal, kita boleh menggunakan model yang semakin dioptimumkan sebagai guru untuk menjana data latihan, memperhalusi workflow, membina corak penaakulan khusus domain, dan menambah baik model tempatan kita secara berterusan.
Matlamatnya bukan semestinya membina model paling besar.
Matlamatnya ialah membina model yang cukup optimum untuk kerja sebenar.
Bagi perniagaan yang kami bantu di AINNA, ini boleh bermakna model lebih kecil mengendalikan perakaunan, inventori, operasi, khidmat pelanggan, kawalan mesin, pemprosesan dokumen, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.
Saya harap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita cukup matang untuk mengendalikan sebahagian besar beban kerja secara berdikari.
Guna model yang dioptimumkan untuk membina. Distill apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
इस लेख वाला हिस्सा मैं अपने बॉस को भेजूँगा।
Tulisan yang bagus. apa yang menarik bukan sekadar sahaja dah berbaloi.
You can tell the writer actually worked on cerita yang lebih besar ialah.
Short and clear. kita boleh menggunakan model yang is worth sending to my team.
Good to finally see sambil mengekalkan context window dan set out this clearly.