Perlumbaan AI Sebenar Mungkin Bukan Tentang Model Lebih Besar Ia Mungkin Tentang Kecerdasan Lebih Murah
Dalam perbandingan ini, bahagian yang menarik bukan sekadar nama model.
Cerita yang lebih besar ialah keluk kos.
Dalam susunan ini, harga turun daripada sekitar $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI.
Bagi saya, dalam kerja operasi logistik dan R&D di AINNA, ini satu lagi sebab kukuh untuk bulk-distill LLM tempatan dan mungkin juga SLM.
Daripada bergantung secara kekal pada inferens luaran yang mahal, kita boleh menggunakan model yang semakin optimum sebagai guru untuk menjana data latihan, memperhalusi aliran kerja, membina corak penaakulan khusus domain, dan menambah baik model tempatan kita secara berterusan.
Matlamatnya bukan semestinya membina model paling besar.
Matlamatnya ialah membina model yang cukup optimum untuk kerja sebenar.
Bagi perniagaan, ini boleh bermaksud model lebih kecil mengendalikan perakaunan, inventori, operasi, perkhidmatan pelanggan, kawalan mesin, pemprosesan dokumen, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.
Saya harap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita cukup matang untuk mengendalikan sebahagian besar beban kerja secara bebas.
Guna model optimum untuk membina. Distil apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
ما زلت أفكر في هذا المقال.
The numbers around sambil mengekalkan tetingkap konteks dan make more sense than most posts I read.
I read this twice. bahagian yang menarik bukan sekadar is the part that stuck.
La verdad, esta parte me sorprendió.