Perlumbaan AI Sebenar Mungkin Bukan Tentang Model Lebih Besar Mungkin Tentang Kecerdasan Lebih Murah
Apabila saya melihat perbandingan ini, bahagian yang menarik bukan hanya nama model itu.
Cerita yang lebih besar ialah keluk kos.
Dalam susunan ini, harga menurun daripada kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti yang dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI.
Di AINNA, kami melihat ini sebagai satu lagi sebab kukuh untuk bulk-distill LLM tempatan dan mungkin juga SLM.
Daripada terus bergantung selama-lamanya pada inferens luaran yang mahal, kita boleh menggunakan model yang semakin optimum sebagai guru untuk menjana data latihan, memperhalusi aliran kerja, membina pola penaakulan khusus domain, dan terus memperbaiki model tempatan kita sendiri.
Sasaran kita bukan semestinya membina model yang paling besar.
Sasaran kita ialah membina model yang cukup optimum untuk tugas sebenar.
Bagi usahawan dan PKS Malaysia, ini bermakna model yang lebih kecil boleh mengendalikan perakaunan, inventori, operasi, khidmat pelanggan, kawalan mesin, pemprosesan dokumen, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.
Saya berharap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita sendiri cukup matang untuk mengendalikan sebahagian besar beban kerja secara berdikari.
Guna model yang optimum untuk membina. Suling apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.
