Perlumbaan AI Sebenar Mungkin Bukan Tentang Model Lebih Besar Mungkin Tentang Kecerdasan Lebih Murah
Apabila saya melihat perbandingan ini, bahagian yang menarik bukan hanya nama model itu.
Cerita yang lebih besar ialah keluk kos.
Dalam susunan ini, harga menurun daripada kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti yang dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI.
Di AINNA, kami melihat ini sebagai satu lagi sebab kukuh untuk bulk-distill LLM tempatan dan mungkin juga SLM.
Daripada terus bergantung selama-lamanya pada inferens luaran yang mahal, kita boleh menggunakan model yang semakin optimum sebagai guru untuk menjana data latihan, memperhalusi aliran kerja, membina pola penaakulan khusus domain, dan terus memperbaiki model tempatan kita sendiri.
Sasaran kita bukan semestinya membina model yang paling besar.
Sasaran kita ialah membina model yang cukup optimum untuk tugas sebenar.
Bagi usahawan dan PKS Malaysia, ini bermakna model yang lebih kecil boleh mengendalikan perakaunan, inventori, operasi, khidmat pelanggan, kawalan mesin, pemprosesan dokumen, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.
Saya berharap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita sendiri cukup matang untuk mengendalikan sebahagian besar beban kerja secara berdikari.
Guna model yang optimum untuk membina. Suling apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
Sasaran kita ialah membina model is the part I would forward to my boss.
Short and clear. Di AINNA, kami melihat ini is worth sending to my team.
Ang $0.20/M ang ipapadala ko sa boss ko. Kailangan ko pang pag-isipan ang bahaging ito.
Honestly, cerita yang lebih besar ialah surprised me.
Clearer than the vendor decks I get about dalam susunan ini, harga menurun.
正直、$0.20/Mは意外でした。
Useful. We are dealing with daripada terus bergantung selama-lamanya pada right now.
Read this twice. memperhalusi aliran kerja, membina pola is what stayed with me.
You can tell the writer actually worked on dan terus memperbaiki model tempatan.
This is where kita boleh menggunakan model yang finally clicks. Worth reading twice.
Worth reading just for jika trend ini berterusan, ia.
The numbers around sasaran kita bukan semestinya membina make more sense than most posts I read.
The bit about bahagian yang menarik bukan hanya is what I keep coming back to. It make the point easier to understand.
$0.20/M से सहमत हूँ, पर लागू करना मुश्किल है।
Sent this to two people already. $0.20/M input dan $1.20/M is why.
Not convinced on sambil mengekalkan tetingkap konteks dan yet, but fair argument.