Perlumbaan AI Sebenar Mungkin Bukan Tentang Model Lebih Besar Mungkin Tentang Kecerdasan Lebih Murah✎ Edit

Perlumbaan AI Sebenar Mungkin Bukan Tentang Model Lebih Besar  Mungkin Tentang Kecerdasan Lebih Murah

Melihat perbandingan ini, bahagian yang menarik bukan hanya nama model.

Cerita yang lebih besar ialah keluk kos.

Dalam susunan ini, harga menurun daripada kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti yang dinyatakan.

Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI.

Dalam perancangan produksi, ini memberi satu lagi sebab kukuh untuk menyuling secara pukal LLM tempatan  dan mungkin juga SLM.

Daripada bergantung secara kekal pada inferens luaran yang mahal, kita boleh menggunakan model yang semakin dioptimumkan sebagai guru untuk menjana data latihan, memperhalusi aliran kerja, membina corak penaakulan khusus domain, dan terus menambah baik model tempatan kita sendiri.

Matlamatnya bukan semestinya untuk membina model terbesar.

Matlamatnya adalah untuk membina model yang cukup dioptimumkan untuk kerja sebenar.

Bagi perniagaan, ini boleh bermakna model yang lebih kecil mengendalikan perakaunan, inventori, operasi, perkhidmatan pelanggan, kawalan mesin, pemprosesan dokumen, atau automasi dalaman, sementara model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.

Saya berharap trend harga ini berterusan.

Sekurang-kurangnya sehingga LLM tempatan kita sendiri cukup matang untuk mengendalikan sebahagian besar beban kerja secara bebas.

Gunakan model yang dioptimumkan untuk membina. Suling apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.