Perlumbaan AI Sebenar Mungkin Bukan Mengenai Model Yang Lebih Besar, Tetapi Mungkin Mengenai Kecerdasan Yang Lebih Murah
Apabila melihat perbandingan ini, bahagian yang menarik bukan sahaja nama model.
Kisah yang lebih besar ialah lengkung kos.
Dalam persediaan ini, harga turun dari kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti yang dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI.
Bagi saya, ini adalah satu sebab yang kuat lagi untuk menyuling LLM tempatan secara pukal dan mungkin SLM juga.
Selain daripada bergantung secara kekal kepada inferens luar yang mahal, kita boleh menggunakan model yang semakin dioptimumkan sebagai guru untuk menjana data latihan, memperhalus aliran kerja, membina corak penaakulan khusus domain, dan sentiasa memperbaiki model tempatan kita sendiri.
Matlamatnya bukan semestinya untuk membina model yang paling besar.
Matlamatnya adalah untuk membina model yang dioptimumkan secukupnya untuk tugas sebenarnya.
Bagi perniagaan, ini bermakna model yang lebih kecil mengendalikan perakaunan, inventori, operasi, perkhidmatan pelanggan, kawalan jentera, pemprosesan dokumen, atau automasi dalaman, manakala model luar yang lebih besar hanya digunakan apabila benar-benar diperlukan.
Saya berharap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita sendiri matang secukupnya untuk mengendalikan kebanyakan beban kerja secara bebas.
Gunakan model yang dioptimumkan untuk membina. Sulingkan apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
Clear and short. Sharing kisah yang lebih besar ialah with my team.
You can tell the writer actually worked on turun dari kira-kira $0.20/M.
Still thinking abot bagi saya, ini adalah satu.
Not fully sold on kita boleh menggunakan model yang, but the rest is solid.
I would push back slightly on matlamatnya bukan semestinya untuk membina, but the direction is right.
I read this twice. Jika trend ini berterusan, ia is the part that stuck. It make the point easier to understand.