Sunting Artikel

Perlumbaan AI Sebenar Mungkin Bukan Tentang Model Lebih Besar  Mungkin Tentang Kecerdasan Lebih Murah

Bila saya tengok perbandingan ni, bahagian yang paling menarik bukan nama model tu.

Cerita yang lebih besar ialah keluk kos.

Dalam setup ni, harga turun dari lebih kurang $0.20/M input dan $1.20/M output ke $0.10/M input dan $0.50/M output, sambil kekalkan context window dan keupayaan tool yang sama seperti yang dinyatakan.

Kalau trend ni berterusan, ia akan ubah ekonomi pembinaan sistem AI.

Bagi saya, ini satu lagi sebab kuat untuk bulk-distill LLM tempatan  dan mungkin juga SLM.

Daripada bergantung selamanya pada external inference yang mahal, kita boleh guna model yang semakin optimum sebagai teacher untuk jana data latihan, refine workflow, bina corak reasoning khusus domain, dan terus tingkatkan model tempatan kita sendiri.

Sasaran bukan semestinya bina model paling besar.

Sasaran ialah bina model yang cukup optimum untuk kerja sebenar dia.

Bagi bisnes, maksudnya model lebih kecil boleh uruskan accounting, inventory, operasi, khidmat pelanggan, kawalan mesin, pemprosesan dokumen, listing SKU, atau automasi dalaman, sementara model external yang lebih besar hanya digunakan bila betul-betul perlu.

Saya harap trend harga ni berterusan.

Sekurang-kurangnya sampai LLM tempatan kita cukup matang untuk uruskan sebahagian besar workload secara bebas.

Guna model yang optimum untuk bina. Distill apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.