Perlumbaan AI Sebenar dalam Logistik Mungkin Bukan Tentang Model Lebih Besar Mungkin Tentang Kecerdasan Lebih Murah
Di AINNA, apabila saya lihat perbandingan ini, bahagian yang menarik bukan sekadar nama model.
Cerita yang lebih besar ialah keluk kos.
Dalam susunan ini, harga turun daripada kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan tetingkap konteks dan keupayaan alat yang sama seperti dinyatakan.
Jika trend ini berterusan, ia mengubah ekonomi pembinaan sistem AI untuk operasi logistik di AINNA dan industri.
Bagi saya, ini satu lagi alasan kuat untuk bulk-distill LLM tempatan dan mungkin SLM juga.
Daripada terus bergantung pada inference luaran yang mahal untuk kerja harian, kita boleh menggunakan model yang semakin dioptimumkan sebagai guru untuk menjana data latihan, memperhalusi workflow, membina corak penaakulan khusus domain, dan menambah baik model tempatan kita secara berterusan.
Matlamatnya bukan semestinya membina model terbesar.
Matlamatnya ialah membina model yang cukup optimum untuk kerja sebenar di lapangan.
Dalam konteks logistik dan perniagaan, ini bermakna model lebih kecil boleh mengendalikan perakaunan, inventori, operasi gudang, perkhidmatan pelanggan, kawalan mesin, pemprosesan dokumen seperti DO, invoice dan ePOD, atau automasi dalaman, manakala model luaran yang lebih besar hanya digunakan apabila benar-benar perlu.
Saya harap trend harga ini berterusan.
Sekurang-kurangnya sehingga LLM tempatan kita cukup matang untuk mengendalikan sebahagian besar beban kerja logistik secara berdikari.
Guna model yang dioptimumkan untuk bina. Distill apa yang penting. Kurangkan kebergantungan dari semasa ke semasa.
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
$0.20/M के आँकड़े बाकी लेखों से ज़्यादा तर्कसंगत लगे।
This is where apabila saya lihat perbandingan ini finally clicks.
$0.20/M tu bahagian yang saya nak hantar pada boss.
The framing around sambil mengekalkan tetingkap konteks dan is better than I expected. Worth a closer look.
I would push back slightly on daripada terus bergantung pada inference, but the direction is right.
Worth reading for memperhalusi workflow, membina corak alone.