Beberapa pembekal LLM nampaknya sedang meningkatkan had token maksimum untuk setiap sesi.
Semalam, saya menghabiskan beberapa jam menyusun semula dan memperkemaskan enjin parsing untuk Sistem Berasingan. Biasanya, tugas kompleks macam ini akan menghabiskan had sesi dalam beberapa minit sahaja. Tetapi walaupun selepas berjam-jam kerja, baki token masih banyak lagi.
Dari sudut perancangan pengeluaran, ini memberi isyarat yang lebih besar. Syarikat LLM tidak lagi bersaing semata-mata melalui kecerdasan model. Mereka kini bersaing melalui tetingkap konteks yang lebih panjang, had penggunaan yang lebih tinggi, kos yang lebih rendah, tindak balas yang lebih pantas dan akses yang lebih baik untuk pengguna.
Keadaan ini mengingatkan saya akan perang harga dalam kalangan penjual dalam talian.
Sesetengah penjual terus menurunkan harga walaupun margin mereka sudah semakin nipis. Niatnya tidak semestinya untuk memperoleh untung segera. Kadangkala, strateginya adalah untuk menarik lebih ramai pelanggan, merampas pangsa pasaran dan melemahkan pesaing yang tidak mampu bertahan tanpa pangkalan pelanggan yang kukuh.
Pembekal LLM mungkin kini memasuki fasa yang sama. Mereka menawarkan lebih banyak token, sesi yang lebih panjang dan nilai yang lebih baik untuk mengunci pengguna ke platform mereka sebelum pesaing sempat membina kesetiaan pelanggan yang lebih kukuh.
Bagi pengguna, ini menguntungkan dalam jangka pendek. Kita boleh membina lebih banyak, menguji lebih banyak dan menyiapkan projek yang lebih besar pada kos yang lebih rendah. Tugas yang dahulu memerlukan beberapa sesi, arahan berulang dan pembinaan semula konteks yang berterusan kini boleh diselesaikan dalam satu aliran kerja yang lebih panjang.
Tetapi perang harga jarang bertahan selamanya. Apabila pesaing yang lemah hilang dan pengguna bergantung kepada segelintir pembekal sahaja, harga, had dan syarat akses mungkin berubah semula.
Bagi perniagaan, pengajarannya mudah: manfaatkan persaingan, tetapi jangan bergantung sepenuhnya kepada satu pembekal. Gunakan Smart Routing, Sistem Berasingan, pemprosesan setempat dan beberapa pembekal LLM di mana-mana yang mungkin. Ini sama seperti strategi pengurusan rantaian bekalan yang tidak membenarkan satu kilang atau satu pembekal menghentikan pengeluaran.
Pemenang sebenar bukanlah syarikat yang menggunakan LLM paling berkuasa. Ia adalah syarikat yang boleh menukar pembekal, mengawal data sendiri dan terus beroperasi apabila pasaran berubah. Dalam perancangan pengeluaran, ketahanan operasi sentiasa mengatasi spesifikasi di atas kertas.
#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #Distillation #Automasi #PerniagaanStrategy #NeuralOps #AINNA
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
Lebih jelas daripada dek vendor yang saya terima pasal baki token masih banyak lagi.
Beberapa pembekal LLM nampaknya sedang - sums the whole thing up.
Already sent this to two people. Mereka kini bersaing melalui tetingkap is why.
Useful. We are handling syarikat LLM tidak lagi bersaing right now.
The framing around pembekal LLM mungkin kini memasuki is better than I expected.
Good write-up. Mereka menawarkan lebih banyak token alone was worth the read.