Beberapa pembekal LLM nampaknya sedang naikkan had token maksimum setiap sesi.
Semalam, pasukan teknikal AINNA habiskan beberapa jam optimize semula parsing engine dalam Sistem Berasingan. Kalau ikut pengalaman harian, kerja kompleks macam ni biasanya burn through session limit dalam beberapa minit sahaja. Tapi walaupun dah berjam-jam, baki token masih banyak.
Ini menunjukkan trend yang lebih besar. Pembekal LLM sekarang tak bersaing semata-mata pada kecerdasan model. Mereka juga bersaing melalui context window yang lebih panjang, had penggunaan yang lebih tinggi, kos lebih rendah, respon lebih laju dan akses lebih baik untuk pengguna.
Perkara ni mengingatkan saya akan perang harga di kalangan penjual dalam talian.
Ada penjual yang asyik potong harga walaupun margin dah nipis. Tujuannya tak semestinya untung cepat. Kadang-kadang, strategi tu adalah untuk tarik lebih ramai pelanggan, rampas market share dan lemahkan pesaing yang tak boleh survive tanpa customer base yang kukuh.
Pembekal LLM mungkin sekarang masuk fasa yang sama. Mereka tawarkan lebih banyak token, sesi lebih panjang dan nilai lebih baik untuk kunci pengguna pada platform mereka sebelum pesaing sempat bina kesetiaan pelanggan yang lebih kuat.
Bagi pengguna, ini bagus jangka pendek. Kita boleh bina lebih banyak, uji lebih banyak dan siapkan projek besar dengan kos lebih rendah. Kerja-kerja yang dulu perlukan banyak sesi berulang, prompt berulang dan pembinaan semula konteks, sekarang boleh siap dalam satu workflow yang lebih panjang.
Tapi perang harga jarang kekal selama-lamanya. Bila pesaing lemah hilang dan pengguna dah bergantung pada beberapa pembekal sahaja, harga, had dan syarat akses mungkin berubah lagi.
Bagi perniagaan, pengajarannya mudah: manfaatkan persaingan ini, tapi jangan bergantung sepenuhnya pada satu pembekal. Guna Smart Routing, Sistem Berasingan, local processing dan pelbagai pembekal LLM di mana mungkin.
Pemenang sebenar bukanlah syarikat yang guna LLM paling berkuasa. Ia adalah syarikat yang boleh tukar pembekal, kawal data sendiri dan terus beroperasi bila pasaran berubah.
#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #Distillation #Automasi #BusinessStrategy #NeuralOps #AINNA
