AirLLM boleh jadi satu perubahan besar dalam cara kita melihat AI untuk operasi e-dagang.
Sekarang kita boleh jalankan model 70B pada GPU 4GB sahaja, dan menaik skala eksperimen ke Llama 3.1 405B hanya dengan 8GB VRAM. Ini bukan gimik semata-mata - ini perubahan arkitektur yang ketara untuk pasukan operasi yang sentiasa kira kos.
Selama ini, AI yang berkuasa terasa seperti hak eksklusif syarikat besar, hyperscaler, dan mereka yang ada GPU gergasi, bajet cloud besar, serta akses data center. Syarikat e-dagang tempatan, penjual marketplace, dan PKS kebanyakannya ‘menyewa kecerdasan’ mengikut token.
Tapi cerita itu berubah pantas. Dengan layer-wise inference, pengurusan memori yang lebih pintar, dan inovasi open-source, model besar semakin mudah diakses oleh pembangun biasa, PKS, pelajar, penyelidik, dan komuniti teknikal tempatan. Maksudnya, pasukan operasi e-dagang yang kecil pun boleh mula bereksperimen.
Perubahan sebenar bukan model semakin besar, tapi cara kita menjalankannya - lebih ringan, lebih pintar, lebih setempat, lebih cekap, dan lebih praktikal untuk penggunaan dunia sebenar seperti menjana listing produk, menjawab pertanyaan pelanggan, atau mengaudit stok.
Di sinilah Edge AI dan AINNA NeuralOps masuk. Bukan bergantung sepenuhnya kepada cloud AI, kecerdasan boleh bergerak lebih rapat dengan peranti, sensor, mesin, gudang, kilang, dan operasi sebenar di lapangan.
Gabungkan ini dengan sistem berasingan, dan impaknya menjadi lebih kuat. Biarkan LLM merancang, mengaudit, menjana deskripsi produk, dan membuat keputusan - kemudian biarkan skrip tempatan, dashboard, tugas cron, API, sensor, dan sistem automasi meneruskan kerja tanpa perlu membakar token 24/7.
Tidak lama lagi, peranti mudah alih dan sistem IoT akan mempunyai model LLM kecil mereka sendiri yang berjalan luar talian dan luar grid. Ini adalah masa depan AI yang saya percayai: lebih ringan, lebih pintar, lebih setempat, lebih praktikal, dan benar-benar untuk semua - bukan gimik, bukan bergantung sepenuhnya kepada cloud, dan pastinya bukan hak syarikat besar sahaja.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
إذا كان هناك جزء آخر عن 70B فسأقرأه.
Worth reading for ini bukan gimik semata-mata alone.
The section on sekarang kita boleh jalankan model is the strongest part for me.