AirLLM mungkin jadi satu anjakan besar dalam cara kita lihat infrastruktur AI.
Kini kita boleh jalankan model 70B hanya dengan GPU 4GB, dan boleh skala eksperimen ke arah Llama 3.1 405B menggunakan VRAM 8GB sahaja - ini bukan sekadar hype, tetapi anjakan seni bina yang serius.
Selama bertahun-tahun, AI berkuasa terasa seperti hak milik syarikat teknologi gergasi, hyperscaler, dan organisasi yang ada GPU besar, bajet cloud besar, serta akses data center. Yang lain pada dasarnya menyewa kecerdasan mengikut token.
Tapi cerita itu berubah pantas. Dengan inferens layer-wise, pengurusan memori yang lebih pintar, dan inovasi open-source, model besar semakin mudah diakses oleh pembangun biasa, PKS, pelajar, penyelidik, dan komuniti tech tempatan.
Perubahan sebenar bukan sekadar model lebih besar. Ia terletak pada cara kita jalankan model - lebih ringan, lebih pintar, lebih lokal, lebih cekap, dan lebih praktikal untuk penggunaan dunia nyata.
Di sinilah Edge AI dan AINNA NeuralOps berperanan. Daripada bergantung sepenuhnya kepada cloud AI, kecerdasan boleh digerakkan lebih dekat ke peranti, sensor, mesin, ladang, kilang, dan operasi sebenar di lapangan.
Gabungkan ini dengan sistem detached, impaknya jadi lebih kuat. Biar LLM merancang, mengaudit, menjana, dan membuat keputusan - kemudian biar skrip lokal, dashboard, cron job, API, sensor, dan sistem automasi meneruskan kerja tanpa membakar token 24/7.
Tidak lama lagi, peranti mudah alih dan sistem IoT akan mempunyai model LLM kecil yang berjalan secara offline dan off-grid. Ini masa depan AI yang saya percaya: lebih ringan, lebih pintar, lokal, praktikal, dan benar-benar untuk semua - bukan sekadar hype, bukan pergantungan kepada cloud, dan sudah tentu bukan hanya untuk syarikat teknologi besar.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
还在消化70B这一段。
Whoever wrote this actually did the work on 405B menggunakan VRAM 8GB.
boleh jalankan model 70B is the part I would forward to my boss.
Clear and short. Sharing yang lain pada dasarnya menyewa with my team.
Tulisan pertama yang cerita 70B dengan jujur.
The direction on airLLM mungkin jadi satu anjakan is exactly right.
Sent this to two people already. hanya dengan GPU 4GB is why.
I read this twice. Tapi cerita itu berubah pantas is the part that stuck.