AirLLM boleh jadi salah satu peralihan besar dalam cara kita melihat infrastruktur AI untuk operasi logistik.
Kini kita boleh menjalankan model 70B pada GPU 4GB sahaja dan menaik skala eksperimen ke arah Llama 3.1 405B dengan VRAM 8GB - ini bukan sekadar hype, tetapi perubahan seni bina yang serius.
Selama ini, AI berkuasa tinggi kelihatan seperti hak milik syarikat teknologi besar, hyperscalers, dan organisasi yang memiliki GPU gergasi, bajet awan yang besar, serta akses pusat data. Pihak lain, termasuk operator logistik dan PKS, pada asasnya menyewa kepintaran mengikut token.
Tetapi cerita itu berubah dengan pantas. Dengan layer-wise inference, pengurusan memori yang lebih pintar, dan inovasi sumber terbuka, model besar kini semakin mudah diakses oleh pembangun biasa, PKS, pelajar, penyelidik, dan komuniti teknologi tempatan - termasuk pasukan logistik di gudang serta pusat pengedaran.
Pengubah permainan sebenar bukan sahaja model yang lebih besar, tetapi cara kita menjalankannya - lebih ringan, lebih pintar, lebih tempatan, lebih cekap, dan lebih praktikal untuk kegunaan dunia nyata seperti di gudang, depot, dan lorong operasi.
Di sinilah Edge AI dan AINNA NeuralOps berperanan. Bukannya bergantung sepenuhnya pada AI awan, kepintaran boleh bergerak lebih hampir kepada peranti, sensor, mesin, ladang, kilang, dan operasi sebenar di lapangan - contohnya di pusat pengedaran, lorong pengeluaran, dan trak penghantaran.
Gabungkan ini dengan sistem detached, dan kesannya menjadi lebih kuat. Biarkan LLM merancang, mengaudit, menjana, dan membuat keputusan - kemudian biarkan skrip tempatan, dashboard, cron job, API, sensor, dan sistem automasi meneruskan kerja tanpa membakar token 24/7.
Tidak lama lagi, peranti mudah alih dan sistem IoT akan mempunyai model LLM kecil mereka sendiri yang beroperasi secara luar talian dan off-grid. Inilah masa depan AI yang saya percayai: lebih ringan, lebih pintar, lebih tempatan, lebih praktikal, dan benar-benar untuk semua - bukan sekadar hype, bukan sekadar pergantungan kepada awan, dan pastinya bukan hanya untuk big tech.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
เพิ่งเคยเห็นคนเขียนเรื่อง70Bแบบตรงไปตรงมา
Sent this to two people already. boleh menjalankan model 70B is why.
Kini kita boleh menjalankan model - that is the whole thing in one line.
I read this twice. Tetapi cerita itu berubah dengan is the part that stuck.
The framing around 70B pada GPU 4GB is better than I expected.
The case for 405B dengan VRAM 8GB is well made.
Still thinking about pada asasnya menyewa kepintaran mengikut.
This is where airLLM boleh jadi salah satu finally makes sense.