AirLLM: AI Dari Rancangan Ke Lapangan, Tanpa GPU Raksasa✎ Edit

AirLLM mengubah cara kami merancang AI dalam operasi harian.

Model 70B kini boleh dijalankan pada GPU 4GB, manakala eksperimen ke arah Llama 3.1 405B mampu dilakukan dengan hanya 8GB VRAM. Bagi saya, ini bukan sekadar penjimatan perkakasan, tetapi satu perubahan seni bina yang terus menyentuh perancangan kapasiti, penjadualan kerja, dan pengagihan sumber.

Selama ini, AI berkuasa tinggi nampak seperti hak eksklusif syarikat teknologi besar yang memiliki GPU raksasa, bajet cloud besar, dan akses data center. Perniagaan lain, terutamanya PKS, terpaksa "menyewa" kecerdasan mengikut token - sukar untuk dijadikan sebahagian daripada jadual pengeluaran yang konsisten.

Tetapi cerita itu berubah pantas. Dengan inferens lapisan demi lapisan, pengurusan memori yang lebih cekap, dan inovasi open-source, model besar kini semakin mudah diakses oleh pembangun, pelajar, penyelidik, dan komuniti teknikal tempatan. Lebih penting lagi, ia membuka ruang untuk PKS Malaysia merancang dan melaksanakan AI sebagai sebahagian daripada operasi biasa.

Perubahan sebenar bukan sahaja pada saiz model, tetapi pada cara kita menjalankannya - lebih ringan, lebih pintar, lebih tempatan, lebih cekap, dan lebih praktikal untuk kegunaan dunia nyata.

Ini adalah peranan Edge AI dan AINNA NeuralOps. Daripada bergantung sepenuhnya pada cloud AI, kecerdasan boleh bergerak lebih hampir ke peranti, sensor, mesin, ladang, kilang, dan operasi sebenar di lapangan.

Gabungkan pula dengan sistem detached, impaknya menjadi lebih kuat. Biarkan LLM merancang, mengaudit, menjana, dan membuat keputusan - kemudian biarkan skrip tempatan, dashboard, cron job, API, sensor, dan sistem automasi meneruskan kerja tanpa perlu membakar token 24/7.

Tidak lama lagi, peranti mudah alih dan sistem IoT akan menjalankan model LLM kecil secara offline dan off-grid. Inilah masa depan AI yang saya nampak dari sudut operasi: lebih ringan, lebih pintar, lebih tempatan, lebih praktikal, dan benar-benar untuk semua - bukan sekadar hype, bukan sekadar kebergantungan cloud, dan sudah tentu tidak hanya untuk syarikat teknologi besar.