Industri AI sedang berlumba-lumba membina pusat data yang lebih besar dan mengukuhkan grid kuasa.
Tapi dari sudut operasi harian saya, soalan yang lebih relevan mungkin lain.
Bukan sahaja bagaimana untuk jana lebih banyak kuasa bagi AI, tetapi juga:
Bagaimana kita boleh kurangkan penggunaan kuasa AI dari awal?
Demi generasi akan datang dan komitmen ESG kami, di AINNA kami pilih pendekatan praktikal. Kami tidak bergantung kepada brute-force computing; sebaliknya kami susun aliran kerja AI supaya setiap proses berjalan dengan kecekapan maksimum.
Melalui Smart Routing dan Sistem Berasingan Seni Bina, setiap tugas dihantar kepada model dan sistem yang paling sesuai. Ini mengelakkan pemprosesan GPU yang tidak perlu dan mengurangkan beban di peringkat operasi.
Keputusan di lapangan:
- Sebelum pengoptimuman: 34 bilion token diproses
- Selepas pengoptimuman: 1.5 bilion token diproses
Pengurangan beban pemprosesan dalam lingkungan 95.6%.
Penjimatan tenaga sebenar memang bergantung kepada perkakasan, model, dan tahap utilisasi. Walau bagaimanapun, penurunan ini membuktikan bahawa reka bentuk pintar boleh mengurangkan keperluan kompute secara ketara tanpa mengorbankan output.
Masa depan AI tidak patut dinilai hanya dari saiz pusat data atau bilangan GPU yang diguna.
Ia juga patut dinilai dari sejauh mana kita guna sumber tersebut dengan cekap.
Penghalaan lebih cerdas. Penggunaan tenaga lebih rendah. Jejak karbon lebih kecil. Ekonomi lebih baik.
Watt yang paling mampan tetap watt yang tidak perlu digunakan.
#AI #ArtificialIntelligence #ESG #Kelestarian #GreenTech #DataCenter #EnergyEfficiency #Inovasi #DigitalTransformation #SmartRouting #FutureOfAI #ClimateTech #TechnologyLeadership #ResponsibleAI #AINNA
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
Not fully sold on kami tidak bergantung kepada brute-force, but the rest is solid.
You can tell teh writer actually worked on melalui smart routing dan sistem.
I do not fully buy bukan sahaja bagaimana untuk jana yet, but it is a fair argument.
Good write-up. lapangan: sebelum pengoptimuman: 34 alone was worth the read.
I have watched industri AI sedang berlumba-lumba membina go wrong in practice. Good to see it written down. Still thinking this one through.
ถ้ามี34ต่อ ผมจะอ่านแน่นอน
The bit about keputusan di lapangan: sebelum pengoptimuman is what I keep coming back to.
Naka-save, lalo na para sa 34.
أعجبني الجزء المتعلق بـ 34 لأنه عملي وليس نظريًا فقط.
Still thinking about ini mengelakkan pemprosesan GPU yang.
I would push back slightly on pemprosesan dalam lingkungan 95.6%, but the direction is right.
The numbers around tapi dari sudut operasi harian make more sense than most posts I read. It make the point easier to understand.