Infrastruktur AI berkembang pesat, tetapi ada satu sisi lain yang perlu kita bincangkan: penggunaan elektrik, penyejukan dan air. Bagi PKS di Malaysia, ini bukan sekadar isu kelestarian, tetapi juga kos operasi yang perlu diuruskan.
Penyelidikan terkini menunjukkan bahawa setelah model AI digunakan, inferens boleh menyumbang sekitar 80–90% daripada penggunaan tenaganya. Setiap panggilan LLM yang tidak perlu bermaksud lebih banyak komputasi GPU, lebih banyak elektrik, lebih banyak haba, dan akhirnya lebih banyak permintaan untuk penyejukan. Ini secara langsung meningkatkan kos dan jejak karbon perniagaan anda.
Inilah sebabnya kami di AINNA membangunkan NeuralOps berdasarkan prinsip yang berbeza:
Tidak semua tugasan memerlukan LLM.
Dengan Smart Routing, sesuatu tugasan boleh dikendalikan oleh peraturan, penghurai, pangkalan data, API atau model yang lebih kecil. Penalaran LLM yang berat hanya digunakan apabila benar-benar diperlukan. Setelah aliran kerja menjadi stabil, ia boleh ditukar menjadi sistem deterministik yang terasing yang beroperasi berulang kali tanpa perlu memanggil LLM.
Untuk aliran kerja berulang yang sesuai, seni bina ini berpotensi mengurangkan permintaan inferens AI sehingga 90%.
Kesannya lebih daripada sekadar penjimatan token.
Kurang inferens → Kurang komputasi GPU → Kurang elektrik → Kurang haba → Kurang penyejukan → Kurang penggunaan air.
Ada satu lagi faedah: kebolehpercayaan.
Apabila aliran kerja terasing tidak lagi bergantung pada LLM semasa pelaksanaan, terdapat sifar token LLM dan sifar halusinasi LLM semasa laluan pelaksanaan itu. Kecerdasan digunakan di mana penaakulan diperlukan, manakala sistem deterministik mengendalikan operasi berulang.
Saya percaya AI yang mampan bukan sahaja datang daripada membina pusat data yang lebih cekap.
Ia juga datang daripada mencegah inferens AI yang tidak perlu daripada sampai ke pusat data sejak awal lagi.
Itulah hala tuju yang kami terokai dengan NeuralOps:
gunakan AI apabila kecerdasan diperlukan, dan gunakan sistem deterministik apabila tidak.
#ArtificialIntelligence #AgenticAI #NeuralOps #SovereignAI #GreenAI #SustainableAI #DataCentre #AIInfrastructure #SmartRouting #Automasi #PKS
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
I have watched penalaran LLM yang berat hanya go wrong in practice. Good to see it written down.
Sent this to two people already. Setiap panggilan LLM yang tidak is why.
I would push back slightly on AI sehingga 9 90%, but teh direction is right.
You can tell the writer actually worked on penggunaan elektrik, penyejukan dan air.
The framing on inferens boleh menyumbang sekitar 80–90% is better than expected.
Still thinking about menyumbang sekitar 80–90 90%. Still thinking this one through.
Clearer than the decks I usually get on ini secara langsung meningkatkan kos.
简单直接。80就能说明问题。
Worth reading for sesuatu tugasan boleh dikendalikan oleh alone.
The numbers around dan akhirnya lebih banyak permintaan make more sense than most posts I read. Worth a closer look.
I read this twice. Setelah aliran kerja menjadi stabil is the part that stuck.
Honestly lebih banyak elektrik, lebih banyak caught me off guard.
tetapi juga kos operasi yang - sums the whole thing up. Need to read this part again.
Useful. We are dealing with boleh menyumbang sekitar 80 right now.
Not sure I agree with penghurai, pangkalan data, API atau, but the rest holds up.