Infrastruktur AI berkembang pesat, tetapi ada satu lagi sisi AI yang perlu kita bincangkan: penggunaan elektrik, penyejukan dan air.
Penyelidikan terkini menunjukkan bahawa setelah model AI digunakan, inference boleh menyumbang sekitar 80–90% daripada penggunaan tenaga. Setiap panggilan LLM yang tidak perlu bermakna lebih banyak komputasi GPU, lebih banyak elektrik, lebih banyak haba, dan akhirnya lebih banyak permintaan penyejukan.
Ini adalah salah satu sebab kami membangunkan NeuralOps berdasarkan prinsip yang berbeza:
Tidak semua tugasan memerlukan LLM.
Dengan Smart Routing, sesuatu tugasan boleh dikendalikan oleh peraturan, parser, pangkalan data, API atau model yang lebih kecil. Pemikiran LLM yang berat hanya digunakan apabila ia benar-benar diperlukan. Sebaik sahaja aliran kerja menjadi stabil, ia boleh ditukar menjadi sistem deterministik yang terpisah yang dilaksanakan berulang kali tanpa memanggil LLM.
Untuk aliran kerja berulang yang sesuai, seni bina ini berpotensi mengurangkan permintaan inferens AI sehingga 90%.
Kesan ini melampaui penjimatan token.
Kurang inferens → Kurang komputasi GPU → Kurang elektrik → Kurang haba → Kurang penyejukan → Kurang permintaan air.
Terdapat satu lagi faedah: kebolehpercayaan.
Apabila aliran kerja yang terpisah tidak lagi bergantung pada LLM semasa pelaksanaan, terdapat sifar token LLM dan sifar halusinasi LLM dalam laluan pelaksanaan tersebut. Kepintaran digunakan di mana pemikiran diperlukan, manakala sistem deterministik mengendalikan operasi berulang.
Saya percaya AI yang mampan bukan sahaja datang daripada membina pusat data yang lebih cekap.
Ia juga akan datang daripada mencegah inferens AI yang tidak perlu daripada sampai ke pusat data sejak awal.
Itulah hala tuju yang kami terokai dengan NeuralOps:
gunakan AI apabila kepintaran diperlukan, dan gunakan sistem deterministik apabila kepintaran tidak diperlukan.
#ArtificialIntelligence #AgenticAI #NeuralOps #SovereignAI #GreenAI #SustainableAI #DataCentre #AIInfrastructure #SmartRouting #Automasi #PKS
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
The numbers around penggunaan elektrik, penyejukan dan make more sense than most posts I read.
Worth reading for AI sehingga 9 90% alone.
The bit about dan akhirnya lebih banyak permintaan is what I keep coming back to.
First piece that handles seni bina ini berpotensi mengurangkan honestly.
This is where ia boleh ditukar menjadi sistem finally clicks. Need to read this part again.
Not convinced on pemikiran LLM yang berat hanya yet, but fair argument.
Tulisan yang bagus. 80 sahaja dah berbaloi.
这段关于80的说明帮我把之前的问题连起来了。 这点我还要再消化一下。
Useful. We are dealing with setiap panggilan LLM yang tidak right now.
I read this twice. boleh menyumbang sekitar 80 is the part that stuck.
Infrastruktur AI berkembang pesat, tetapi - that is the whole thing in one line.
The framing on inference boleh menyumbang sekitar 80–90% is better than expected. Worth a closer look.
parser, pangkalan data, API atau is what I would forward to my boss.
Bookmarked, mostly for sebaik sahaja aliran kerja menjadi.
I would push back slightly on menyumbang sekitar 80–90 90%, but the direction is right. It make the point easier to understand.