Ejen AI tidak sememangnya sehebat yang digembar-gemburkan dalam pemasaran. Dalam beberapa projek yang kita pantau, banyak syarikat-termasuk pembekal dalam rantaian bekai-telah mula memperlahankan atau menghentikan penerapan AI kerana kos token, GPU, cloud dan penyelenggaraan sudah terlalu tinggi dan membebankan bajet operasi.
Kesilapan paling besar yang saya perhatikan ialah apabila LLM digunakan untuk setiap tugas. Dalam persekitaran gudang dan penghantaran, kerja-kerja mudah seperti routing SKU, parsing resit, validasi alamat atau pemeriksaan status pesanan sepatutnya dijalankan melalui parser, automasi berasaskan peraturan atau sistem terpisah. LLM hanya perlu dipanggil apabila terdapat kekaburan, keadaan luar biasa, atau keputusan kompleks yang benar-benar memerlukan penaakulan. Itulah cara kita mengoptimumkan kos perkhidmatan sambil mengekalkan kecekapan operasi harian.
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
Masih mencerna bagian ejen AI tidak sememangnya sehebat.
The bit about automasi berasaskan peraturan atau sistem is what I keep coming back to.
The numbers around itulah cara kita mengoptimumkan kos make more sense than most posts I read.