Sejak beberapa tahun kebelakangan ini, industri AI begitu terobsesi untuk membina model yang lebih bijak, petunjuk yang lebih baik dan lebih banyak aplikasi berkuasa AI. Walaupun hal ini telah mempercepatkan inovasi, ia turut mencipta cabaran baharu. Apabila organisasi melaksanakan AI secara besar-besaran, masalah terbesar bukan lagi pada model itu sendiri. Cabaran sebenar terletak pada bagaimana AI diorkestrasikan, ditadbir urus dan disepadukan ke dalam operasi harian.
Setiap permintaan AI yang tidak perlu menggunakan sumber GPU, meningkatkan kos operasi, menjana permintaan tenaga tambahan dan menimbulkan kelewatan yang boleh dielakkan. Banyak proses perniagaan tidak memerlukan penaakulan lanjut langsung. Tugas-tugas seperti penguraian, pengesahan, penghalaan, pengiraan dan pembuatan keputusan berstruktur sering bersifat deterministik dan dapat diselesaikan dengan lebih cekap tanpa memanggil model bahasa besar.
Ini menimbulkan soalan kejuruteraan yang penting: selain menanyakan \"Model AI manakah yang harus menjalankan tugas ini?\", mungkin kita harus bertanya terlebih dahulu \"Adakah tugas ini sebenarnya memerlukan AI?\" Jawapannya memberi implikasi besar terhadap kos, kebolehskalaan, keselamatan dan kemampanan.
Saya percaya AI perusahaan sedang memasuki fasa baharu di mana kejayaan akan kurang bergantung pada penggunaan model paling berkuasa dan lebih bergantung pada reka bentuk seni bina pemprosesan yang betul. Sistem deterministik, penghalaan pintar, infrastruktur AI tempatan, lapisan pengesahan dan AI awan masing-masing mempunyai kekuatan berbeza. Masa depan terletak pada organisasi yang tahu bagaimana untuk menggabungkan teknologi-teknologi ini secara cekap berbanding menghantar setiap permintaan kepada LLM.
Pendekatan seni bina ini juga memperkukuhkan kedaulatan data, memperbaiki tadbir urus, mengurangkan kos infrastruktur dan mencipta sistem yang lebih mudah untuk diaudit dan diskalakan. Dalam banyak keadaan, menggunakan AI yang lebih sedikit-sambil menggunakannya dengan lebih bijak-boleh menghasilkan hasil operasi yang lebih baik berbanding memaksimumkan penggunaan AI di mana-mana sahaja.
Pemikiran ini telah mempengaruhi hala tuju usaha kejuruteraan kami sendiri. Selain memfokuskan diri semata-mata untuk membina produk berkuasa AI, kami telah melabur dalam seni bina orkestrasi yang mengsegmentasikan beban kerja secara bijak, memisahkan pemprosesan deterministik daripada penaakulan AI, menghalakan setiap tugas ke lapisan pelaksanaan yang paling sesuai, dan menyokong penempatan AI tempatan yang selamat bersama perkhidmatan awan. Objektifnya bukan untuk memaksimumkan penggunaan AI, tetapi untuk memaksimumkan kecekapan operasi.
Syarikat AI perusahaan generasi seterusnya mungkin tidak akan dikenali kerana membina model paling bijak. Sebaliknya, mereka mungkin diiktiraf kerana membina infrastruktur paling bijak di sekelilingnya. Dalam jangka masa panjang, infrastruktur-bukan model itu sendiri-boleh menjadi kelebihan daya saing sebenar.
