Orkestrasi agentik

Apa yang sebenarnya dilakukan oleh satu ejen, langkah demi langkah

Ada baiknya kita ikuti satu pesanan dari mula hingga akhir, kerana perkataan "ejen" menyembunyikan betapa biasanya setiap langkah itu.

Satu e-mel tiba: "Hi bro, sama macam bulan lepas tapi 20 karton bukan 12, hantar Khamis." Sistem berasaskan peraturan tidak boleh buat apa-apa dengan itu. Ejen bermula dengan mengenal pasti siapa yang menghantarnya — memadankan alamat dengan senarai pelanggan anda, dan menyedari bahawa penghantar ini telah memesan sebelas kali sebelum ini.

Seterusnya ia perlu tahu apa maksud "sama macam bulan lepas", jadi ia mencari pesanan terdahulu pelanggan itu dan menemui tiga item. Ia melaraskan kuantiti pada item yang disebut dalam mesej dan membiarkan dua lagi. Kemudian ia menyemak stok bagi ketiga-tiganya, dan mendapati satu daripadanya kurang enam unit.

Di sinilah satu skrip akan sama ada gagal atau senyap-senyap melakukan perkara yang salah. Ejen ada pilihan untuk dibuat, dan pilihan itulah nilainya: ia merangka pesanan dengan dua baris yang ada disahkan, menandakan baris yang kurang berserta kuantiti sebenar yang ada, dan menulis nota satu ayat menerangkan apa yang dibuatnya dan mengapa. Kemudian ia berhenti dan menunggu manusia.

Itulah keseluruhan kitarannya — baca, putuskan, bertindak, semak, naikkan kepada manusia apabila tidak pasti. Ulang empat puluh kali sebelum sesiapa sampai pada waktu pagi dan itulah sistem yang kami bina. Tiada apa yang ajaib di dalamnya. Yang benar-benar sukar ialah membuat keputusan, khususnya memutuskan bila untuk tidak memutuskan.

Lima perkara yang menentukan sama ada ia berjaya

Hampir setiap projek ejen yang mengecewakan gagal pada salah satu daripada lima perkara, dan tiada satu pun daripadanya ialah model AI itu sendiri.

Pertama, kejelasan matlamat. "Guna AI pada pesanan kami" bukan matlamat, itu hajat. "Baca setiap pesanan yang tiba melalui e-mel atau WhatsApp, rangkakannya ke dalam sistem, dan tandakan apa-apa yang anda tidak pasti" ialah matlamat, kerana anda boleh menilai sama ada ia dicapai. Jika kami tidak dapat menulis ayat itu, kami tidak memulakan binaan.

Kedua, akses kepada alat. Ejen hanya sehebat perkara yang dibenarkan disentuhnya. Jika sistem pesanan tiada API dan tiada siapa akan memberi kami log masuk, tiada jumlah kepintaran yang membantu. Ini biasanya yang menentukan garis masa, bukan kerja AI itu.

Ketiga, kualiti data. Ejen perlu mengenali pelanggan anda. Jika pembeli yang sama wujud tiga kali dengan nama yang sedikit berbeza, ia akan teragak-agak pada ketiga-tiganya, dan anda akan menyimpulkan ejen itu tidak boleh dipercayai sedangkan masalah sebenar ialah jadual pelanggan. Inilah sebabnya saluran paip data sering muncul sebagai projek pertama.

Keempat, reka bentuk eskalasi. Perkara paling penting yang dilakukan ejen ialah menyedari bahawa ia patut berhenti. Menentukan lebih awal apa maksud "tidak pasti" — pelanggan tidak dikenali, harga yang tidak sepadan, kuantiti di luar julat biasa — itulah yang mengubahnya daripada risiko menjadi aset.

Kelima, keupayaan diperhati. Apabila sesuatu kelihatan tidak kena, anda perlu melihat apa yang difikirkan ejen pada masa itu. Setiap keputusan yang dibuatnya ditulis dalam bahasa mudah, jadi penyelia boleh membaca alasannya dan bukan meneka. Ejen yang tidak boleh menerangkan dirinya tidak akan bertahan dalam perniagaan sebenar.

Berapa banyak kuasa untuk diberikan kepadanya, dan bila hendak meluaskannya

Soalan yang paling kerap ditanya kepada kami bukan "bolehkah ia buat ini" tetapi "bagaimana jika ia tersilap". Jawapannya ialah anda tidak menyerahkan kuasa pada hari pertama; anda meluaskannya apabila ejen itu melayakkannya, dan anda sentiasa boleh menyempitkannya semula.

Pada fasa pertama ejen merangka dan manusia meluluskan semuanya. Ini terasa seperti mengalahkan tujuannya, tetapi tidak: meluluskan empat puluh draf mengambil dua puluh minit, sedangkan menaip empat puluh pesanan mengambil dua jam setengah. Anda sudah pun mendapat sebahagian besar manfaatnya, dan anda memerhati setiap keputusan sambil membina keyakinan.

Selepas beberapa ratus pesanan anda akan mempunyai gambaran jelas tentang di mana ia tepat secara konsisten. Biasanya itu ialah pelanggan sedia ada memesan item biasa dalam kuantiti normal — yang merupakan sebahagian besar volum. Kategori itu boleh diteruskan secara automatik manakala yang lain masih berhenti untuk manusia.

Ambang itu keputusan perniagaan, bukan teknikal. Sesetengah klien membenarkan apa-apa di bawah nilai ringgit tertentu diteruskan dan menyemak selebihnya. Yang lain mengikut pelanggan: dua puluh akaun yang mereka kenal baik adalah automatik, selebihnya disemak. Kedua-duanya berkesan, dan kedua-duanya ditetapkan oleh anda serta boleh diubah dalam satu petang.

Apa yang kami tidak akan buat ialah memberi ejen kuasa tanpa pengawasan ke atas sesuatu yang tidak boleh diundur atas janji bahawa ia mungkin tidak apa-apa. Menghantar wang, membatalkan pesanan dan menghantar e-mel terus kepada pelanggan kekal di belakang manusia sehingga anda memutuskan sebaliknya secara jelas.

Berapa kosnya untuk dijalankan, secara jujur

Ada dua kos dan kedua-duanya berkelakuan berbeza. Binaan itu sekali sahaja. Kos berjalan adalah setiap transaksi, dan berbaloi difahami sebelum anda komited, kerana itulah bahagian yang menentukan sama ada ekonominya kekal munasabah apabila anda berkembang.

Setiap kali ejen membaca pesanan dan menaakul mengenainya, penaakulan itu dicaj oleh pembekal AI berdasarkan berapa banyak teks masuk dan keluar. Untuk pemprosesan pesanan angka realistiknya beberapa sen setiap pesanan, bukan ringgit. Pada empat puluh pesanan sehari itu hanyalah bulatan kecil berbanding tenaga kerja yang digantikannya.

Di mana ia berhenti menjadi kecil ialah volum sangat tinggi dengan nilai sangat rendah setiap transaksi. Jika anda memproses sepuluh ribu item kecil sehari, penaakulan AI setiap item ialah alat yang salah dan sistem berasaskan peraturan konvensional adalah lebih murah dan lebih boleh diramal. Kami akan beritahu anda apabila anda berada dalam wilayah itu.

Kos berjalan yang satu lagi ialah penyelenggaraan, dan ia nyata. Sistem berubah, pembekal mereka bentuk semula portal mereka, proses anda sendiri beralih. Peruntukkan sedikit perhatian berterusan dan bukan menganggap sistem yang dibina kekal betul selama-lamanya. Retainer melindungi ini, tetapi anda juga boleh hubungi kami apabila sesuatu rosak.

Bagaimana ia diuji sebelum menyentuh apa-apa yang sebenar

Tiada ejen yang kami bina bertemu sistem langsung anda pada hari pertama. Urutan ujian lebih penting daripada binaan itu, dan itulah bahagian yang paling melegakan klien apabila diterangkan.

Peringkat pertama ialah main semula. Kami ambil beberapa ratus pesanan sebenar dari beberapa bulan lepas — yang telah anda proses, jadi jawapan betulnya diketahui — dan jalankan ejen ke atasnya dengan semua penulisan dimatikan. Ia tidak boleh mengubah apa-apa; ia hanya boleh menyatakan apa yang akan dibuatnya. Kemudian kami bandingkan keputusannya dengan apa yang sebenarnya berlaku.

Perbandingan itulah tempat kerja sebenar bermula, kerana percanggahannya bermaklumat dalam kedua-dua arah. Kadangkala ejen yang salah dan kami laraskan. Tetapi agak kerap ejen yang betul dan kemasukan manusia yang asal yang salah — kuantiti tersilap tukar, harga lapuk, satu baris tertinggal pada pagi yang sibuk. Klien sering terkejut dengan kadar ralat asas mereka sendiri, dan ia menjadikan perbandingan akhirnya lebih adil.

Peringkat kedua ialah berjalan bayangan. Ejen memproses pesanan langsung selari dengan pasukan anda, masih tanpa menulis apa-apa. Setiap pagi seseorang boleh melihat apa yang akan dibuatnya dengan peti masuk sebenar, termasuk mesej yang benar-benar sukar. Seminggu dua begini melegakan kebanyakan kebimbangan, dan ia mendedahkan kes tepi yang data sejarah tidak pernah mengandunginya — pelanggan yang membalas rangkaian e-mel berusia tiga bulan, pesanan yang dihantar sebagai gambar nota tulisan tangan.

Barulah selepas itu ia mula menulis, dan pada mulanya hanya sebagai draf yang tiada siapa wajib terima. Jika pada bila-bila masa angkanya kelihatan tidak kena, mematikannya hanyalah satu suis, dan pasukan anda meneruskan seperti biasa kerana tiada apa yang dibuang. Itu disengajakan: kami tidak membongkar proses manual sehingga proses automatik itu melayakkannya.

Apa yang berlaku apabila sesuatu rosak

Setiap sistem automatik akhirnya akan gagal. Apa yang membezakan kegagalan yang boleh diurus daripada yang mahal ditentukan sepenuhnya semasa binaan, jadi berbaloi dinyatakan dengan jelas bagaimana sistem ini berkelakuan.

Prinsip pertama ialah ejen gagal dengan lantang. Jika ia tidak dapat mencapai sistem pesanan anda, jika carian harga tidak mengembalikan apa-apa, jika bilangan pesanan yang dilihatnya jauh menyimpang daripada biasa, ia berhenti dan memberitahu seseorang. Ia tidak meneruskan dengan maklumat separuh dan ia tidak meneka. Kegagalan senyap — di mana sistem kelihatan berjalan selama dua minggu sambil senyap-senyap tidak menghasilkan apa-apa yang berguna — itulah satu hasil yang paling kami reka untuk dielakkan.

Kedua ialah segalanya boleh diundur. Tindakan dilog dengan perincian yang mencukupi untuk membatalkannya, dan pada fasa awal penulisan ejen adalah draf dan bukan komitmen. Jika satu kelompok buruk tembus, anda boleh mengenal pasti dengan tepat rekod mana yang disentuh dan bila, dan bukan menyusunnya semula daripada ingatan.

Ketiga ialah laluan manual tidak pernah hilang. Pasukan anda mengekalkan keupayaan memproses pesanan secara manual, dan ejen yang tidak tersedia hanyalah kesulitan dan bukan penghentian. Mana-mana perunding yang menyuruh anda menamatkan proses lama pada hari pelancaran sedang mengoptimumkan untuk invoisnya, bukan untuk hari Selasa anda.

Pada praktiknya, kebanyakan kegagalan itu membosankan. Pembekal menukar susun atur halaman. Kunci API tamat tempoh. Seseorang menamakan semula lajur hamparan. Ini menghasilkan satu e-mel, seseorang menghabiskan dua puluh minit, dan sistem meneruskan. Kegagalan dramatik yang orang bimbangkan — ejen dengan yakin melakukan sesuatu yang membawa malapetaka tanpa disedari — itulah tepatnya yang dihalang oleh pintu kelulusan dan pengelogan.