Chatbot LLM

Mengapa chatbot lama gagal, dan apa yang berubah

Berbaloi kita tepat tentang perkara ini, kerana pandangan kebanyakan orang terhadap chatbot dibentuk oleh sesuatu yang memang teruk.

Generasi terdahulu berfungsi dengan memadankan apa yang anda taip dengan senarai frasa yang ditulis seseorang lebih awal. Jika soalan anda ada dalam senarai, anda dapat jawapan betul. Jika tidak — dan selalunya tidak, kerana orang menyusun ayat seratus cara — anda dapat "Maaf, saya tidak faham", dan selepas dua pusingan begitu semua orang belajar menaip "agent" dengan segera.

Model bahasa tidak memadankan frasa. Ia membaca ayat seperti manusia, yang bermaksud "hantar ke Klang tak", "can send klang ah" dan "delivery Selangor available?" semuanya mendarat sebagai soalan yang sama. Perubahan tunggal itulah beza antara chatbot yang dielak pelanggan dan satu yang benar-benar digunakan.

Tetapi membaca soalan dengan baik memperkenalkan risiko baharu yang tiada pada yang lama. Model bahasa akan menghasilkan jawapan yang lancar dan yakin sama ada ia tahu atau tidak. Tanpa kawalan ia akan mereka caj penghantaran, menyebut diskaun yang anda tidak pernah tawarkan, atau menjanjikan masa penghantaran yang anda tidak boleh penuhi. Itulah masalah kejuruteraan sebenar, dan di situlah kebanyakan usaha binaan tertumpu.

Pengasasan: bagaimana ia dihalang daripada mereka-reka

Tekniknya dipanggil retrieval-augmented generation, dan ideanya lebih mudah daripada namanya.

Daripada membiarkan model menjawab dari apa yang diserapnya semasa latihan, kami berikannya perpustakaan dokumen anda sendiri — senarai harga, terma penghantaran, polisi pemulangan, syarat waranti, waktu operasi. Apabila pelanggan bertanya, sistem mula-mula mencari perpustakaan itu, mengeluarkan petikan yang benar-benar berkaitan dengan soalan itu, kemudian meminta model menjawab menggunakan petikan itu sahaja.

Kesan praktikalnya ialah jawapan itu boleh dijejaki. Apabila ia memberitahu pelanggan penghantaran ke Johor mengambil tiga hari bekerja, itu datang daripada satu baris tertentu dalam dokumen yang anda tulis dan boleh tunjukkan. Jika anda ubah dokumen itu, jawapannya berubah pada hari yang sama. Tiada apa perlu dilatih semula.

Ia juga bermakna sistem tahu bila ia tiada apa-apa untuk dijadikan asas. Jika carian tidak mengembalikan petikan berkaitan, kelakuan yang betul ialah menyatakannya dan menawarkan manusia — bukan berimprovisasi. Kami mengujinya secara sengaja, dengan menanyakan perkara yang tidak diliputi dokumen anda dan menyemak bahawa ia menolak dan bukan mereka-reka.

Ini juga sebabnya penyampaian pertama selalunya sekadar menulis polisi anda. Banyak perniagaan tidak pernah meletakkan terma penghantaran atau tempoh pemulangan di satu tempat; ia tersimpan dalam kepala orang yang paling lama bekerja. Dokumen itu berguna sama ada anda melancarkan chatbot itu atau tidak.

Apa yang ia tidak sepatutnya kendalikan

Chatbot yang cuba melakukan segalanya lebih buruk daripada satu yang mempunyai had jelas, dan had itu ialah keputusan reka bentuk yang dibuat sebelum apa-apa dibina.

Aduan diserahkan kepada manusia. Seseorang yang sudah tidak berpuas hati tidak mahu jawapan yang cekap, mereka mahu rasa didengari, dan cara terpantas kehilangan pelanggan selama-lamanya ialah membiarkan perisian mengendalikan kekecewaan mereka dengan licin. Tugas bot di situ ialah mengenali nada, memohon maaf ringkas, dan menyerahkan bersama keseluruhan perbualan.

Apa-apa yang melibatkan wang yang ia tidak pasti diserahkan kepada manusia. Harga khas, kadar rundingan, terma kredit, bayaran balik. Peraturan yang kami guna ialah jika tersilap akan merugikan wang atau hubungan, ia tidak dijawab secara automatik.

Soalan perundangan, perubatan dan keselamatan diserahkan kepada manusia, sentiasa, tidak kira apa kata dokumen anda. Dan apabila pelanggan meminta terus untuk bercakap dengan seseorang, permintaan itu ditunaikan serta-merta — tiada gelung penahanan, tiada "biar saya cuba bantu dahulu". Kelakuan tunggal itu memberi kesan lebih besar kepada persepsi terhadap bot berbanding apa-apa kualiti jawapan.