Kenapa chatbot berbasis skrip selalu ketinggalan
Chatbot generasi lama bekerja dengan pohon keputusan: kalau pengguna menekan satu, tampilkan jawaban ini. Pendekatan ini bisa diandalkan untuk alur yang sangat sempit, tetapi punya dua kelemahan fatal. Pertama, setiap perubahan harga, kebijakan, atau produk menuntut penyuntingan skrip secara manual. Kedua, pengguna nyata jarang bertanya dengan kalimat yang sudah diantisipasi.
Hasilnya adalah bot yang terlihat pintar saat demo tapi menjengkelkan di produksi, dan pada akhirnya semua pertanyaan tetap dilempar ke manusia.
Apa itu RAG dan kenapa berbeda
RAG adalah singkatan dari retrieval augmented generation. Idenya sederhana: alih-alih model bahasa menjawab dari ingatannya sendiri, sistem terlebih dahulu mencari potongan dokumen yang relevan dari basis pengetahuan Anda, lalu meminta model menyusun jawaban hanya berdasarkan potongan tersebut.
Konsekuensinya penting untuk bisnis:
- Jawaban bersumber dari dokumen Anda, bukan dari pengetahuan umum internet.
- Memperbarui pengetahuan berarti memperbarui dokumen, bukan melatih ulang model.
- Jawaban bisa dilacak ke bagian dokumen yang menjadi sumbernya.
- Risiko halusinasi turun, meskipun tidak nol, karena model dibatasi pada konteks yang diberikan.
Kualitas dokumen menentukan kualitas jawaban
Bagian yang paling sering diabaikan adalah penyiapan dokumen. Sistem RAG tidak bisa memperbaiki dokumen yang buruk. Beberapa prinsip yang berdampak besar:
- Satu topik satu bagian. Dokumen panjang yang mencampur kebijakan pengembalian, ongkos kirim, dan garansi dalam satu paragraf sulit dipotong dengan bersih.
- Tulis dalam bentuk pertanyaan dan jawaban untuk informasi yang memang sering ditanyakan. Kemiripan bentuk antara pertanyaan pengguna dan isi dokumen meningkatkan akurasi pencarian.
- Gunakan istilah yang dipakai pelanggan, bukan hanya istilah internal. Kalau pelanggan menyebut ongkir dan dokumen Anda menulis biaya logistik, pencarian bisa meleset.
- Hindari tabel kompleks dan tangkapan layar. Informasi penting sebaiknya ada dalam bentuk teks.
- Beri tanggal berlaku pada kebijakan. Ini mencegah bot menjawab dengan kebijakan lama yang belum dihapus.
Menentukan batas: apa yang boleh dijawab bot
Bot yang mencoba menjawab semuanya akan salah pada saat yang paling merugikan. Tetapkan batas eksplisit:
- Boleh dijawab bot: informasi produk, jam operasional, kebijakan umum, langkah teknis, status pesanan bila terhubung ke sistem.
- Wajib diserahkan ke manusia: keluhan yang mengandung kemarahan, permintaan pengembalian dana, negosiasi harga, pertanyaan hukum atau medis, dan situasi apa pun yang menyangkut keselamatan.
- Perlu jawaban jujur bahwa tidak tahu: semua pertanyaan yang tidak ada rujukannya di dokumen. Bot yang mengatakan tidak tahu dan mengalihkan ke agen jauh lebih baik daripada bot yang mengarang.
Mengukur apakah bot Anda berguna
- Tingkat penyelesaian tanpa agen, yaitu persentase percakapan yang selesai tanpa eskalasi.
- Tingkat eskalasi yang tepat. Bot yang tidak pernah mengeskalasi justru mencurigakan.
- Akurasi jawaban pada sampel berkala, dinilai manusia terhadap dokumen sumber.
- Waktu tunggu pelanggan sebelum dan sesudah bot dipasang, karena ini manfaat yang paling langsung terasa.
- Pertanyaan yang tidak terjawab, yang seharusnya langsung menjadi daftar tambahan dokumen.
Kesalahan penerapan yang paling umum
- Mengunggah semua dokumen sekaligus. Mulailah dari sepuluh sampai dua puluh pertanyaan yang paling sering muncul, karena itulah yang mencakup sebagian besar volume.
- Tidak menyediakan jalan keluar ke manusia. Ini penyebab utama pelanggan marah pada bot.
- Membiarkan dokumen kedaluwarsa. Basis pengetahuan tanpa pemilik akan usang dalam beberapa bulan.
- Mengukur keberhasilan dari jumlah percakapan yang ditangani bot, bukan dari kepuasan penyelesaiannya.
Pertanyaan yang sering diajukan
Apakah data bisnis kami dipakai untuk melatih model?
Pada pendekatan RAG, dokumen Anda tidak dipakai untuk melatih ulang model, melainkan hanya diambil sebagai konteks saat menjawab. Meski begitu, kebijakan penyimpanan dan pemrosesan data tetap harus Anda periksa pada penyedia yang Anda pakai.
Berapa banyak dokumen yang dibutuhkan agar berguna?
Jauh lebih sedikit dari dugaan banyak orang. Dokumen yang menjawab dua puluh pertanyaan tersering biasanya sudah menutup sebagian besar percakapan berulang.
Apakah bot bisa menjawab dalam beberapa bahasa?
Bisa, tetapi kualitas jawaban paling baik ketika dokumen tersedia dalam bahasa yang sama dengan bahasa pelanggan Anda.
Bagaimana mencegah bot memberi janji yang salah?
Batasi cakupan, tuliskan kebijakan secara eksplisit dalam dokumen, dan larang bot menyebut angka yang tidak ada di dokumen seperti diskon atau tanggal pengiriman spesifik.
Langkah berikutnya
Kumpulkan dua puluh pertanyaan paling sering dari percakapan tiga bulan terakhir, tulis jawabannya sebagai dokumen bersih, lalu jalankan bot hanya untuk cakupan itu. Perluas setelah akurasinya stabil. Pelajari implementasinya di WhatsCRM Hub.
