Chatbot AI đủ đáng tin để đưa lên website

1. Xác định công việc trước khi chọn model

“Một chatbot cho website” chưa phải là phạm vi. Hãy xem lại những câu mà đội ngũ đang trả lời mỗi ngày qua email, chat và điện thoại, rồi nhóm chúng lại. Website nào cũng vậy, chỉ vài ý định chiếm phần lớn lượt hỏi: công ty làm gì, dịch vụ có phù hợp với tình huống này không, khoảng giá và thời gian ra sao, quy trình triển khai thế nào, đang tuyển vị trí gì, và làm sao gặp được người thật.

Danh sách đó quyết định mọi thứ phía sau: chatbot cần biết gì, câu nào bắt buộc phải chính xác tuyệt đối và đến đâu thì nó nên dừng lại. Nó cũng đặt ra một kỳ vọng trung thực: một trợ lý website xử lý được bảy trên mười câu hỏi thường gặp đã là thành công. Còn một trợ lý cố trả lời mọi thứ sẽ sai ngay trước mặt khách hàng.

• Thu thập khoảng một trăm câu hỏi thật từ các kênh đang có, trước khi viết dòng prompt đầu tiên.
• Phân chúng thành các ý định và khoanh vùng những ý định chỉ có duy nhất một câu trả lời đúng.
• Chốt danh sách những việc chatbot không bao giờ được làm: báo giá có tính ràng buộc, hứa thời hạn, nhận thanh toán, chỉnh sửa dữ liệu.
• Định nghĩa thế nào là thành công: giải quyết trọn vẹn mà không cần người, hoặc chuyển tiếp kèm đủ bối cảnh.
• Chỉ rõ ai sở hữu nội dung câu trả lời, bởi chính quyền sở hữu nội dung mới giữ được chatbot nói đúng.

Ràng buộc chặt nhất thường lại là ràng buộc hữu ích nhất. Một chatbot chỉ được nói trong phạm vi doanh nghiệp đã công bố sẽ đáng tin hơn nhiều so với một chatbot được phép ứng biến.

2. Câu đã biết thì trả lời cố định, phần còn lại để model đảm nhiệm

Những câu chỉ có một đáp án đúng thì không nên để model tự sinh ra. Giờ làm việc, phạm vi dịch vụ, thông tin liên hệ, các bước quy trình đều nên nằm trong một bộ câu trả lời biên tập sẵn mà đội nội dung chỉnh sửa trực tiếp. Khớp câu hỏi vào bộ này trước sẽ cho ra cùng một đáp án ở mọi lần hỏi, không tốn chi phí gọi model và có thể cập nhật trong vài phút mà không cần thay đổi mã nguồn.

Model xứng đáng đảm nhiệm phần còn lại: những câu diễn đạt theo cách không ai lường trước, những câu gộp hai chủ đề, những câu cần một bản tóm tắt thay vì một dữ kiện. Đặt model làm lớp thứ hai thay vì làm cửa vào giúp giảm chi phí, giảm dao động giữa các câu trả lời và khiến các kịch bản lỗi dễ dự đoán hơn rất nhiều.

• Biên tập sẵn câu trả lời cho mọi câu hỏi có đáp án chính xác và để đội nội dung sở hữu chúng.
• Chuẩn hoá câu hỏi trước khi khớp: chữ hoa chữ thường, dấu, ký tự đặc biệt và các từ đồng nghĩa thường gặp.
• Đặt ngưỡng tin cậy cho việc khớp trực tiếp, những gì dưới ngưỡng thì chuyển sang model.
• Cache câu trả lời đã sinh cho các câu hỏi lặp lại, khoá theo phần văn bản đã chuẩn hoá.
• Ghi log xem lớp nào đã trả lời, để luôn nắm được tỷ lệ giữa câu biên tập sẵn và câu do model sinh.

3. Neo câu trả lời vào nội dung của chính bạn

Một model không có tài liệu nguồn sẽ viết ra những đoạn văn rất trôi chảy về một công ty mà nó hoàn toàn không biết. Neo nội dung nghĩa là câu trả lời được dựng từ chính các đoạn nội dung của bạn, gồm trang dịch vụ, mô tả quy trình, case study đã công bố và bộ câu trả lời biên tập sẵn, đồng thời prompt buộc model chỉ được trả lời trong phạm vi đó.

Điều này khiến chất lượng nội dung trở thành yếu tố quyết định chất lượng chatbot. Nếu hai trang ghi hai thời gian triển khai khác nhau, chatbot sẽ chọn một trong hai và trả lời rất tự tin. Dọn dẹp kho kiến thức thường là phần lớn nhất và ít hào nhoáng nhất của cả dự án, đồng thời việc bỏ qua nó cũng là lý do phổ biến nhất khiến một bản thử nghiệm mãi không lên được production.

• Mỗi câu hỏi chỉ truy xuất vài đoạn nội dung liên quan, thay vì đưa cả tài liệu vào ngữ cảnh.
• Buộc model chỉ trả lời từ phần ngữ cảnh được cấp và nói rõ khi câu hỏi nằm ngoài phạm vi đó.
• Xử lý dứt điểm những mâu thuẫn trong nội dung nguồn trước khi phát hành, vì chatbot sẽ phơi bày từng cái một.
• Hiển thị trang nguồn ngay cạnh câu trả lời để khách hàng kiểm chứng và đọc tiếp.
• Lập chỉ mục lại mỗi khi nội dung thay đổi, và xem chỉ mục cũ là một lỗi production.

Neo nội dung giúp giảm tình trạng bịa đặt chứ không loại bỏ hoàn toàn. Mọi câu trả lời có con số, có cam kết hay có yếu tố pháp lý vẫn cần một cách diễn đạt được người phê duyệt.

4. Thiết kế đường thất bại trước, đường thuận lợi sau

Có ba tình huống thất bại chắc chắn sẽ xảy ra: nhà cung cấp model sẽ có lúc gián đoạn, quota hoặc ngân sách sẽ có lúc cạn, và sẽ có khách hỏi điều nằm ngoài phạm vi. Mỗi tình huống cần một phản hồi được thiết kế cẩn thận, bởi hành vi mặc định, dù là một vòng xoay tải, một dòng lỗi kỹ thuật hay một phỏng đoán đầy tự tin, đều tệ hơn một lời thừa nhận thẳng thắn.

Mô hình vững vàng là một chuỗi dự phòng đi kèm circuit breaker. Khi nhà cung cấp gặp lỗi hoặc trả về lỗi quota, hệ thống ngừng gọi, phục vụ bằng bộ câu trả lời biên tập sẵn và mở đường chuyển tiếp. Cũng cần tách rõ hai loại: lỗi tạm thời thì thử lại sau vài giây, còn quota đã cạn thì tạm nghỉ lâu hơn và kiểm tra trước khi quay lại. Trong lúc đó, hãy nói với khách hàng một câu trung thực.

• Tách lỗi tạm thời của nhà cung cấp khỏi tình trạng cạn quota và áp dụng thời gian thử lại khác nhau cho từng loại.
• Mở circuit breaker sau nhiều lần lỗi liên tiếp, dùng chung giữa các replica thay vì để cục bộ trong từng tiến trình.
• Luôn duy trì một chế độ trả lời bằng nội dung biên tập sẵn, hoạt động được ngay cả khi model ngừng hoàn toàn.
• Mở đường chuyển tiếp cho người thật kèm toàn bộ hội thoại, tới một kênh có người chịu trách nhiệm.
• Giới hạn số lượt hỏi mỗi khách, giới hạn độ dài hội thoại và độ dài phản hồi để kiểm soát chi phí.
• Thông báo rõ với khách khi trợ lý đang bị giới hạn, thay vì để nó thất bại trong im lặng.

5. Xem mọi đầu vào là không đáng tin và cải tiến từ hội thoại thật

Mọi thứ khách hàng nhập vào đều là dữ liệu không đáng tin, và nội dung mà model truy xuất về cũng vậy. Những chỉ dẫn được cài cắm trong một tin nhắn hay một tài liệu có thể tìm cách ghi đè prompt hệ thống, khai thác thông tin cấu hình hoặc kéo chatbot ra khỏi vai của nó. Hãy giữ API key ở phía server, không cấp cho chatbot quyền ghi dữ liệu, và kiểm tra lại mọi đầu ra mà một hệ thống khác sẽ hành động dựa trên đó.

Sau khi phát hành, vòng cải tiến quan trọng hơn việc chọn model. Mỗi tuần hãy đọc hội thoại thật, tập hợp những lần trả lời sai rồi xử lý đúng chỗ: thiếu một câu trả lời biên tập sẵn, một trang nội dung mâu thuẫn, một prompt nới quá rộng, hay một lượt chuyển tiếp không ai phản hồi. Phần lớn điều làm nên một chatbot tốt là công việc nội dung và ranh giới, được lặp lại một cách đều đặn.

• Giữ thông tin xác thực của nhà cung cấp ở phía server, trình duyệt không bao giờ gọi trực tiếp tới model.
• Cấp cho trợ lý quyền chỉ đọc, không cho phép chỉnh sửa dữ liệu hay tiếp nhận thanh toán.
• Giả định nội dung truy xuất về có thể chứa chỉ dẫn cài cắm và ràng buộc prompt theo giả định đó.
• Lưu hội thoại có thời hạn, che dữ liệu cá nhân và ghi rõ việc lưu trữ này trong chính sách.
• Mỗi tuần xem một mẫu gồm: trả lời đúng, trả lời sai, từ chối, chuyển tiếp và khách rời giữa hội thoại.
• Chạy một bộ câu hỏi cố định trước mỗi thay đổi, để việc sửa prompt ở chỗ này không âm thầm làm hỏng chỗ khác.

Hãy nói rõ với khách hàng rằng họ đang trao đổi với một trợ lý và chỉ họ cách gặp người thật. Câu đó chỉ tốn một dòng nhưng ngăn được loại hiểu lầm mà model tốt đến đâu cũng không khắc phục nổi.