Cách tạo cặp câu hỏi gần giống để thử AI trả lời khách

Một bộ thử chỉ gồm câu dễ thường cho thấy AI biết trả lời trong tình huống thuận lợi. Cặp câu hỏi gần giống giúp kiểm điểm chuyển: khi dữ kiện đổi, câu trả lời có đổi theo đúng quy định không? Anh chị có thể làm bằng bảng giấy trước khi cần công cụ.

Google Dialogflow mô tả các câu gần giống với ý định đã có nhưng thực tế không nên khớp. Bài này dùng nguyên tắc phân biệt đó để thiết kế bài thử cho shop; không yêu cầu shop dùng Dialogflow và không xác nhận ATECH vận hành bằng nền tảng này.

Chọn một câu hỏi lặp lại đã có nguồn rõ và ranh giới cụ thể. Ví dụ minh họa: một loại dịch vụ áp dụng cho hàng sẵn, còn hàng làm riêng phải được người phụ trách kiểm. Đừng bắt đầu từ chính sách mà hai nhân viên còn hiểu khác nhau.

Ghi phiên bản nguồn, ngày dùng cho lượt thử và người xác nhận đáp án. Nếu nguồn chưa đủ để quyết định, đáp án mong đợi phải là hỏi thêm hoặc chuyển người. Không điền một câu trả lời chắc chắn chỉ để mọi dòng trong bảng đều có “có” hoặc “không”.

Giữ phần lớn câu chữ và đổi một dữ kiện có ý nghĩa. Khi cả sản phẩm, kênh bán và tình trạng đơn cùng thay, khó biết điều gì khiến AI chọn nhánh khác. Cặp tốt cho phép người kiểm chỉ ra đúng chi tiết làm đáp án thay đổi.

Ví dụ minh họa: thử “Tôi chưa gửi lời nhắn” và “Tôi đã gửi lời nhắn”. Hệ thống cần phân biệt việc hướng dẫn gửi lần đầu với kiểm lời nhắn đã nhận. Kết quả cụ thể phải dựa vào quy trình của shop, không coi ví dụ này là một chức năng mặc định.

Nếu xem AI trả lời rồi mới chấm, người kiểm dễ bị câu văn trôi chảy thuyết phục. Hãy ghi trước ba ô: thông tin bắt buộc phải có, điều không được nói và hành động đúng. Không cần ép câu chữ giống hệt một bản mẫu.

Ví dụ, khi khách chỉ hỏi cách đổi hàng, điều bắt buộc là mô tả các bước đã duyệt. Điều không được nói là yêu cầu của khách đã được chấp nhận. Hành động đúng có thể chỉ là cung cấp hướng dẫn, không mở một việc đổi hàng thật.

Với câu độc lập, dùng hai cuộc thử riêng có cùng dữ kiện nền. Không hỏi câu thứ hai ngay sau câu thứ nhất nếu mục tiêu không phải kiểm trí nhớ hội thoại. Sau đó đổi thứ tự và lưu cả câu hỏi, câu trả lời, nguồn cùng thời điểm thử.

Chạy trong nơi thử được phép, không gửi cho khách thật. Nếu câu có thể dẫn đến sửa đơn hay gửi tin, phải chặn hành động thật trong lượt kiểm này. Bài thử đang kiểm khả năng chọn đáp án; quyền thực hiện công việc cần được nghiệm thu riêng.

Giữ câu từng thất bại và cả câu còn lại trong cặp. Thêm vài biến thể cách nói nhưng không đổi nghĩa để xem bản sửa có chỉ học thuộc một câu hay không. Cũng thử nhóm trước đó đã đạt, tránh sửa được một nhánh nhưng làm sai nhánh bên cạnh.

Google Dialogflow cho phép lưu cuộc thử cùng kết quả mong đợi và chạy lại sau khi cập nhật. Shop có thể áp dụng cách làm đó bằng một bảng nhỏ. Người phụ trách quyết định đáp án; Nhân sự số hoặc Nhân viên số chỉ được mở phạm vi trả lời khi có bằng chứng thử phù hợp.

Một cặp đạt chưa chứng minh hệ thống hiểu mọi câu hỏi. Hãy xem đã phủ các ranh giới có trong phạm vi định giao chưa: đủ dữ kiện, thiếu dữ kiện và ngoài phạm vi. Ghi rõ phần chưa thử để người vận hành không hiểu nhầm.

A Tech Economy đề xuất giữ bộ thử này cùng phiếu giao việc. Con người đặt mục tiêu, cấp quyền, duyệt ngoại lệ và chịu trách nhiệm cuối. Khi đổi chính sách, sửa đáp án mong đợi trước rồi mới kiểm hệ thống; không đổi chuẩn chỉ vì AI đã trả một câu khác.