Dữ liệu sạch cho AI là gì?
Dữ liệu sạch là dữ liệu đủ phù hợp cho một mục đích, có tiêu chuẩn, người sở hữu và cách phát hiện khi chất lượng giảm.
Trả lời ngắn: Dữ liệu sạch cho AI là gì?
Dữ liệu sạch cho AI là dữ liệu đủ phù hợp với một việc cụ thể: đúng, đủ, đúng định dạng, nhất quán, còn kịp thời và không trùng theo tiêu chuẩn đã đặt. Dữ liệu sạch không có nghĩa hoàn hảo; doanh nghiệp cần người sở hữu, ngưỡng chấp nhận và cách sửa khi chất lượng giảm.
Dữ liệu sạch có phải chỉ là không còn ô trống?
Không. Một số điện thoại có đủ ký tự nhưng thuộc về người khác vẫn là dữ liệu xấu. Một trạng thái hợp lệ nhưng đã ba tháng không cập nhật cũng có thể không dùng được. Chất lượng luôn phải gắn với mục đích: dữ liệu đủ để tóm tắt chưa chắc đủ để tự tạo hành động.
Microsoft Purview mô tả sáu chiều chất lượng gồm chính xác, đầy đủ, đúng định dạng, nhất quán, kịp thời và duy nhất. Mỗi quy tắc tạo một điểm so với trạng thái mong muốn. Đây là cách tiếp cận của Purview nhưng là khung hỏi hữu ích cho mọi dự án dữ liệu.
Sáu chiều dữ liệu sạch cho AI là gì?
Không cần chấm mọi trường theo cùng một mức. Email có thể cần đúng định dạng; mã hồ sơ cần duy nhất; bước tiếp theo cần kịp thời. Trường tài chính hoặc quyền lợi có thể cần mức kiểm tra cao hơn trường mô tả tham khảo.
| Chiều | Câu hỏi đơn giản | Ví dụ lỗi CRM |
|---|---|---|
| Chính xác | Giá trị có đúng thực tế? | Sai người phụ trách |
| Đầy đủ | Trường bắt buộc có giá trị? | Thiếu bước tiếp theo |
| Đúng định dạng | Có theo mẫu đã chốt? | Ngày hoặc số điện thoại lộn dạng |
| Nhất quán | Các nguồn dùng cùng định nghĩa? | Một trạng thái có hai nghĩa |
| Kịp thời | Dữ liệu còn mới cho quyết định? | Lịch hẹn đã đổi nhưng chưa cập nhật |
| Duy nhất | Một đối tượng có một bản ghi chuẩn? | Một khách có ba hồ sơ |
Nên làm sạch trường nào trước?
Bắt đầu từ đầu ra AI muốn tạo. Nếu muốn tóm tắt hồ sơ trước cuộc gọi, trường quan trọng có thể là lịch sử gần đây, người phụ trách và bước tiếp theo. Nếu muốn phát hiện hồ sơ chậm, thời điểm cập nhật và trạng thái phải đáng tin.
Chọn từ năm đến mười trường quan trọng thay vì dọn toàn bộ kho. Với mỗi trường, ghi người sở hữu, định nghĩa, nguồn chuẩn, quy tắc kiểm tra và cách sửa. Cách này giảm việc dọn dữ liệu không phục vụ mục tiêu.
Dữ liệu không cần sạch tuyệt đối; nó cần đủ tốt cho việc cụ thể và có giới hạn được nói rõ.
Một vòng làm sạch dữ liệu gồm những bước nào?
Đầu tiên, lập hồ sơ chất lượng để thấy giá trị trống, dạng bất thường và trùng. Tiếp theo, thống nhất định nghĩa; sửa ở nguồn; loại trùng hoặc đưa trường hợp không chắc cho người xem. Cuối cùng, chạy lại quy tắc và theo dõi thay đổi.
Microsoft khuyên loại trùng từng bảng, chuẩn hóa cách nhập và thêm quy tắc khớp dần. Đừng sửa một lần rồi coi là xong. Khi người dùng, kênh và quy trình đổi, chất lượng có thể giảm trở lại.
- Đo hiện trạng theo trường và theo nguồn.
- Chốt định nghĩa cùng người dùng nghiệp vụ.
- Sửa ở nguồn và xử lý hồ sơ cũ.
- Đặt cảnh báo khi điểm xuống dưới ngưỡng.
- Rà định kỳ và ghi người chịu trách nhiệm.
Trước khi cho AI dùng dữ liệu cần kiểm tra gì?
Dùng một bộ hồ sơ đại diện gồm hồ sơ đủ, thiếu, trùng và cũ. Chạy đầu ra AI rồi truy ngược xem lỗi đến từ mô hình, câu lệnh hay dữ liệu. Nếu dữ liệu là nguyên nhân, sửa nguồn và quy tắc thay vì che lỗi bằng lời hướng dẫn dài hơn.
Kiểm tra thêm quyền truy cập, mục đích sử dụng và dữ liệu nhạy cảm. Chất lượng tốt không đồng nghĩa được phép dùng. NIST AI RMF coi dữ liệu, đo lường và quản trị là phần của quản lý rủi ro; người sở hữu vẫn phải theo dõi sau khi hệ thống chạy.
Câu hỏi thường gặp
Dữ liệu sạch có nghĩa là chính xác 100% không?
Không có một mức chung. Cần ngưỡng theo mục đích và rủi ro. Trường quan trọng có thể cần kiểm tra chặt hơn trường tham khảo.
AI có tự làm sạch dữ liệu được không?
AI có thể gợi ý phát hiện hoặc chuẩn hóa trong một số hệ thống, nhưng kết quả phải được kiểm chứng. Gộp hoặc sửa nhầm vẫn cần cơ chế phục hồi và người chịu trách nhiệm.
Nên dọn dữ liệu cũ hay sửa quy trình nhập trước?
Làm cả hai theo thứ tự: chặn lỗi mới bằng định nghĩa và kiểm tra đầu vào, rồi ưu tiên sửa dữ liệu cũ đang phục vụ quy trình.
Ai chịu trách nhiệm về chất lượng dữ liệu?
Cần người sở hữu nghiệp vụ cho định nghĩa, người quản trị dữ liệu cho tiêu chuẩn và người vận hành sửa lỗi. Không đẩy toàn bộ cho bộ phận công nghệ.
Thuộc cụm chủ đề: CRM AI và dữ liệu. Xem các câu hỏi liên quan để đi từ khái niệm đến cách áp dụng.
Nguồn tham khảo
- Get started with data governance in Microsoft Purview — Microsoft Learn
- Data unification best practices — Microsoft Learn
- AI Risk Management Framework Core — NIST
Bước tiếp theo
Chọn một quy trình đang gây tắc
ATE có thể cùng bạn bóc tách đầu việc, điểm cần người duyệt và cách đo thử nghiệm. Chưa cần bắt đầu bằng cả phòng ban.