Một kênh bán mất kết nối: làm sao ngăn lỗi lan sang các đơn khác?

Lỗi lan khi nhiều kênh dùng chung hàng chờ, tài nguyên hoặc bước xử lý mà không có giới hạn riêng. Một kênh liên tục thử lại có thể làm đầy hàng chờ, chậm xử lý đơn tốt hoặc khiến cùng sự kiện được làm nhiều lần.

Google SRE mô tả việc thử lại thiếu kiểm soát có thể khuếch đại tải và góp phần tạo lỗi dây chuyền. Nguyên tắc cần rút ra là giới hạn thử lại, tách miền lỗi và ưu tiên công việc còn có thể hoàn thành.

Không dùng một lỗi đơn lẻ để kết luận. Đặt ngưỡng theo loại hành động và hậu quả, rồi để người trực xác nhận.

Tách hàng chờ, giới hạn số việc đồng thời và ngắt riêng hành động ghi của kênh lỗi. Đơn từ kênh khác đi qua tài nguyên riêng hoặc phần dung lượng đã dành trước. Nếu dùng tài nguyên chung, phải có giới hạn để kênh lỗi không chiếm hết.

Mẫu Bulkhead của Microsoft mô tả việc chia hệ thống thành các vùng để lỗi ở một vùng không làm các vùng khác ngừng theo. Đây là nguyên tắc kiến trúc tham khảo; cách áp dụng phụ thuộc hệ thống thật.

Đánh dấu trạng thái “chưa xác nhận”, không đoán là thành công hoặc thất bại. Lưu mã sự kiện, mã đơn, thời điểm, hành động dự định và kết quả cuối đã biết. Các quyết định về tiền, tồn hoặc lời hứa phải chuyển người.

Tạo hàng chờ riêng theo mức ảnh hưởng: tiền và tồn trước, giao nhận tiếp theo, báo cáo sau. Không xử lý lại hàng loạt khi chưa có khóa chống trùng và nguồn để đối chiếu.

Chỉ thử lại hành động an toàn hoặc có khóa chống trùng. Tăng khoảng chờ giữa các lần thử, thêm độ lệch ngẫu nhiên và đặt số lần tối đa. Khi vượt ngưỡng, dừng và chuyển người thay vì tạo vòng lặp vô hạn.

Một phản hồi lỗi có thể xuất hiện sau khi phía kênh đã nhận hành động. Vì vậy lần thử sau phải kiểm kết quả hiện tại hoặc dùng mã yêu cầu không đổi, tùy khả năng thật của kênh.

Bắt đầu từ mốc cuối đã đối chiếu, lấy lại dữ liệu thay đổi trong khoảng sự cố và chạy qua cùng cơ chế xử lý có chống trùng. So số bản ghi nguồn, bản ghi nội bộ và hàng chờ chưa khép.

Shopify khuyến nghị không phụ thuộc hoàn toàn vào webhook và dùng công việc đối chiếu để lấy lại dữ liệu có thể bị bỏ lỡ. Tài liệu xử lý sự cố cũng nêu cách nhập lại dữ liệu của khoảng gián đoạn.

Nhân sự số hoặc Nhân viên số có thể phát hiện ngưỡng, gom nhật ký, tạm dừng đúng luồng đã được cấp quyền, tạo danh sách đơn cần đối chiếu và báo người trực. Không tự sửa tiền, tồn hoặc mở lại kết nối khi chưa được duyệt.

A Tech Economy đặt con người làm người chỉ huy sự cố: xác định mức ảnh hưởng, chọn chế độ giảm, duyệt phục hồi và chịu trách nhiệm cuối. Hệ thống phải để lại dấu vết cho từng hành động.

Kiểm kết nối bằng thao tác chỉ đọc, rồi một nhóm đơn ít rủi ro. Xác nhận hàng chờ không tăng bất thường, không tạo trùng, trạng thái mới không bị dữ liệu cũ ghi đè và đơn kênh khác vẫn chạy bình thường.

Sau sự cố, ghi chuỗi thời gian, nguyên nhân gần, nguyên nhân gốc, điều đã giúp cô lập và việc phải sửa. Thử lại kịch bản mất kết nối trong môi trường an toàn trước khi coi biện pháp đã đạt.