Triển khai

Checklist đưa RAG lên production

Dùng trước khi mở hệ thống cho người dùng thật. Đánh dấu từng mục — tiến độ được lưu trên trình duyệt của bạn, và dùng chung với bản tiếng Anh của trang này.

Dữ liệu & lập chỉ mục

• Danh sách nguồn dữ liệu và người chịu trách nhiệm từng nguồn đã rõ ràng.
• Pipeline làm sạch loại header/footer, xử lý bảng, chuẩn hoá Unicode (NFC).
• Mỗi chunk có metadata: nguồn, mục, phiên bản, ngày cập nhật, nhóm quyền.
• Chiến lược chunking đã được chọn dựa trên số liệu đánh giá, không đoán.
• Tài liệu thay đổi/bị xoá được cập nhật vào index tự động, có đo độ trễ đồng bộ.
• Phiên bản mô hình embedding được ghi lại; có kế hoạch embed lại khi đổi mô hình.

Truy xuất

• Hybrid search (vector + từ khoá) đã được so với chỉ dùng vector.
• Top-k, ngưỡng điểm và rerank được cấu hình và đo trên bộ câu hỏi vàng.
• Không có đoạn nào vượt ngưỡng thì hệ thống từ chối lịch sự, không gọi LLM với ngữ cảnh rỗng.
• Câu hỏi nối tiếp trong hội thoại được viết lại trước khi truy xuất.

Bảo mật & quyền truy cập

• Lọc quyền nằm trong truy vấn truy xuất — người dùng không bao giờ nhận đoạn họ không được xem.
• Có test tự động: người dùng nhóm A hỏi về tài liệu chỉ nhóm B được xem.
• Khoá cache (nếu có) bao gồm phạm vi quyền.
• Prompt tách bạch dữ liệu và chỉ dẫn; mô hình không có quyền hành động nguy hiểm dựa trên nội dung truy xuất.
• Log câu hỏi/câu trả lời tuân thủ chính sách dữ liệu cá nhân, có thời hạn lưu trữ.

Chất lượng câu trả lời

• Bộ câu hỏi vàng ≥ 50 câu, có câu không có đáp án, được người duyệt.
• Có baseline cho recall@k, faithfulness, correctness; ngưỡng tối thiểu để phát hành.
• Câu trả lời luôn kèm trích dẫn có thể bấm vào xem nguồn.
• Đánh giá tự động chạy trong CI khi đổi prompt, mô hình hoặc cấu hình truy xuất.

Vận hành

• Log đầy đủ từng tầng: câu hỏi, truy vấn sau biến đổi, đoạn & điểm, prompt, câu trả lời.
• Dashboard: độ trễ p95, token mỗi câu hỏi, tỉ lệ từ chối, phản hồi 👍/👎.
• Có giới hạn tốc độ và ngân sách chi phí theo người dùng/ngày.
• Có phương án dự phòng khi nhà cung cấp LLM hoặc vector store gặp sự cố.
• Quy trình đưa câu hỏi bị 👎 vào bộ đánh giá hằng tuần.