Một đội dùng AI để phân loại email hỗ trợ. Sau vài phản hồi sai, một thành viên sửa prompt trực tiếp. Email tiếng Việt ngắn được xử lý tốt hơn, nhưng email có file đính kèm lại bị gán nhầm nhóm. Không ai lưu nội dung cũ hay dữ liệu đã dùng để kiểm tra.
Prompt đã tham gia vào quyết định của sản phẩm, vì vậy mỗi thay đổi cần có phiên bản, kiểm thử, người duyệt và cách phục hồi.
Một phiên bản prompt gồm những thành phần nào?
Nếu chỉ lưu system prompt, đội vẫn thiếu thông tin để tái hiện kết quả. Một phiên bản có thể gồm nội dung hướng dẫn, ví dụ mẫu, biến đầu vào, cấu hình mô hình, định dạng đầu ra và công cụ được phép gọi.
Nhiệt độ, giới hạn token, schema JSON và bước tiền xử lý đều có thể làm kết quả thay đổi. Với luồng đọc email, đầu vào sau khi loại chữ ký và chuỗi trao đổi cũ sẽ khác email nguyên bản.
Mỗi bản ghi nên nêu phần thay đổi, lý do, bộ dữ liệu kiểm tra và môi trường đang dùng. Thiếu một thông tin, việc điều tra lỗi sẽ phụ thuộc vào trí nhớ của người sửa.
Quy trình thay đổi prompt từ đề xuất đến phát hành
Sáu bước kiểm soát một thay đổi prompt
Bước 1: Ghi nhận lỗi hoặc mục tiêu
Lưu đầu vào, kết quả hiện tại, kết quả mong đợi và ảnh hưởng tới người dùng. Tránh mô tả chung chung như “prompt chưa tốt”.
Bước 2: Tạo phiên bản mới
Sao chép bản đang chạy, ghi phần thay đổi và giữ nguyên tham số không liên quan. Mỗi thay đổi nên giải quyết một nhóm lỗi rõ ràng.
Bước 3: Chạy bộ kiểm thử cố định
Chạy tình huống bình thường, trường hợp biên và lỗi từng xuất hiện. So sánh với phiên bản đang chạy.
Bước 4: Duyệt các sai lệch
Người hiểu nghiệp vụ kiểm tra sai lệch về nội dung. Đội kỹ thuật xem lỗi định dạng, độ trễ và việc gọi công cụ.
Bước 5: Phát hành trong phạm vi giới hạn
Đưa phiên bản mới tới một nhóm nội bộ hoặc tỷ lệ yêu cầu nhỏ. Lưu phiên bản prompt cùng mỗi lần chạy.
Bước 6: Mở rộng hoặc quay lại
Chỉ mở rộng khi chất lượng và lỗi kỹ thuật nằm trong ngưỡng đã chốt. Nếu vượt ngưỡng, chuyển về phiên bản ổn định.
Nếu thay đổi tác động đến hành vi người dùng hoặc dữ liệu trong CRM, product và operations cần cùng chốt tiêu chí. Bài cách xây bộ test hồi quy cho quy trình AI trình bày cách giữ lại lỗi để kiểm tra về sau.
Bộ kiểm thử prompt cần chứa dữ liệu nào?
Bộ kiểm thử cần bao phủ đúng loại quyết định mà sản phẩm giao cho AI. Với chức năng phân loại email, dữ liệu nên có email rõ nhãn, email thiếu thông tin, nội dung pha tiếng Anh, chuỗi trao đổi dài, file không đọc được và yêu cầu thuộc nhiều nhóm.
Mỗi mẫu cần đầu vào đã ẩn dữ liệu nhạy cảm, tiêu chí chấp nhận và lý do gán nhãn. JSON có thể được chấm theo trường bắt buộc, còn nội dung cần tiêu chí về độ đúng, mức đầy đủ và điều cấm. Điểm trung bình có thể che lỗi ở nhóm yêu cầu quan trọng.
Mỗi mẫu mới cần ghi nguồn: lỗi thật, yêu cầu sản phẩm hay trường hợp giả định. Khi đáp án chuẩn đổi, phải lưu lý do.
AI xử lý phần nào, con người quyết định phần nào?
Ranh giới trách nhiệm khi quản lý prompt
Hệ thống tự động xử lý
- Lưu nội dung, cấu hình, người tạo và thời điểm của từng phiên bản.
- Chạy bộ kiểm thử, so sánh kết quả và phát hiện lỗi schema.
- Phân phối phiên bản theo phạm vi đã cấu hình và ghi lại phiên bản cho từng lần chạy.
- Cảnh báo khi tỷ lệ lỗi, độ trễ hoặc chi phí vượt ngưỡng.
Con người xác nhận
- Xác định kết quả nào được chấp nhận theo nghiệp vụ và mức rủi ro.
- Duyệt các thay đổi ảnh hưởng đến khách hàng, dữ liệu hoặc hành động bên ngoài.
- Quyết định mở rộng, tạm dừng hay quay lại phiên bản trước.
- Xử lý trường hợp mà tiêu chí tự động không phản ánh đủ ngữ cảnh.
Khi AI gửi email, cập nhật đơn hàng hoặc đề xuất điều khoản, quyền hành động phải phụ thuộc vào dữ liệu, mức ảnh hưởng và người chịu trách nhiệm. Xem thêm cách chọn tác vụ tự động hóa bằng AI.
Theo dõi gì sau khi phát hành?
Sau khi phát hành, hãy theo dõi lỗi định dạng, tỷ lệ phải chuyển cho người xử lý, số lần người dùng sửa kết quả, độ trễ và chi phí theo nhóm yêu cầu. Các chỉ số phải gắn với phiên bản prompt, mô hình và loại đầu vào.
Đội cần lưu cả ví dụ lỗi cụ thể. Biểu đồ cho biết tỷ lệ chuyển người tăng, còn mẫu đầu vào và kết quả giúp tìm nguyên nhân. Xem thêm cách giám sát chất lượng quy trình AI.
Với một hoặc hai prompt, tệp cấu hình trong kho mã nguồn cùng bộ test tự động có thể đã đủ. Khi nhiều chức năng dùng chung prompt hoặc operations cần phát hành độc lập, đội nên có nơi quản lý tập trung. Công cụ có thể khác nhau, nhưng phiên bản phải tái hiện, so sánh và phục hồi được.