Một đội dùng AI để đọc email yêu cầu báo giá, trích xuất thông tin rồi tạo bản nháp cho sales. Cuối tháng, hóa đơn mô hình tăng nhưng không ai biết do nhiều yêu cầu hơn, prompt dài hơn hay số lần chạy lại tăng. Nếu chỉ theo dõi tổng tiền, đội sản phẩm khó quyết định nên đổi mô hình, sửa quy trình hay giới hạn một số trường hợp.
Chi phí cần được quy về một đơn vị nghiệp vụ mà người vận hành hiểu được, chẳng hạn một email đã phân loại, một báo giá nháp đã tạo hoặc một hồ sơ đã kiểm tra. Đây là cơ sở để so sánh các phiên bản và dự báo khi khối lượng tăng.
Chọn đơn vị tính trước khi thu thập dữ liệu
“Tác vụ” phải có điểm bắt đầu và kết thúc rõ. Với quy trình xử lý email, một tác vụ có thể bắt đầu khi hệ thống nhận thư và kết thúc khi CRM nhận bản ghi hợp lệ hoặc yêu cầu được chuyển cho nhân sự. Một email tạo ba lần gọi mô hình vẫn là một tác vụ nghiệp vụ.
Không nên dùng số lượt gọi API làm đơn vị chính vì cách triển khai có thể thay đổi. Theo dõi cả chi phí trên yêu cầu đã nhận và trên yêu cầu hoàn tất. Chênh lệch giữa hai số cho thấy tác động của lỗi và yêu cầu bị bỏ dở.
Công thức chi phí cần phản ánh toàn bộ đường đi của yêu cầu
Chi phí trực tiếp gồm lượng dùng mô hình, nhận dạng tài liệu và API phụ. Chi phí hạ tầng gồm hàng chờ, cơ sở dữ liệu, kho tệp và dịch vụ thông báo. Phí cố định có thể phân bổ theo số tác vụ trong kỳ, với một quy tắc được giữ nhất quán.
Phần con người được tính từ thời gian kiểm tra và sửa lỗi. Có thể lấy mẫu trên một nhóm yêu cầu đại diện. Bước duyệt vẫn là một khoản chi phí của quy trình.
Quy trình lập mô hình chi phí theo tác vụ
Bước 1: Vẽ đường đi của một yêu cầu
Liệt kê điểm gọi mô hình, API ngoài, nơi lưu dữ liệu và bước cần người xác nhận.
Bước 2: Gắn mã tác vụ xuyên suốt quy trình
Mỗi yêu cầu có một mã dùng chung trong các lần gọi và thử lại để tránh đếm trùng.
Bước 3: Ghi số lượng và đơn giá
Lưu mô hình, phiên bản, lượng sử dụng, thời gian xử lý và trạng thái. Bảng giá cần có ngày hiệu lực.
Bước 4: Thêm chi phí kiểm tra và ngoại lệ
Ghi yêu cầu nào cần sửa, nguyên nhân và thời gian xử lý. Tách lỗi đầu vào khỏi lỗi mô hình hoặc tích hợp.
Bước 5: Tổng hợp theo kết quả nghiệp vụ
Báo cáo chi phí trung vị, nhóm tốn nhiều nhất, tỷ lệ chạy lại và chuyển thủ công. Luôn xem cùng chất lượng đầu ra.
Log chi phí cần ghi những trường nào?
Một bản ghi tối thiểu cần có mã tác vụ, loại tác vụ, phiên bản quy trình, mô hình, lượng sử dụng, số lần thử, trạng thái cuối và lý do chuyển thủ công. Không lưu nguyên văn dữ liệu nhạy cảm chỉ để tính chi phí. Có thể lưu kích thước thay cho nội dung.
Tách phiên bản prompt và phiên bản quy trình để tìm thay đổi làm đầu vào dài hơn hoặc tạo thêm lượt gọi. Đọc thêm về quản lý phiên bản prompt và giám sát chất lượng quy trình AI.
Khi nào nên đổi mô hình hoặc sửa quy trình?
Mô hình rẻ hơn chưa chắc làm tổng chi phí giảm. Nếu kết quả kém khiến nhân sự sửa nhiều hơn, phần tiết kiệm API sẽ mất ý nghĩa.
Trước khi đổi nhà cung cấp, hãy tìm nhóm tác vụ gây chi phí cao. Tài liệu dài có thể cần chia đoạn. Yêu cầu thiếu trường bắt buộc nên bị chặn trước khi gọi AI. Trường hợp có quy tắc rõ có thể xử lý bằng mã thông thường. Đọc thêm cách chọn tác vụ tự động hóa bằng AI.
Điều kiện mở rộng một quy trình AI
Có thể mở rộng khi
- Đơn vị tác vụ và trạng thái hoàn tất đã rõ.
- Chi phí được theo dõi theo phiên bản và nhóm đầu vào.
- Tỷ lệ chạy lại, chuyển thủ công và chất lượng nằm trong ngưỡng đã duyệt.
- Có người nhận cảnh báo khi chi phí hoặc tỷ lệ lỗi tăng.
Nên giữ phạm vi thử nghiệm khi
- Tổng hóa đơn không thể quy về từng loại tác vụ.
- Kết quả phải sửa thường xuyên nhưng thời gian sửa chưa được ghi nhận.
- Yêu cầu lỗi bị chạy lại tự động mà không có giới hạn dừng.
- Dữ liệu nhạy cảm được lưu dư thừa trong log tính chi phí.
Dùng chỉ số chi phí trong quyết định sản phẩm
Báo cáo cần cho thấy khối lượng, tổng chi phí, chi phí trên yêu cầu nhận vào và hoàn tất, tỷ lệ chạy lại cùng thời gian con người. Hãy đánh giá các số này cùng độ chính xác, thời gian phản hồi và mức rủi ro.
Nếu chưa đo được từ đầu vào đến kết quả, AI Agent Coaching có thể giúp chọn một tác vụ, đặt mã theo dõi, chốt tiêu chí chấp nhận và lập bảng chi phí.