Làm thế nào chúng tôi đánh giá một mô hình AI trước khi nó đạt đến sản xuất

Những gì anh sẽ lấy đi

• Bắt đầu với công việc mà sản phẩm của bạn cần phải hoàn thành, không phải là một bảng dẫn đầu công cộng.
• Viết các quy tắc ghi đè trước khi so sánh kết xuất mô hình.
• Tính phí tổn và sự đáng tin cậy của một luồng công việc hoàn tất, kể cả việc hồi sức.
• Giữ các dấu nhắc, mô hình ID, và điều khiển cuộn ra ngoài mã ứng dụng.

Bắt đầu với công việc, không phải danh sách mô hình

Một trợ lý hỗ trợ soạn thảo câu trả lời, một tác nhân mã hóa chỉnh sửa một kho, và một đường ống tài liệu trích xuất các trường hóa đơn tất cả đều là “Các tính năng của AI. Họ không cần cùng một mô hình. Trước khi chúng tôi so sánh bất cứ điều gì, chúng tôi viết một hợp đồng nhiệm vụ ngắn: những gì đến, những gì đi ra, bao lâu người dùng có thể chờ đợi, và những gì một câu trả lời tồi tệ.

Hợp đồng đó giữ sự đánh giá trung thực. Không có nó, các đội thường thưởng cho bất cứ phản ứng nào nghe bóng bẩy nhất. Trong sản xuất, câu trả lời đơn giản với cánh đồng bên phải có thể có giá trị hơn là câu trả lời hùng hồn để phá vỡ một nhà phân tích hoặc phát minh ra một chính sách.

• Nhập: ngôn ngữ, chiều dài, đính kèm, công cụ, và hạn chế dữ liệu nhạy cảm.
• Xuất: định dạng, sự kiện cần thiết, hành vi từ chối và biến thể chấp nhận được.
• Phong bì hoạt động: mục tiêu hoạt động, yêu cầu âm lượng và trần nhà đắt tiền.
• Chi phí thất bại: liệu con người có thể bắt lỗi trước khi nó đến với người dùng hay không.

Xây dựng một bộ đánh giá nhỏ, khó

Chúng tôi thích 40 trường hợp được chọn cẩn thận hơn 4.000 dấu nhắc chung. Thiết lập bắt đầu với những ví dụ thực, được ủy quyền từ dòng sản phẩm. Chúng ta loại bỏ những thông tin cá nhân hay thông tin bí mật, rồi thêm những trường hợp gây rắc rối trước đây: những chỉ dẫn mơ hồ, ngữ cảnh thiếu vắng, đầu vào thù địch, tài liệu dài bất thường và yêu cầu bị từ chối.

Một bộ đồ hữu dụng có chủ đích không cân xứng. Trường hợp thông thường cho thấy mô hình có thể xử lý giao thông bình thường hay không; trường hợp khó cho thấy nó thất bại như thế nào. Giữ lõi đông lạnh cho việc thử nghiệm hồi quy và một nhóm các trường hợp mới quay để không bị tách khỏi sản phẩm.

Quyết định ghi điểm trước khi đọc câu trả lời

Tờ khắc được viết trước khi so sánh lần đầu tiên. Điều này ngăn chặn một sai lầm thông thường: thay đổi các tiêu chuẩn sau khi một mô hình ưa thích tạo ra một phản ứng hấp dẫn. Một số ngân phiếu có thể được tự động hóa - vald JSON, yêu cầu phím, chính xác trích dẫn, các đối số công cụ trong khi các nhiệm vụ phán xét là cần một tripric và nhà phê bình ngắn những người không biết mô hình nào tạo ra mỗi câu trả lời.

Một điểm chung che đậy quá nhiều. Chúng tôi giữ các chiều riêng biệt để một đội có thể thấy sự đánh đổi của nó. Một mô hình có thể rất xuất sắc trong việc dạy dỗ và vẫn không thể chấp nhận được vì nó bịa ra những đề tài tham khảo hoặc thất bại nhiều lần cùng một trường hợp an toàn.

Đo dòng công việc đã hoàn tất

Giá giảm là đầu vào của một tính toán chi phí, không phải câu trả lời. Một mô hình rẻ tiền hơn có thể cần một dấu nhắc dài hơn, sản xuất nhiều sản lượng hơn, gọi các công cụ không cần thiết hoặc yêu cầu trả lời. Chúng tôi tính phí tổn ở mức độ mà dòng chảy công việc đạt đến kết quả chấp nhận được. Yêu cầu thời gian đó hoặc yêu cầu một bản viết lại của con người vẫn còn chiếm thời gian và thường tiêu thụ sử dụng mô hình.

Sự dễ dãi xứng đáng được đối xử y như vậy. Bắt lấy thời gian đầu tiên khi truyền tải vấn đề, hoàn toàn thời gian đáp ứng, và đuôi chậm - không chỉ là trung bình. Chạy lặp lại đủ để phơi bày sự biến đổi, và kiểm tra từ vùng ứng dụng thực sự chạy.

Kiểm tra bề mặt tích hợp

OpenAI-so sánh không có nghĩa là mọi mô hình đều hoạt động giống nhau. Kiểm tra chính xác điểm cuối và mô hình nhận diện bạn định dùng. Sau đó kiểm tra các tham số của ứng dụng phụ thuộc vào: truyền, cấu trúc kết xuất, gọi công cụ, đầu vào ảnh, dừng chuỗi và độ dài ngữ cảnh. Tham số không được hỗ trợ nên bị lỗi khi đánh giá, không phải sau khi khởi chạy.

Chúng tôi cũng kiểm tra phản ứng lỗi. Ứng dụng này nên giữ trạng thái HTTP và yêu cầu nhận diện, phân biệt giới hạn tốc độ từ đầu vào sai, và tránh thử lại lỗi lâu dài. Tác phẩm này ít ấn tượng hơn so với một bản thử nghiệm bên cạnh, nhưng nó thường là nơi sự kết hợp sản xuất thành công hay thất bại.

• Đắp thiết bị nhận diện mô hình trong cấu hình và ghi lại ngày đánh giá.
• Lưu dấu nhắc mẫu và thiết lập thế hệ với lịch sử phiên bản.
• Đặt thời hạn rõ ràng và một chính sách thử lại bị hạn chế với sự hoang mang.
• Yêu cầu ghi lưu và sử dụng mà không có bí mật đăng nhập.

Dùng bóng giao thông và thất bại tập luyện

Thử nghiệm ngoại tuyến không thể tái tạo mọi đầu vào sản xuất. Trước khi bật công tắc đầy đủ, chúng tôi gửi một mẫu an toàn của giao thông hiện có cho ứng cử viên mà không dùng câu trả lời của nó cho người dùng. Điều đó vạch trần sự trôi dạt, sự thờ ơ dưới sự đồng thuận thực tế, và thiếu các vụ án trong bộ đánh giá. Những công việc nhạy cảm đòi hỏi một đường dẫn dữ liệu được chấp nhận trước khi đánh dấu.

Sau đó, chúng tôi kiểm tra các kịch bản không hào hứng: một giới hạn tốc độ, một thời hạn, một dòng chảy sai dạng, một mô hình không sẵn sàng, và một phản ứng mà không có hiệu lực. Đội nên biết những lỗi nào được tái sử dụng, khi một hậu phương được an toàn, và khi sản phẩm phải dừng lại và yêu cầu người dùng thử lại.

Ghi lại quyết định và giữ cho nó có thể đảo ngược

Ghi chú quyết định cuối cùng nên đủ ngắn để ai đó cập nhật nó. Ghi lại công việc, ứng cử viên, phiên bản kiểm tra, điểm số, chi phí, độ lỏng, chế độ thất bại, và lý do cho sự lựa chọn. Thêm một người sở hữu và một ngày để xem xét tiếp theo.

Lựa chọn mô hình không phải là kiến trúc vĩnh viễn. Giữ các mô hình và thiết lập tác vụ đã chọn trong cấu hình, duy trì các thiết lập đánh giá và cuộn ra sau một tỷ lệ phần trăm có thể điều khiển được hoặc cờ tính năng. Khi giá cả, hành vi, giao thông hoặc mô hình thay đổi, hãy tiếp tục tiến trình tương tự thay vì bắt đầu lại cuộc tranh luận từ trí nhớ.