制作に到達する前にAIモデルを評価する方法

お持ち帰りする

• 公的なリーダーボードではなく、製品が完成するために必要な仕事を始めましょう。
• モデル出力を比較する前に、スコアリングルールを記述します。
• 完成したワークフローのコストと信頼性を測定します。
• プロンプト、モデルID、およびロールアウト制御をアプリケーションコード外に保存します。

モデルリストではなく、ジョブで開始

リポジトリを編集するコーディングエージェント、インボイスフィールドを抽出するドキュメントパイプラインなど、返信をドラフトするサポートアシスタントはすべて「AI機能」です。 同じモデルを必要としません。 何かを比較する前に、短いタスク契約を書いています: 何が出てくるのか、何が出てくるべきか、ユーザーが待つ時間、悪い回答の費用。

その契約は評価を正直に保ちます。 それなしで、チームはどの応答がデモで最も磨かれているか報いる傾向があります。 生産では、適切なフィールドとの明白な答えは、パーサーを破壊したり、ポリシーを発明したりする、著名な回答よりも価値があります。

• 入力:言語、長さ、添付ファイル、ツール、および機密データ制約。
• 出力:フォーマット、必要な事実、拒絶行動および受諾可能な変化。
• 操作封筒:レイテンシーターゲット、要求量、および費用の天井。
• 失敗費用: 人間がユーザに到達する前にエラーをキャッチできるかどうか。

小さくて難しい評価セットを作る

厳選されたケースは40種類から4万個まで。 このセットは、製品ワークフローから認証された例で始まります。 私たちは、個人情報または機密情報を削除します。, その後、以前にトラブルを引き起こしたエッジケースを追加します。: あいまいな指示, 欠落したコンテキスト, 敵対的な入力, 異常に長い文書, そして、拒否すべき要求.

便利なセットは意図的に不均一です。 一般的なケースでは、モデルが通常のトラフィックを処理することができるかどうかを示します。難しいケースでは、それが失敗する方法を明らかにします。 再回帰試験と最近の例の回転グループで凍らせたコアを保ち、製品からテストが離脱されることはありません。

回答を読む前にスコアを決める

スコアリングシートは最初の比較の前に書かれています。 これは、一般的な間違いを防止します。お気に入りのモデルが魅力的な応答を生成した後の基準を変更します。 一部のチェックは、自動で実行できます。バリドJSON、必要なキー、正確なシテーション、ツールの引数 - 判断重いタスクは、各モデルが各回答を生成したかわからない短い rubric と査読者が必要です。

1つの全体的なスコアはあまりにも多く隠します。 チームが作り出すトレードオフを見ることができるように、別の次元を保ちます。 参照を製作したり、同じ安全ケースを繰り返し失敗させるため、以下の手順でモデルが優れています。

完了したワークフローを測定する

トークン価格は、答えではなく、コスト計算に入力されます。 より安いモデルはより長いプロンプト、より多くの出力、呼出し用具を必要とするか、またはretriesを要求するかもしれません。 ワークフローが許容される結果に達する時点でコストを計算します。 タイムアウトや人間書き換えを必要とするリクエストは、時間を節約し、多くの場合、モデルの使用量を消費します。

レイテンシは同じ治療に値します。 ストリーミングの問題、総応答時間、および遅い尾が平均ではなく、最初のトークンに時間をキャプチャします。 バリアンスを暴露するのに十分な繰り返しを実行し、アプリケーションが実際に実行する領域からテストします。

統合の表面をテストして下さい

OpenAI 互換は、全てのモデルが同じ動作するわけではありません。 使用予定の正確なエンドポイントとモデル識別子を確認します。 その後、アプリケーションが依存するパラメータをテストします。: ストリーミング、構造化された出力、ツールコール、画像入力、ストップシーケンス、コンテキストの長さ。 未サポートのパラメータは、起動後ではなく、評価中に不可視に失敗する必要があります。

エラー応答も検査します。 アプリケーションは、HTTP ステータスと識別子を保持し、無効な入力からレート制限を区別し、永続的なエラーを再試行しないでください。 この作品は、サイドバイサイドのデモよりも印象的ではありませんが、生産の統合が成功するか、失敗するのは普通です。

• 設定でモデル識別子をピン留めし、評価日を記録します。
• バージョン履歴でプロンプトテンプレートと生成設定を保存します。
• 明示的なタイムアウトとジッタで縛られたリトライポリシーを設定します。
• 秘密をログにすることなく、識別子や使用量を記録します。

影のトラフィックと再発の失敗を使用する

オフラインテストでは、全ての生産入力を再現できません。 完全なスイッチの前に、ユーザーに対する回答を使用せずに、既存のトラフィックの安全なサンプルを候補者に送信します。 これにより、ドリフト、レイテンシを現実的な通貨の下に整形し、評価セットから欠落したケースがわかります。 センシティブなワークロードは、シェーディング前に承認されたデータパスが必要です。

その後、速度制限、タイムアウト、マーフォーメードストリーム、未利用可能なモデル、および検証に失敗する応答などの異常なシナリオをテストします。 チームは、フォールバックが安全であるときに、どのエラーが検索され、製品が停止し、再び試みるためにユーザーを尋ねなければならないことを知っている必要があります。

決定を録音し、リバーシブルに保つ

最終的な決定書は、誰かがそれを更新するのに十分短くする必要があります。 タスク、候補、テストセットバージョン、スコア、測定コスト、レイテンシー、既知の故障モード、選択理由を記録します。 次のレビューの所有者と日付を追加します。

モデルの選択は永久的な建築ではないです。 選択したモデルとタスクの設定を構成し、評価セットを維持し、制御可能なパーセンテージまたは機能フラグの後ろにロールアウトします。 価格、行動、トラフィック、または利用可能なモデルが変更されると、メモリからの議論を再開するのではなく、同じプロセスを再実行します。