運用 · 2026-08-28 · HippoAPI ドキュメントチーム
ハンドル率の限界およびconcurrency
モデルとアカウントによって異なる制限のための境界のretries、キュー、およびconcurrency制御の設計。
変化する限界を期待
利用できる率およびconcurrencyはアカウント、モデル、提供者容量および現在のプラットホーム制御に依存できます。 書面による合意の一部である場合を除き、グローバルナンバーをハードコードしないでください。
境界の指数関数のバックオフを使用する
一時的な障害のみを再試行し、ジッタを追加し、遅延と合計の試みをキャップし、サーバーのガイダンスを提示するときを尊重します。 認証、無効要求、または不十分なバランスエラーを再試行しないでください。
アプリケーションでconcurrencyを制御する
モデル呼び出しの前にキューやセマフォアを配置し、タイムアウトを定義し、呼び出し者にバックプレッシャーを適用します。 これは、トラフィックのスパイクが同期レトリーを作成することを可能にするよりも信頼性が高いです。