運維 · 2026-08-28 · HippoAPI 檔案小組
處理利率限額和貨幣
設計有邊框的重試,佇列,和貨幣控制元件,用於可以因模型和賬號而變化的極限.
B. 各種預期限制
現有請求率和貨幣取決於賬戶、模型、供應商能力和目前的平臺控制。 除非是書面協議的一部分,否則不要使用一個全域性碼。
使用邊框指數回放
僅重試瞬態失敗, 新增 jitter , 封頂延遲和全部嘗試, 並在當前時尊重伺服器引導 。 永遠不要重試認證,無效請求,或平衡不足錯誤,彷彿它們是容量錯誤.
應用程式中的控制貨幣
在模式呼叫前放置佇列或分母,定義超時,並對呼叫者施加回壓. 這比允許交通突起創造出同步迴轉更為可靠.