运维 · 2026-08-28 · HippoAPI 文件小组
处理利率限额和货币
设计有边框的重试,队列,和货币控件,用于可以因模型和账号而变化的极限.
B. 各种预期限制
现有请求率和货币取决于账户、模型、供应商能力和目前的平台控制。 除非是书面协议的一部分,否则不要使用一个全局码。
使用边框指数回放
仅重试瞬态失败, 添加 jitter , 封顶延迟和全部尝试, 并在当前时尊重服务器引导 。 永远不要重试认证,无效请求,或平衡不足错误,仿佛它们是容量错误.
应用程序中的控制货币
在模式调用前放置队列或分母,定义超时,并对调用者施加回压. 这比允许交通突起创造出同步回转更为可靠.