Skip to content

Bug: 上游报错后未按候选顺延,仍在同一账号原地重试(429 / 5xx 明显) #643

Open

Description

@isee22

现象

路由里配了多个账号 / 多个提供商(路由组里甚至 20+ 个候选),某一台账号返回报错后,客户端仍然收到同一个错误,请求没有换到其他候选:

  • 请求日志里 attempts 只有 1 条就收尾(后面明明还有健康账号);
  • 或者同一账号先原地重发 3 次(每次间隔 5 秒)才换号,客户端干等十几秒;
  • 会话粘连的账号失败后,同一个会话的下一条请求仍然先打它一次。

最典型的是 429(额度 / 限流),5xx 和「账号级失败」也会复现。

期望行为

上游返回任何错误(4xx / 5xx,尤其 429)都应视为「这个账号 × 这个模型这一次不可用」,直接按队列顺延到下一个候选 —— 可能是另一个账号、另一个提供商,路由组内还可能是另一个成员模型。

「同一账号原地重发」不该是上游明确报错后的默认动作:用户没有配置「指定错误码」时,语义应当是「任何报错都直接换」,而不是「先原地试几次」。

实际行为(按 beta @ aba58858 代码核对)

  1. 瞬时报错先原地重发,再考虑换号 —— TRANSIENT_RETRY_STATUSES(408/500/502/503/504)与 fallback_retry_advice 让 Fatal 类错误在同一账号上重试 count 次(默认 3、间隔 5 秒):core/upstream/provider_loop.rs:264、:368、:3183。表现就是「429/5xx 卡住不换」。
  2. 插件的 stop 把换号也一起掐掉 —— if failure.stop || failure.policy.stop { return Err(...) }(:1477)。账号级失败时一个候选都不试。stop 的本义只是「这份 body 别再原地重发」,不该是「整条请求到此为止」。
  3. 429 是否按限额处理完全取决于提供商插件的分类 —— 编排层只对 402 做过归一,429 没有兜底。插件把 429 分类成 Fatal 时,既走第 1 条的原地重试,也不会落 rateLimits 冷却,下一条请求还会再选它。
  4. 「指定错误码直接换号」名单只决定「要不要原地重发」 —— 清空名单不等于「所有错误都换」,默认名单里只有 402,和「不填就是全换」的直觉相反。
  5. 换号次数预算会提前截断 —— switch_budget() 默认 5(config/types.rs 的 DEFAULT_RETRY_SWITCH_COUNT)。路由组里 20+ 候选,试到第 6 个就收尾,后面还有健康账号也不再试。
  6. 同样是 429,不同的家表现不同 —— 自定义提供商 / 会话式家的 429 占用换号预算(provider_loop.rs:829、:984),内置无状态路径的 429 不占。用户看到的结果不一致。
  7. 粘性失败不解绑 —— 粘性只在成功时 sticky_bind 覆盖,失败没有任何清理。若那次失败没落冷却,同会话的下一条请求仍会先打它一次(429 时尤其明显)。
  8. 响应开始之后才出现的错误无法换号 —— 流内 error 帧、200 包裹的业务错误只能 502 收尾(core/upstream/aggregate.rs);只有声明了拒答标记的家有预读补救,其余没有。
  9. 模型层面不会跨模型降级 —— 候选池按「同一个请求模型名」过滤,只有路由组成员各自指向不同上游模型时,顺延才可能换到别的模型。

复现步骤

  1. 同一个模型挂 ≥2 个账号(或建一个路由组,成员来自不同提供商)。
  2. 设置「通用 → 请求重试」里不填任何错误码,其余保持默认。
  3. 让队首账号的上游额度打满 / 被风控(或造一个 502 响应),客户端发一条消息。
  4. 看请求日志的 attempts 与重试链:期望是 1 条失败后立刻出现下一账号的尝试;实际常见是同一账号 3 条重试、或只有 1 条就收尾。
  5. 对照终端 / 日志里有没有「按队列顺延 → …」。只看到「换账号次数已用尽(最多 N 个)」时,属于第 5 条。

影响

路由在最需要它的时候(某台账号额度用完 / 被上游封禁)退化成单账号重试:429 会持续复现,客户端只能干等冷却窗口,用户感知就是「明明还有别的账号,却一直 429」。

相关

已开的 PR 覆盖了其中一部分(stop 与 5xx 的顺延):#592、#595、#601。但「上游报错先原地重发」「429 分类兜底」「换号预算截断」「失败不解绑粘性」这几条仍未覆盖,仍会出现上面的现象。

🤖 本条回复由 AI Agent 生成

Activity

  1. coderabbitai commented on Nov 21, 2026

    @coderabbitai
    🔗 Related PRs

    #595 - 修复:上游错误统一按候选失败顺延 [open]
    #592 - Fix/transient 5修复:上游瞬态 5xx 不再绕过账号/模型顺延xx failover [open]
    #601 - 修复账号级失败不换号,并为限制器与熔断补秒级恢复倒计时 [open]


    📝 Issue Planner

    Check the box below or use the @coderabbitai plan command to generate an implementation plan and prompts that you can use with your favorite coding assistant.

    • Create Plan

    🧪 Issue enrichment is currently in open beta.

    You can configure auto-planning by selecting labels in the issue_enrichment configuration.

    To disable automatic issue enrichment, add the following to your .coderabbit.yaml:

    issue_enrichment:
      auto_enrich:
        enabled: false

    💬 Have feedback or questions? Drop into our discord!

  2. isee22 commented on Nov 21, 2026

    @isee22
    Author

    这条的修复已随 #648(base beta)一起提交。

    原来「上游报错后没按候选顺延、还在同一账号原地重试」的两个根因:默认 resends=3 会在同一账号上原地重发;本地构造期的错误又直接 return Err,完全不看候选队列。现在默认 resends=0、任何上游错误第一次失败就换下一个候选,构造期错误也走同一套规则。

    🤖 本条回复由 AI Agent 生成

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions