矩阵 / 拥塞控制

BBRv3 与长肥管道:带宽时延积决定的天花板

跨境链路是典型的长肥管道(LFN):RTT 大、带宽高。此时单条连接的吞吐上限不由带宽决定,而由「带宽 × 时延」这个乘积与接收窗口共同决定。

BDPBBRv3吞吐上限
本篇要点
  • 单流上限由带宽时延积决定:RTT 132ms、100Mbps 需要约 1.65MB 在途数据。
  • 窗口不足是最常见瓶颈,比换算法见效快得多。
  • 物理 RTT 不可压缩,调优只能在「逼近下界」做文章。

为什么跨境单连接跑不快

带宽时延积(BDP)= 带宽 × RTT。这条公式决定「管道里必须同时有多少数据在飞」,否则吞吐上不去。

举例:RTT 132ms、目标 100Mbps,BDP ≈ 100Mbps × 0.132s ÷ 8 ≈ 1.65MB。若接收窗口只有 256KB,理论上限就只有约 15Mbps——与链路多宽毫无关系。

RTT目标带宽所需在途数据256KB 窗口下的上限
20 ms100 Mbps250 KB约 105 Mbps
60 ms100 Mbps750 KB约 35 Mbps
132 ms100 Mbps1.65 MB约 15 Mbps
200 ms200 Mbps5 MB约 10 Mbps

BBRv3 改了什么

  • 丢包语义修正:BBRv1 把丢包当拥塞信号,在随机丢包链路上会误降速;v3 更依赖交付速率估计
  • 带宽探测更稳:减少「探测—回退」造成的周期性波动
  • 公平性改进:多流共存时对 CUBIC 流更友好,减少抢占
  • ECN 支持:显式拥塞通知可用时优先参考,而不是等丢包

调优顺序

  1. 先加接收窗口:单流上限多由它卡住,比换算法见效快
  2. 再确认 MSS 与 MTU:隧道封装会吃掉 24–60 字节,PMTUD 失败会表现成「小包通、大包丢」
  3. 然后看算法:跨境随机丢包多时 BBR 系优于 CUBIC
  4. 最后才考虑多流并发:多流能绕过单流窗口限制,但会加剧拥塞
调优的收益有上限:物理 RTT 不可压缩。窗口再大,也不能让 132ms 变成 60ms。

两个常见误判

  • 「带宽不够」:单流跑不满但多流能跑满,说明卡在窗口或算法,不是链路带宽
  • 「加钱升带宽」:跨境场景里,RTT 与丢包往往比带宽更影响体感

实测数据

下表为源文公开的工程实测口径整理(出口运营商、工具链与采样方式一并保留)。同一条链路在不同城市与时段会有一档差异,只作量级参考。

表 1 · 数据对照

路径出口 AS实测 RTTCUBIC 单流BBRv1 单流BBRv3 单流重传率(BBRv3)
上海→洛杉矶AS4134/AS4809138ms62Mbps418Mbps612Mbps0.34%
北京→圣何塞AS9929156ms48Mbps356Mbps548Mbps0.51%
广州→新加坡AS5845372ms118Mbps502Mbps681Mbps0.22%

表 2 · 数据对照

路径BDP(1Gbps)实测在途峰值填充率cwnd 峰值rwnd 上限瓶颈判定
上海→洛杉矶17.25MB10.9MB63.2%11.1MB64MB发送端 pacing/丢包
北京→圣何塞19.50MB10.4MB53.3%10.6MB64MB路径丢包 0.51%
广州→新加坡9.00MB6.3MB70.0%6.4MB64MB接收端应用读取

表 3 · 数据对照

配置组合fqfq_codelpfifo_fast吞吐备注
默认 sysctl + fq612Mbps基线
调大 wmem/rmem + fq648Mbps窗口不再受限
调大 + fq_codel601Mbpscodel 主动丢包略伤 pacing
调大 + pfifo_fast534Mbps无 pacing 整形,突发伤队列
调大 + fq + tcp_notsent_lowat655Mbps应用侧配合

选型与演进建议

排查顺序固定:先看接收窗口是否够大,再确认 MSS 与 MTU(隧道封装吃掉 24–60 字节),然后才轮到算法。多流能绕过单流窗口限制,但会加剧拥塞,只适合短时补救,不适合作为长期方案。

拥塞控制的演进在往「更早、更准的信号」走:ECN 普及后,算法不必等丢包才降速;BBRv3 对随机丢包的容忍也更高。对使用者的意义是——链路质量(丢包、抖动)的重要性会继续超过带宽数值。

  • 先加窗口,再换算法
  • 确认 MSS / MTU,注意隧道封装
  • 多流只是权宜,不是方案
  • 跨境场景里 RTT 与丢包比带宽更影响体感

常见问题

怎么估算自己的单流上限?

用 接收窗口 ÷ RTT 反推。窗口 512KB、RTT 130ms,理论上限约 31Mbps。

为什么下载软件多线程就快了?

每个连接各自有独立窗口,多流把总在途数据量堆上去了。

BBRv3 要自己编译吗?

多数新内核已内置。老系统可能需要升级内核或换用带该算法的镜像。

开了 BBR 还是慢?

先查窗口与丢包。算法只在「窗口足够、丢包被误判」时才起决定作用。

UDP 类协议有这个问题吗?

有,但形式不同:QUIC 自带流控,逻辑类似,仍受 BDP 约束。

换机房能改善吗?

能。缩短物理距离是唯一能真正降低 RTT 的办法。

流媒体的瓶颈不在 TCP

Netflix 用的是自家 CDN,路径完全不同。