POC 资源基线(requests / limits)
单节点 POC 的起点值:每个服务的四个资源字段怎么填、为什么这么填、先改哪些。 这是演示与验收的基线,不是生产容量规划。
← 文档索引
1. 先分清三件事
| 字段 | 决定什么 | 填错的后果 |
|---|---|---|
| requests(请求) | 调度:节点按它预留容量,也影响驱逐顺序 | 填大 → 新 Pod Pending;填小 → 节点超卖,压力时先被驱逐 |
| limits(上限) | 运行时天花板:CPU 超了被节流,内存超了被 OOMKill | 填小 → 变慢或被杀;填大 → 单个服务可以吃掉整机 |
| 实际用量 | 真实占用,只用来定上面两个值 | 不参与调度 |
调度只看 requests。「节点还有 1.5 GiB」和「能不能起新 Pod」是两件事:kubectl top node
显示的是实际用量,kubectl describe node 里的 Allocated resources 才是调度视角。
集群建了 LimitRange 时(packingtable 会建),没写资源的容器会拿到默认值;默认值往往比实际需要大, 这是 POC 单机上 requests 打满、新 Pod 排不下的常见原因。
2. 参考环境的实测
一台 4 vCPU / 8 GiB 的单节点,服务全部拉起、Istio 注入开启,连续 4 分钟每 15 秒采样
kubectl top pods --containers:
- 应用容器峰值多数在 17–70 MiB;三个例外:
theia-agent约 192–226 MiB、tethys-shipping约 221–244 MiB、mcp-perception约 108–144 MiB。 istio-proxy每个实际 32–41 MiB,但默认 request 是 128 MiB。- 结果:节点的 memory requests 常年 96–99%,实际用量只有 80% 左右。
新 Pod
Pending、滚动更新卡住,都是 requests 造成的,不是内存真的用完了。
3. 推荐值
requests 按峰值留一点余量;limits 是防单个服务失控的天花板,不是目标值。
| 产品线 | 服务 | requests CPU | requests 内存 | limits CPU | limits 内存 |
|---|---|---|---|---|---|
| rhea | rhea-email |
50m | 64Mi | 500m | 512Mi |
rhea-payment |
50m | 64Mi | 500m | 512Mi | |
rhea-push |
50m | 64Mi | 500m | 512Mi | |
rhea-gateway |
50m | 64Mi | 500m | 512Mi | |
rhea-web |
50m | 96Mi | 500m | 512Mi | |
| themis | themis-auth |
50m | 64Mi | 500m | 512Mi |
themis-gateway |
50m | 96Mi | 500m | 512Mi | |
themis-web |
50m | 96Mi | 500m | 512Mi | |
| theia | theia-agent |
100m | 256Mi | 1000m | 1Gi |
theia-gateway |
50m | 96Mi | 500m | 512Mi | |
theia-web |
50m | 96Mi | 500m | 512Mi | |
mcp-* |
50m | 128Mi | 500m | 1Gi | |
| tethys | tethys-shipping |
100m | 256Mi | 1000m | 1Gi |
tethys-gateway |
50m | 64Mi | 500m | 512Mi | |
tethys-web |
50m | 96Mi | 500m | 512Mi | |
| phoebe | phoebe-gateway |
50m | 64Mi | 500m | 512Mi |
phoebe-web |
50m | 96Mi | 500m | 512Mi |
产品线就是 tethys 列表上的 family 标签(fewbox.com/family)。改资源前先在列表里按它筛选,
一次只动一条线,确认 Pod 正常再换下一条。
mcp-* 是一行管全部 MCP 服务:随包五个与可选两个都是 Node 技术栈、体量相近,统一用这一组值,
不逐个调。mcp-perception 的实测峰值约 144Mi,略高于 request——这是有意的 Burstable,
由 1Gi 的 limit 兜底。可选的数据源服务(mcp-gsc、mcp-domain、mcp-trends)装进来也用同一组值,
每个在合计上另加 50m / 128Mi。
合计(上表 21 个服务、mcp-* 按 5 个计、每个 1 个 Pod):应用 requests 约 1150m / 2.2 GiB;
加上 sidecar(25m / 128Mi × 21)后约 1675m / 4.8 GiB。sidecar 内存按下一节压到 64Mi,
合计降到约 3.5 GiB。如果某个服务多副本,按 Pod 数乘。
参考节点的 allocatable 约 7.5 GiB。压到 3.5 GiB 后 requests 约占 47%, 剩下的容量才够滚动更新和突发——这就是为什么单机上「实际用量只有 80%」也会起不来新 Pod。
如果装了 theia-jobs-tick,它每 5 分钟也会起一个 Pod,并按 LimitRange 默认值占一份 requests;
算余量时要把它一起算,否则节点满时它静默排不上,心跳就停了。
4. 怎么落地
- 在 tethys 的服务详情里改这四个字段;一次改一组,改完确认 Pod 正常再改下一组。
- 顺序:先改 19 个 50m 的小服务,最后再改
theia-agent/tethys-shipping。 前一轮滚动更新需要额外容量,重服务留到最后改。 - 单副本滚动更新会卡死:Deployment 默认
maxSurge: 25%(1 副本向上取整为 1)、maxUnavailable: 25%(向下取整为 0),新 Pod 要先起、旧 Pod 不许先停。余量小于新 Pod 的 request(约 190–320Mi,视服务而定)时,新 Pod 永久Pending。三种解法:- 先腾出余量(降前面的 requests,或临时停一个不重要的服务);
- 改
strategy为maxSurge: 0+maxUnavailable: 1,停机再起; - 手工删旧 Pod,释放额度,让已经
Pending的新 Pod 排进去。
- requests 调小后是 Burstable:实际用量长期高于 requests 的 Pod 在节点压力下会先被驱逐。 POC 单机没有别的租户,可以接受;生产要把 requests 提到接近 30 天 p95。
5. istio-proxy 是另一半
每个业务 Pod 有一个 native sidecar(2/2 里的第二个容器),默认 request 100m / 128Mi。
安装时已经可以把它一起压低(见安装 Istio):
istioctl install --set profile=default --set hub=docker.io/istio \
--set values.global.proxy.resources.requests.cpu=25m \
--set values.global.proxy.resources.requests.memory=64Mi
实测每个 sidecar 只吃 32–41 MiB,64Mi 仍有约一倍余量。21 个 Pod 因此再省约 1.3 GiB。
- 已经装好的集群要重新执行
istioctl install,再滚动重启业务 Pod 才生效——sidecar 是 Pod 模板的一部分,改控制面不会动已运行的 Pod。 - 单个 Pod 也可以用注解
sidecar.istio.io/proxyMemory: 64Mi覆盖;tethys 建的工作负载不一定方便 加注解,POC 用全局值更省事。