集群准备:MicroK8s 单机环境
从一台空 Ubuntu 主机到一个能装 FewBox 的 Kubernetes 集群。适用于评估、POC 与单机交付;客户已有生产集群时整章跳过。
← 文档索引
这一章只做一件事:让 kubectl get nodes 返回 Ready,并且镜像能正常拉取。装完之后接
安装 Istio → 配置数据库 → 边缘 nginx。
1. 适用场景
| 场景 | 用这套 | 说明 |
|---|---|---|
| 售前演示 / 功能验收 | 是 | 单机运行全部服务,可满足演示与验收 |
| 私有化 POC(客户机房试装) | 是 | 用客户给的机器,或我方带一台过去 |
| 客户已有生产 K8s | 否 | 直接读部署概览的前置条件,从一键部署开始 |
| 生产单机 | 不推荐 | 没有副本、没有多可用区,仅能容忍单机故障 |
2. 硬件:内存先到顶,不是 CPU
参考环境是一台 4 vCPU / 8 GiB 的 Ubuntu 22.04 云主机,21 个服务全部拉起、Istio 注入开启时:
| 指标 | 实测 | 判断 |
|---|---|---|
| CPU | 使用约 8%(空载,无对话) | 有大量余量,模型调用不占本机 CPU |
| 内存 | 使用约 65%(5.1 / 7.9 GiB) | 接近上限,这是瓶颈 |
| Pod 数 | 21 个业务 Pod + istiod + ingressgateway | 注入开启时每个业务 Pod 是 2/2——一个 Pod、两个容器(应用 + istio-proxy),不是两副本;不装 Istio 或关掉注入则是 1/1 |
其中 21 个业务 Pod(含各自的
istio-proxy)合计约 2.0 GiB,其余约 3 GiB 是 kubelet、containerd 等宿主侧开销与页缓存——这部分每一台机器都有、与装了什么无关,评估容量时按整机看。
为什么内存先满:每个业务 Pod 都带一个 istio-proxy sidecar(即 2/2 里的第二个容器),
21 份合计约 750 MiB、每个 36 MiB 上下;再叠加每个服务自己的运行时(Next.js 与 .NET 最重,
分别约 100 MiB / 280 MiB)。CPU 没有这个问题——空载时几乎不消耗。
结论:
- 4C/8G:可满足演示与单人验收,不要在上面做并发压测或真实多租户使用;
- 8C/16G:推荐的 POC 规格,留出模型侧并发与突发余量;
- 磁盘:镜像 +
hostpath存储 ≥ 100 GB SSD。.NET与 Node 镜像体积大,且每次重新打标签 都会留一份旧层(见本文第 7 节)。
3. 安装 MicroK8s
# snap
sudo apt update
sudo apt install snapd
# microk8s
sudo snap install microk8s --classic
sudo microk8s start
sudo microk8s status
装完之后把当前用户加进 microk8s 组。不加的话,本文后面那些不带 sudo 的 microk8s 命令
(kubectl version、get nodes、ctr images ls 等)会先报这个:
Insufficient permissions to access MicroK8s.
You can either try again with sudo or add the user <user> to the 'microk8s' group
sudo usermod -a -G microk8s $USER
newgrp microk8s
newgrp 让新组在当前 shell 立即生效;跳过它就要重新登录一次。
要开哪些 addon
sudo microk8s enable dns
sudo microk8s enable hostpath-storage
sudo microk8s enable metrics-server
| addon | 必须 | 不开会怎样 |
|---|---|---|
dns |
是 | Service 短名解析不了,所有 http://<service> 调用失败 |
hostpath-storage |
是 | 没有默认 StorageClass,声明 PVC 的工作负载永远 Pending |
metrics-server |
强烈建议 | kubectl top 看不到 CPU/内存,排障时无法查看资源占用;HPA 也无法工作 |
community |
只在使用社区 addon 时需要 | 开了才看得到社区维护的插件列表 |
不要用
microk8s enable istio。 该 addon 的 Istio 版本跟着 snap 走,无法固定, 跨版本行为差异会以"路由莫名 404"的形式出现。Istio 用官方安装器单独装,见 安装 Istio。
主机拉不了
docker.io等仓库的镜像时(典型如中国大陆网络环境),先完成 中国大陆网络,再继续后面的章节。
4. 把集群凭据给外部工具
MicroK8s 的凭据默认不在 ~/.kube/config,istioctl、helm、手动装的 kubectl 都会读默认
路径,于是报连不上:
mkdir -p ~/.kube
sudo microk8s config > ~/.kube/config
microk8s kubectl 不受影响——它直连 snap 内的凭据。两条路都能用,但不要混着排查:一个报
连不上、另一个正常,多半就是凭据路径的问题。
5. 装完先验这五项
microk8s kubectl version
microk8s kubectl get nodes
microk8s kubectl describe node <节点名> | grep -A6 "Allocated resources"
microk8s kubectl get pods -A
microk8s kubectl get sc
期望结果:
- 节点
Ready,版本 v1.28–v1.33(参考环境 v1.33); Allocated resources里的 Requests 不超过容量的 60%——超过后新 Pod 会因调度失败停在Pending;kube-system下coredns、calico-node、hostpath-provisioner、metrics-server全部Running;get sc有一行(default),即microk8s-hostpath。
microk8s-hostpath的回收策略是 Delete、且不支持扩容。删 PVC 即删数据, 磁盘满了只能新建更大的卷再迁——这也是备份必须做的原因之一。
6. 已知问题:Calico token 过期导致 Pod 无法启动
现象:某个命名空间的 Pod 卡在 ContainerCreating,describe 最后几行是:
plugin type="calico" failed (add): error getting ClusterInformation:
connection is unauthorized: Unauthorized
原因不是网络策略,而是 Calico CNI 写在节点磁盘上的 kubeconfig 里那份 ServiceAccount token 过期了(长时间运行或证书轮换后出现)。按顺序做:
# 1. 重启 Calico 自身
microk8s kubectl rollout restart ds/calico-node -n kube-system
microk8s kubectl rollout restart deploy/calico-kube-controllers -n kube-system
microk8s kubectl get pods -n kube-system -l k8s-app=calico-node -w # 等到 1/1 Running
# 2. 仍然卡住的 Pod 重来一次
microk8s kubectl delete pod -n <命名空间> --all --grace-period=0 --force
还不行就整机重启一次服务——这会重写 CNI 的凭据文件:
sudo microk8s stop
sudo microk8s start
sudo microk8s status --wait-ready
这个故障的特殊之处在于它只影响新建的 Pod:已在运行的服务照常工作,日志里也没有任何异常, 只有新部署或滚动重启时才暴露。看到
Unauthorized应优先排查 CNI,而不是 NetworkPolicy。
7. 磁盘清理
microk8s-hostpath 之外,containerd 自己会缓存所有拉过的镜像层。反复重建同 tag 镜像后,
旧层不会自动回收:
microk8s ctr images ls | grep <您的镜像前缀>
microk8s ctr images rm <完整镜像引用>
磁盘占满的典型症状是所有新 Pod 都 Evicted 或 ImagePullBackOff,而 kubectl get nodes
仍显示 Ready。定期看一眼 df -h /var/snap/microk8s。
下一步
集群就绪后按这个顺序继续;大陆网络环境下,先把中国大陆网络做完: