k8s+isulad 网络问题

按照我前面的博客中的配置安装calico,发现存在网络问题，具体现象如下：

1. 各节点配置的物理地址可以互访

2. pod 容器的地址段ip 只能在单个节点中互访，跨节点不能访问

使用calicoctl node status 查看BGP状态，正常

sudo calicoctl node status
Calico process is running.

IPv4 BGP status
+————–+——————-+——-+————+————-+
| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |
+————–+——————-+——-+————+————-+
| 10.12.70.141 | node-to-node mesh | up | 2025-08-13 | Established |
| 10.12.70.142 | node-to-node mesh | up | 2025-08-13 | Established |
| 10.12.70.144 | node-to-node mesh | up | 2025-08-13 | Established |
| 10.12.70.145 | node-to-node mesh | up | 2025-08-13 | Established |
| 10.12.70.146 | node-to-node mesh | up | 2025-08-13 | Established |
| 10.12.70.147 | node-to-node mesh | up | 2025-08-13 | Established |
| 10.12.70.148 | node-to-node mesh | up | 2025-08-13 | Established |
| 10.12.70.149 | node-to-node mesh | up | 2025-08-13 | Established |
| 10.12.70.150 | node-to-node mesh | up | 2025-08-13 | Established |
+————–+——————-+——-+————+————-+

IPv6 BGP status
No IPv6 peers found.

// 查看本地路由
ip route
default via 10.12.70.129 dev enp3s1 proto dhcp src 10.12.70.143 metric 100
10.12.70.128/25 dev enp3s1 proto kernel scope link src 10.12.70.143 metric 100
22.244.22.128 via 10.12.70.144 dev enp3s1 proto 80 onlink
22.244.22.128/26 via 10.12.70.144 dev enp3s1 proto 80 onlink
22.244.40.0 via 10.12.70.146 dev enp3s1 proto 80 onlink

查看本地路由发现不了vxlan.calico信息，路由表中缺少 Calico VXLAN 隧道路由。

起初我认为是中国电子云的vpc网络问题（因为我的k8s节点是建立在中国电子云的虚拟机上的），后来找售后技术讨论，排除了中国电子云问题。

开始怀疑是不是安全策略问题，就在原来基础上为每个节点的安全组做了pod和svc地址段的信任放行，问题依旧存在。

我把所有现象都贴给了DeepSeek让它帮我分析，结果它认为是calico配置模式有问题，BGP网络使用的VXLAN,这里的模式应该是"vxlanMode": "Always" ，而我当前的配置是vxlanMode: CrossSubnet 模式。这里可以通过如下命令查看当前配置信息：

sudo calicoctl get ippool default-ipv4-ippool -o yaml | grep vxlanMode

但是使用DeepSeek给的解决方案：

sudo calicoctl patch ippool default-ipv4-ippool -p '{"spec":{"vxlanMode": "Always"} }'

//显示修改成功，但是再查看配置还是始终改不过来

于是我查了以下官网的文档，这里可参考：Installation reference | Calico Documentation

通过修改installation这个资源可以更改上述配置内容。具体配置如下：

// 查看当前配置信息
kubectl get installation default -n tigera-operator -o yaml
// 修改 calico 安装中的custom-resources.yaml配置文件，也可以将installation写在另外一个tigera-operator.yaml配置文件中

// installation 内容
apiVersion: operator.tigera.io/v1
kind: Installation
metadata:
name: default
spec:
# Configures Calico networking.
serviceCIDRs:
– "55.96.0.0/20" //自定义svc的地址段
calicoNetwork:
ipPools:
– name: default-ipv4-ippool
blockSize: 26
cidr: 22.244.0.0/16 //pod地址段
encapsulation: VXLAN //主要修改这个值就可以改变vxlanMode的值
natOutgoing: Enabled
nodeSelector: all()
imagePullSecrets: []
variant: Calico
registry: docker.m.daocloud.io //自定义国内镜像拉取地址

这里建议不要完全参考DeepSeek给的修改方案，因为配置参数总有错误，如果拿不准可以查看以下calico的官方文档，也可以通过kubectl explain Installation.spec 往下查看，确认下面的参数项内容，往往DeepSeek在这个地方给的参数项压根就没有，或者从属归类有问题。

配置完后 使用如下命令更新配置，同时查看修改状态。

kubectl apply -f custom-resources.yaml
//重启更新容器
kubectl rollout restart deployment tigera-operator -n tigera-operator
//等待容器启动正常
kubectl wait –for=condition=available deployment/tigera-operator -n tigera-operator –timeout=90s

//查看配置修改情况
sudo calicoctl get ippool default-ipv4-ippool -o yaml | grep vxlanMode

{"apiVersion":"projectcalico.org/v3","kind":"IPPool","metadata":{"annotations":{},"generation":1,"labels":{"app.kubernetes.io/managed-by":"tigera-operator"},"name":"default-ipv4-ippool","resourceVersion":"1351"},"spec":{"allowedUses":["Workload","Tunnel"],"assignmentMode":"Automatic","blockSize":26,"cidr":"22.244.0.0/16","ipipMode":"Never","natOutgoing":true,"nodeSelector":"all()","vxlanMode":"Always"}}
vxlanMode: Always
// 现在已经是Always了

//接下来重启calico-node，你也可以查看calico-system 命名空间下的部署都启动一遍
kubectl get all -n calico-system
kubectl rollout restart daemonset calico-node -n calico-system
kubectl rollout restart deploy calico-kube-controllers -n calico-system
…

此时再在节点上ping容器的ip就可以通了，通过之前做的nettools测试镜像可以测试容器之间的通断情况。

查看本地路由：

//ip route 22.244.40.0/26 via 22.244.40.0 dev vxlan.calico onlink 22.244.112.0 dev vxlan.calico scope link

也可以看到vxlan.calico信息了说明vxlan的路由通道已经正常建立起来了。

网+络问题解决。