一、概述

在 Kubernetes 中，服务发现有几种方式：

  • 基于环境变量的方式

  • 基于内部域名的方式

基本上，使用环境变量的方式很少，主要还是使用内部域名这种服务发现的方式。

其中，基于内部域名的方式，涉及到 Kubernetes 内部域名的解析，而 kubedns，是 Kubernetes 官方的 DNS 解析组件。从 1.11 版本开始，kubeadm 已经使用第三方的 CoreDNS 替换官方的 kubedns 作为 Kubernetes 集群的内部域名解析组件。

Kubernetes 中的域名是如何解析的？

在 Kubernetes 中，比如服务 a 访问服务 b，对于同一个 Namespace下，可以直接在 pod 中，通过 curl b 来访问。对于跨 Namespace 的情况，服务名后边对应 Namespace即可。比如 curl b.default。那么，使用者这里边会有几个问题：

  1. 服务名是什么？

  2. 为什么同一个 Namespace 下，直接访问服务名即可？不同 Namespace 下，需要带上 Namespace 才行？

  3. 为什么内部的域名可以做解析，原理是什么？

DNS 如何解析，依赖容器内 resolv 文件的配置

cat /etc/resolv.conf
nameserver 10.10.0.3
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5

这个文件中，配置的 DNS Server，一般就是 K8S 中，kubedns 的 Service 的 ClusterIP，这个IP是虚拟IP，无法ping，但可以访问。

service 是否可以ping取决于 svc使用iptables 以及ipvs的区别。

如果pod使用dns策略为clusterfirst的时候 ，要经过 kubedns 的虚拟IP 10.10.0.3 进行解析，不论是 Kubernetes 内部域名还是外部的域名。

二、pod DNS策略

Kubernetes 中 Pod 的 DNS 策略有四种类型。

  • Default：Pod 继承所在主机上的 DNS 配置；

  • ClusterFirst：K8s 的默认设置；先在 K8s 集群配置的 coreDNS 中查询，查不到的再去继承自主机的上游 nameserver 中查询；

dnsPolicy: ClusterFirst  

  • ClusterFirstWithHostNet：对于网络配置为 hostNetwork 的 Pod 而言，其 DNS 配置规则与 ClusterFirst 一致；

  • None：忽略 K8s 环境的 DNS 配置，只认 Pod 的 dnsConfig 设置。

dnsPolicy: "None"
  dnsConfig:
   nameservers:
     - 114.114.114.114
   searches:
     - default.svc.cluster.local
   options:
     - name: ndots
       value: "5"    ###默认为5

三、CoreDns解析规则

在部署 pod 的时候， kubelet 在起容器的时候，会将其 DNS 解析配置初始化成集群内的配置。因此在每个pod里面都会有/etc/resolv.conf文件，通过修改其中的配置可以更改DNS的查询规则

如下启动一个pod，查看/etc/resolv.conf配置

[root@mypod /]# cat etc/resolv.conf
search default.svc.test.com svc.test.com test.com
nameserver 169.254.25.10     ####我的环境中使用了nodelocaldns,这个地址是nodelocaldns的地址
options ndots:5
[root@mypod /]#
​
#在集群中 pod 之间互相用 svc name 访问的时候，会根据 resolv.conf 文件的 DNS 配置来解析域名

  • nameserver：集群中的DNS服务器IP，一般来说就是CoreDNS的ClusterIP

  • search：需要搜索的域，默认情况下会从该pod所属的namespace开始逐级补充

#解析域名的时候，将要访问的域名依次带入 search 域，进行 DNS 查询。
#例如在pod 中访问一个域名为 nginx 的服务，其进行的 DNS 域名查询的顺序是：
​
nginx.default.svc.test.com. -> nginx.svc.test.com. -> nginx.test.com.
​
#按照上述顺序直到查到为止

  • options ndots：触发上面的search的域名点数’.'，在K8S中默认为5，上限15；例如test.com这个域名的ndots是1，test.com.这个域名的ndots才是2（需要注意所有域名其实都有一个根域.，因此test.com的全称应该是test.com.）。如果dnots 指定查询的域名包含的点 “.” 小于 5，则先走 search 域，再用绝对域名；如果查询的域名包含点数大于或等于 5，则先用绝对域名，再走 search 域。

#例如当ndots大于等于5时访问的是 a.b.c.e.f.g ，那么域名查找的顺序如下：
a.b.c.e.f.g. -> a.b.c.e.f.g.default.svc.test.com. -> a.b.c.e.f.g.svc.test.com. -> a.b.c.e.f.g.test.com.
​
#例如当ndots小于5时访问的是 a.b.c.e. ，那么域名查找的顺序如下：
a.b.c.e.default.svc.test.com. -> a.b.c.e.svc.test.com. -> a.b.c.e.test.com. -> a.b.c.e.
​

四、pod之间通信

  • 通过svc的方式通信

在 K8s 中，Pod 之间通过 svc 访问的时候，会经过 DNS 域名解析，再拿到 ip 通信。而 K8s 的域名全称为 "<service-name>.<namespace>.svc.test.com"，通常只需将 svc name 当成域名就能访问到 pod。

1:使用deploy启动一个nginx的pod，svc名称为nginx-svc,如下：
---                                                                                                                                                          
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  labels:
   app: nginx
spec:
  replicas: 1
  selector:
   matchLabels:
     app: nginx
  template:
   metadata:
     labels:
       app: nginx
   spec:
     containers:
     - name: nginx
       image: docker.io/library/nginx:latest
       imagePullPolicy: IfNotPresent
       ports:
         - containerPort: 80

---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
spec:
  selector:
   app: nginx
  ports:
 - port: 80
   protocol: TCP
   targetPort: 80
  type: ClusterIP
 
查看pod中/etc/resolv.conf配置如下：
root@nginx-5977dc5756-lcmwq:/# cat etc/resolv.conf
search default.svc.test.com svc.test.com test.com
nameserver 169.254.25.10
options ndots:5
root@nginx-5977dc5756-lcmwq:/#
​
2:使用另外一个pod访问nginx-svc这个域名，如下：
[root@master yaml]# kubectl exec -it  mypod bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
[root@mypod /]# ping nginx-svc
PING nginx-svc.default.svc.test.com (10.10.23.221) 56(84) bytes of data.
64 bytes from nginx-svc.default.svc.test.com (10.10.23.221): icmp_seq=1 ttl=64 time=0.152 ms
64 bytes from nginx-svc.default.svc.test.com (10.10.23.221): icmp_seq=2 ttl=64 time=0.143 ms
64 bytes from nginx-svc.default.svc.test.com (10.10.23.221): icmp_seq=3 ttl=64 time=0.114 ms
^C
--- nginx-svc.default.svc.test.com ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2002ms
rtt min/avg/max/mdev = 0.114/0.136/0.152/0.018 ms
[root@mypod /]#
#############################
返回的nginx-svc的地址为10.10.23.221，此地址为nginx-svc的地址，如下：
[root@master yaml]# kubectl get svc
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
nginx-svc    ClusterIP   10.10.23.221   <none>        80/TCP    2d17h
[root@master yaml]#
​
#############################
如果要访问其他ns的svc，需要带上ns name即可，如下：
[root@master yaml]# kubectl exec -it  mypod bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
[root@mypod /]# ping harbor-core
ping: harbor-core: Name or service not known    ###不添加ns的话，无法解析habor-core
​
[root@mypod /]# ping harbor-core.harbor
PING harbor-core.harbor.svc.test.com (10.10.30.184) 56(84) bytes of data.
64 bytes from harbor-core.harbor.svc.test.com (10.10.30.184): icmp_seq=1 ttl=64 time=0.095 ms
64 bytes from harbor-core.harbor.svc.test.com (10.10.30.184): icmp_seq=2 ttl=64 time=0.130 ms
64 bytes from harbor-core.harbor.svc.test.com (10.10.30.184): icmp_seq=3 ttl=64 time=0.165 ms
^C
--- harbor-core.harbor.svc.test.com ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2001ms
rtt min/avg/max/mdev = 0.095/0.130/0.165/0.028 ms
[root@mypod /]# 

  • 通过hostname和subdomain通信

在 K8s 中，如果不指定 pod 的 hostname，其默认为 pod.metadata.name，通过 spec.hostname 字段可以自定义；另外还可以给 pod 设置 subdomain，通过 spec.subdomain 字段。如下：

#启动pod，如下：
---
apiVersion: v1
kind: Pod
metadata:
  name: nginx
  labels:
   app: web
spec:
  hostname: nginx      ####设置hostnam为nginx
  subdomain: subdomain-test       ####
  containers:
 - name: nginx
   image: docker.io/library/nginx:latest
   imagePullPolicy: IfNotPresent
  dnsPolicy: "None"
  dnsConfig:
   nameservers:
    - 114.114.114.114
   searches:
    - default.svc.test.com
   options:
    - name: ndots
      value: "5"    ###默认为5

---
apiVersion: v1
kind: Service
metadata:
  name: subdomain-test
spec:
  selector:
   app: web
  ports:
 - port: 80
   targetPort: 80
   protocol: TCP
   
#启动pod，查看/etc/hosts文件
[root@master yaml]# kubectl get po -owide
NAME                                      READY   STATUS    RESTARTS   AGE     IP             NODE    NOMINATED NODE   READINESS GATES
nginx                                     1/1     Running   0          6s      10.10.92.25   node3   <none>           <none>
[root@master yaml]# kubectl get svc
NAME             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
subdomain-test   ClusterIP   10.10.7.174    <none>        80/TCP    15s
[root@k8s-master ~]# dig @10.96.0.10 nginx.subdomain-test.default.svc.cluster.local
​
; <<>> DiG 9.11.36-RedHat-9.11.36-14.el8_10 <<>> @10.96.0.10 nginx.subdomain-test.default.svc.cluster.local
; (1 server found)
;; global options: +cmd
;; Got answer:
;; WARNING: .local is reserved for Multicast DNS
;; You are currently testing what happens when an mDNS query is leaked to DNS
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 50420
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available
​
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
; COOKIE: 793a61ce1b4aae71 (echoed)
;; QUESTION SECTION:
;nginx.subdomain-test.default.svc.cluster.local.    IN A
​
;; ANSWER SECTION:
nginx.subdomain-test.default.svc.cluster.local. 30 IN A 10.244.169.187
​
;; Query time: 1 msec
;; SERVER: 10.96.0.10#53(10.96.0.10)
;; WHEN: 五 11月 29 03:51:09 EST 2024
;; MSG SIZE  rcvd: 149
​
​
#通过其他pod 访问nginx.subdomain,如下：
[root@master yaml]# kubectl exec -it  mypod bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
[root@mypod /]#
[root@mypod /]#
[root@mypod /]# ping nginx.subdomain-test
PING nginx.subdomain-test.default.svc.test.com (10.10.92.25) 56(84) bytes of data.
64 bytes from nginx.subdomain-test.default.svc.test.com (10.10.92.25): icmp_seq=1 ttl=62 time=1.91 ms
64 bytes from nginx.subdomain-test.default.svc.test.com (10.10.92.25): icmp_seq=2 ttl=62 time=0.902 ms
64 bytes from nginx.subdomain-test.default.svc.test.com (10.10.92.25): icmp_seq=3 ttl=62 time=1.01 ms
^C
--- nginx.subdomain-test.default.svc.test.com ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2002ms
rtt min/avg/max/mdev = 0.902/1.278/1.914/0.452 ms
​
#如上返回的地址为pod本身的ip地址
​

五、CoreDns Corefile 文件

CoreDNS 实现了应用的插件化，用户可以选择所需的插件编译到可执行文件中；CoreDNS 的配置文件是 Corefile 形式的，以下是CoreDns的configmap的配置：

[root@master yaml]# kubectl -n kube-system get cm coredns -o yaml
apiVersion: v1
data:
  Corefile: |
   .:53 {
       errors
       health {
          lameduck 5s
       }
       ready
       kubernetes test.com in-addr.arpa ip6.arpa {
          pods insecure
          fallthrough in-addr.arpa ip6.arpa
          ttl 30
       }
       prometheus :9153
       forward . /etc/resolv.conf {
          max_concurrent 1000
       }
       cache 30
       loop
       reload
       loadbalance
   }
kind: ConfigMap
metadata:
  creationTimestamp: "2023-12-08T17:18:27Z"
  name: coredns
  namespace: kube-system
  resourceVersion: "224"
  uid: ccf7598d-8b5c-48db-9230-7a539d6c7e98
[root@master yaml]# 

配置文件分析

 #第一部分
errors
       health {
          lameduck 5s
       }

 coredns内部插件，错误日志以及健康监测等，其他插件可以参考https://coredns.io/plugins/kubernetes/
#第二部分
kubernetes test.com in-addr.arpa ip6.arpa {
          pods insecure
          fallthrough in-addr.arpa ip6.arpa
          ttl 30
       }
#指明 test.com 后缀的域名，都是 kubernetes 内部域名，coredns 会监听 service 的变化来维护域名关系，test.com 相关域名都在这里解析。
​
#ttl 30：设置标准的DNS域名TTL，默认值为 5 秒。允许的最小 TTL 为 0 秒，最大值为 3600 秒。将 TTL 设置为 0 将防止记录被缓存。
​
#pods insecure：总是从请求中返回带有 IP 的 A 记录（不检查 k8s），即查询域名1-2-3-4.ns.pod.cluster.local.的时候，不论是否存在一个IP地址为1.2.3.4的pod，都返回这个结果给客户端。如果与通配符 SSL 证书一起被恶意使用，此选项很容易被滥用。提供此选项是为了向后兼容 kube-dns。
​
#fallthrough in-addr.arpa ip6.arpa：正常情况下一个客户端对CoreDNS发起了一个DNS查询，如果该记录不存在，那么就会直接返回一个NXDOMAIN的响应。
​
#第三部分
forward . /etc/resolv.conf {
          max_concurrent 1000
       }
​
#指 coredns 中没有找到记录，则去 /etc/resolv.conf 中的 nameserver 请求解析，而 coredns 容器中的 /etc/resolv.conf 是继承自宿主机的。实际是如果不是 k8s 内部域名，就会去默认的 dns 服务器请求解析，并返回给 coredns 的请求者。
​
#第四部分
      prometheus :9153
       cache 30
       loop
       reload
       loadbalance
#prometheus：CoreDNS 的监控地址为： http://localhost:9153/metrics ，满足 Prometheus 的格式。
#cache：允许缓存
#loop：如果找到循环，则检测简单的转发循环并停止 CoreDNS 进程。
#reload：允许 Corefile 的配置自动更新。在更改 ConfigMap 后两分钟，修改生效
#loadbalance：这是一个循环 DNS 负载均衡器，可以在答案中随机化 A，AAAA 和 MX 记录的顺序。
​
#第五部分
#当某个域名服务不在集群内部时，为了让pod可以访问，可以在corefile中添加host选项如下：
hosts {
   192.168.10.10 edu.com
   fallthrough
}
​

案例：添加外部解析

在 Kubernetes 1.28 版本中，如果您想要通过 CoreDNS 的 ConfigMap 添加外部指定主机名的解析，可以使用 CoreDNS 的 hosts 插件。以下是如何配置 CoreDNS 的 ConfigMap 以添加 hosts 字段的示例：

  1. 获取当前 CoreDNS ConfigMap： 您可以通过以下命令获取当前的 CoreDNS ConfigMap 配置：

    kubectl get cm coredns -n kube-system -o yaml > coredns-configmap.yaml

  2. 编辑 CoreDNS ConfigMap： 使用编辑器打开 coredns-configmap.yaml 文件，您将看到 CoreDNS 的配置文件 Corefile。在这个文件中，您可以添加 hosts 插件的配置。

  3. 添加 hosts 插件配置： 在 Corefile 中添加 hosts 部分，例如，如果您想要将域名 git.k8s.local 解析到 IP 地址 10.151.30.11，可以添加如下配置：

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: coredns
      namespace: kube-system
    data:
      Corefile: |
       .:53 {
           errors
           health {
               lameduck 5s
           }
           ready
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods insecure
               fallthrough in-addr.arpa ip6.arpa
           }
           hosts {
               10.151.30.11 git.k8s.local
               fallthrough
           }
           prometheus :9153
           forward . /etc/resolv.conf {
               max_concurrent 1000
           }
           cache 30
           loop
           reload
           loadbalance
       }

    在这个配置中，hosts 插件被用来指定特定的 IP 地址和主机名映射。fallthrough 指令表示如果请求的域名不在 hosts 部分定义，则请求将被转发到下一个插件处理。

  4. 应用更改： 保存更改后的 coredns-configmap.yaml 文件，并使用以下命令应用更改：

    kubectl apply -f coredns-configmap.yaml

  5. 重启 CoreDNS Pod： 更改 ConfigMap 后，您需要重启 CoreDNS Pod 以使更改生效。可以通过以下命令删除现有的 CoreDNS Pod：

    kubectl delete pod -n kube-system -l k8s-app=kube-dns

    这将触发 CoreDNS Pod 的重启，新的 Pod 将使用更新后的 ConfigMap 配置。

通过以上步骤，您可以在 Kubernetes 1.28 版本中通过 CoreDNS 的 ConfigMap 添加外部指定主机名的解析。这种方法允许您自定义 DNS 解析规则，以满足集群内外的域名解析需求。

  1. 验证

    [root@k8s-master ~]# dig @10.96.0.10 git.k8s.local
    ​
    ; <<>> DiG 9.11.36-RedHat-9.11.36-14.el8_10 <<>> @10.96.0.10 git.k8s.local
    ; (1 server found)
    ;; global options: +cmd
    ;; Got answer:
    ;; WARNING: .local is reserved for Multicast DNS
    ;; You are currently testing what happens when an mDNS query is leaked to DNS
    ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 51965
    ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
    ;; WARNING: recursion requested but not available
    ​
    ;; OPT PSEUDOSECTION:
    ; EDNS: version: 0, flags:; udp: 4096
    ; COOKIE: e37b3a494b869230 (echoed)
    ;; QUESTION SECTION:
    ;git.k8s.local.         IN  A
    ​
    ;; ANSWER SECTION:
    git.k8s.local.      30  IN  A   10.151.30.11
    ​
    ;; Query time: 1 msec
    ;; SERVER: 10.96.0.10#53(10.96.0.10)
    ;; WHEN: 五 11月 29 04:04:09 EST 2024
    ;; MSG SIZE  rcvd: 83

# kubernetes # java # 容器
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

【多智能体控制】simulink深度强化学习多智能体控制【含Matlab源码 14914期】

avatar 2048 AI社区
cover

【多智能体控制】基于matlab simulink深度强化学习多智能体控制【含Matlab源码 14914期】

avatar 2048 AI社区
cover

从零开始学大模型：程序员转型指南与AI资源全解析_抓住A_风口，程序员转行的6大黄金方向

avatar 2048 AI社区