2023 01 07 - deptno/deptno.github.io GitHub Wiki

About Networking

• 동일 서브넷 내(L2)에서는 원 홉에 도달이 가능하다
• 이걸 넘어서라면 L3 라우터가 필요하게된다.
  • 10.48.0.128/26 via 10.0.0.12 dev eth0
  • 일반적인 라우팅 프로토콜은 BGP
• overlay network <-> underlay network
  • 둘은 상대적인 개념이다, 언더레이는 일반 네트워크
  • 오버레이 네트워크는 언더레이 네트워크 위에서 이루어지진다
  • 오버레이 네트워크 패킷 안에 언더레이 네트워크 패킷이 존재하는 개념
  • 오버레이 네트워크의 워크로는 언더레이 네트워크와의 통신을 위해 NAT, LB 등을 필요로한다
  • 다소 오버헤드가 존재한다
• NAT(Network Addreess Translation)
  • SNAT(Source ..)
    • 소스 어드레스를 보더에 있는 라우터의 자체 IP로 교체
    • 돌아올때 라우터가 받아서 매핑 시켜놓은 원래의 프라이빗 IP 로 교체
  • DNAT(Destination...)
• MTU(Maximum Transmission Unit)
  • 네트워크 링크간 한방에 보낼 수 있는 패킷 사이즈
  • 일반 적으로 같게 설정된다(1500 bytes)
  • TCP는 MTU를 학습한다
  • TCP는 MTU 보다 큰 패킷을 쪼갠다
  • 프래그먼트를 쪼개는 작업은 오버헤드가 크다
  • MTU가 크면 CPU 사용율은 적어진다

About Kubernetes Networking

• Goal
  • The fundamental network behaviors the Kubernetes network model defines.
  • How Kubernetes works with a variety of different network implementations.
  • What Kubernetes Services are.
  • How DNS works within Kubernetes.
  • What “NAT outgoing” is and when you would want to use it.
  • What “dual stack” is.
• 쿠버네티스 파드간 통신에는 NAT이 존재하지 않음
• isolation 은 policy 로 구현하여 네트워크의 단순성을 가져간다 -> flat network isolation 이 없다는 의미
• 쿠버네티스는 거의안쓰이긴하지만 host port -> pod port 매핑 또는 host ip 를 이용한 네트워크를 지원
• kubenet 이라는 first party 가 있지만 안쓰고 cni 를 사용
• cni 의 두가지 책임
  • ipam 을 통해 pod 에 ip 할당
  • 파드간 통신
• Kubernetes DNS <-> virtual ip(cluster ip?)
• kube-proxy 가 vip 를 로드밸런싱
• nodeport 서비스는 every node
• Note that when using Calico in on-prem deployments you can also advertise service IP addresses, allowing services to be conveniently accessed without going via a node port or load balancer.
• Kubernetes dns 는 일반적으로 coreDNS를 통해서비스로 구현(일반 파드)
• 일반적으로 오버레이 네트워크의 클러스터간 통신에서 SNAT 이 node 에서 이루어진다 pod -> node

Determine best networking option

• flat netowrk 이므로 network segmentation 은 policy 를 통해 구현된다

• cni plugins

  • network
    • adding/deleting from pod network
    • creating/deleting pod's network interface
    • connecting/disconnecting
  • ipam
    • allocating/releasing ip addresses for pods when they are created or deleted
    • 플러그인혹은 cloud 벤더에 따라 하나의 노드에 여러 cidr 가 할당될 수 있음

• kubenet

  • 기본이지만 node 간 통신을 구현 안해놓았다

• overlay network

  • underlay network 위에 올라가서 패킷을 인캡슐레이션
  • 인캡슐레이션 프로토콜로는 vxlan, ip in ip 가 유명하다
  • underlay network 에 대한 변경 없이 사용이 가능한게 장점
  • 단점
    • pod ip 가 클러스터 밖에서 라우팅 되지 않음
    • 오버헤드가 발생, 패킷 감싸고 풀고 해야해서
  • 싱글 서브넷에서는 인캡슐레이션이 되지 않아 퍼포먼스 영향이 없다고 함
  • 서브넷 마다 다른 인캡슐레이션을 선택할 수 있음

• IP routablility outside of cluster, cni 구현에 따른

  • not routable
    • inside -> outside
      • pod ip -> host ip SNAT이 호스트에 일어남
    • outside -> inside
      • kubernetes service or ingress 를 통해서만 접근되며 pod ip 로는 접근이 불가
  • routable
    • SNAT 이 불필요하며 service, ingress 없이 direct 로 pod 에 접근 가능
    • 단점은 broader network 에서 ip가 unique

• overlay network 를 사용하는 경우 일반적으로 외부라우팅이 불가능

• overlay network 를 사용하지 않는 경우 + 외부라우팅이 가능 한 경우

• BGP Border Gateway Protocol

• Host local ipam

  • 호스트마다 ipam (a/24) 를 가지고 있어서 이해하기 편하다
  • ip 할당이 비효율적이다 (노드별 a/24 이기 때문)

• vxlan 은 BGP를 이용하지 않는다, ipinip보다 패킷 사이즈가 조금 더 크다, ipip가 지원되지 않느 곳에서 사용된다

• ipinip ipv4 만지원

• encapsulation mode 는 cross subnet 이 퍼포먼스상 좋다

• host 가 l3 라우팅 (veth)