Egress 网关

 阅读大约需要 10 分钟     页面测试

控制出口流量任务展示了如何配置 Istio 以允许网格内部的应用程序访问外部 HTTP 和 HTTPS 服务，但那个任务实际上是通过 Sidecar 直接调用的外部服务。而这个示例会展示如何配置 Istio 以通过专用的 Egress 网关服务间接调用外部服务。

Istio 使用 Ingress 和 Egress 网关 配置运行在服务网格边缘的负载均衡。Ingress 网关允许您定义网格所有入站流量的入口。 Egress 网关是一个与 Ingress 网关对称的概念，它定义了网格的出口。 Egress 网关允许您将 Istio 的功能（例如，监视和路由规则）应用于网格的出站流量。

使用场景

设想一个对安全有严格要求的组织，要求服务网格所有的出站流量必须经过一组专用节点。 专用节点运行在专门的机器上，与集群中运行应用程序的其他节点隔离。 这些专用节点用于实施出口流量的策略，并且受到比其余节点更严密地监控。

另一个使用场景是集群中的应用节点没有公有 IP，所以在该节点上运行的网格 Service 无法访问互联网。通过定义 Egress 网关，将公有 IP 分配给 Egress 网关节点，用它引导所有的出站流量，可以使应用节点以受控的方式访问外部服务。

开始之前

  • 参照安装指南中的说明搭建 Istio。

  • 部署 sleep 示例应用，用作发送请求的测试源。

    Zip
    $ kubectl apply -f @samples/sleep/sleep.yaml@

  • 将 SOURCE_POD 环境变量设置为源 Pod 的名称：

    $ export SOURCE_POD=$(kubectl get pod -l app=sleep -o jsonpath={.items..metadata.name})

  • 如果尚未启用，则启用 Envoy 的访问日志。 例如，使用 istioctl：

    $ istioctl install <flags-you-used-to-install-Istio> --set meshConfig.accessLogFile=/dev/stdout

部署 Istio Egress 网关

  1. 检查 Istio Egress 网关是否已部署：

    $ kubectl get pod -l istio=egressgateway -n istio-system

    如果没有 Pod 返回，通过接下来的步骤来部署 Istio Egress 网关。

  2. 如果您使用 IstioOperator CR 安装 Istio，请在配置中添加以下字段：

    spec:
  components:
    egressGateways:
    - name: istio-egressgateway
      enabled: true

    否则，将等效设置添加到原始 istioctl install 命令中，例如：

    $ istioctl install <flags-you-used-to-install-Istio> \
                   --set "components.egressGateways[0].name=istio-egressgateway" \
                   --set "components.egressGateways[0].enabled=true"

定义 Egress 网关并引导 HTTP 流量

首先创建一个 ServiceEntry，允许流量直接访问一个外部服务。

  1. 为 edition.cnn.com 定义一个 ServiceEntry：

    $ kubectl apply -f - <<EOF
apiVersion: networking.istio.io/v1
kind: ServiceEntry
metadata:
  name: cnn
spec:
  hosts:
  - edition.cnn.com
  ports:
  - number: 80
    name: http-port
    protocol: HTTP
  - number: 443
    name: https
    protocol: HTTPS
  resolution: DNS
EOF

  2. 发送 HTTPS 请求到 https://edition.cnn.com/politics， 验证 ServiceEntry 是否已正确应用。

    $ kubectl exec "$SOURCE_POD" -c sleep -- curl -sSL -o /dev/null -D - http://edition.cnn.com/politics
...
HTTP/1.1 301 Moved Permanently
...
location: https://edition.cnn.com/politics
...

HTTP/2 200
Content-Type: text/html; charset=utf-8
...

    输出结果应该与发起 TLS 的出口流量中示例中的输出结果相同， 都还没有发起 TLS。

  3. 为 edition.cnn.com 端口 80 的出口流量创建一个 Gateway。

$ kubectl apply -f - <<EOF
apiVersion: networking.istio.io/v1
kind: Gateway
metadata:
  name: istio-egressgateway
spec:
  selector:
    istio: egressgateway
  servers:
  - port:
      number: 80
      name: http
      protocol: HTTP
    hosts:
    - edition.cnn.com
---
apiVersion: networking.istio.io/v1
kind: DestinationRule
metadata:
  name: egressgateway-for-cnn
spec:
  host: istio-egressgateway.istio-system.svc.cluster.local
  subsets:
  - name: cnn
EOF
  1. 配置路由规则，将流量从边车导向到 Egress 网关，再从 Egress 网关导向到外部服务：
$ kubectl apply -f - <<EOF
apiVersion: networking.istio.io/v1
kind: VirtualService
metadata:
  name: direct-cnn-through-egress-gateway
spec:
  hosts:
  - edition.cnn.com
  gateways:
  - istio-egressgateway
  - mesh
  http:
  - match:
    - gateways:
      - mesh
      port: 80
    route:
    - destination:
        host: istio-egressgateway.istio-system.svc.cluster.local
        subset: cnn
        port:
          number: 80
      weight: 100
  - match:
    - gateways:
      - istio-egressgateway
      port: 80
    route:
    - destination:
        host: edition.cnn.com
        port:
          number: 80
      weight: 100
EOF

  1. 重新发送 HTTP 请求到 http://edition.cnn.com/politics。

    $ kubectl exec "$SOURCE_POD" -c sleep -- curl -sSL -o /dev/null -D - http://edition.cnn.com/politics
...
HTTP/1.1 301 Moved Permanently
...
location: https://edition.cnn.com/politics
...

HTTP/2 200
Content-Type: text/html; charset=utf-8
...

    输出应与第 2 步中的输出相同。

  2. 检查 Egress 网关 Pod 的日志，找到与请求对应的那一行。

如果 Istio 部署在 istio-system 命名空间中，则打印日志的命令是：

$ kubectl logs -l istio=egressgateway -c istio-proxy -n istio-system | tail

您应该会看到一行类似于下面这样的内容：

[2019-09-03T20:57:49.103Z] "GET /politics HTTP/2" 301 - "-" "-" 0 0 90 89 "10.244.2.10" "curl/7.64.0" "ea379962-9b5c-4431-ab66-f01994f5a5a5" "edition.cnn.com" "151.101.65.67:80" outbound|80||edition.cnn.com - 10.244.1.5:80 10.244.2.10:50482 edition.cnn.com -

请注意，您只是将流量从 80 端口重定向到 Egress 网关。到端口 443 的 HTTPS 流量直接进入 edition.cnn.com。

清理 HTTP 网关

在继续下一步之前删除先前的定义：

$ kubectl delete serviceentry cnn
$ kubectl delete gateway istio-egressgateway
$ kubectl delete virtualservice direct-cnn-through-egress-gateway
$ kubectl delete destinationrule egressgateway-for-cnn

用 Egress 网关发起 HTTPS 请求

接下来尝试使用 Egress 网关发起 HTTPS 请求（TLS 由应用程序发起）。 您需要在相应的 ServiceEntry 和 Egress Gateway 中指定 TLS 协议的端口 443。

  1. 为 edition.cnn.com 定义 ServiceEntry：

    $ kubectl apply -f - <<EOF
apiVersion: networking.istio.io/v1
kind: ServiceEntry
metadata:
  name: cnn
spec:
  hosts:
  - edition.cnn.com
  ports:
  - number: 443
    name: tls
    protocol: TLS
  resolution: DNS
EOF

  2. 发送 HTTPS 请求到 https://edition.cnn.com/politics， 验证您的 ServiceEntry 是否已正确生效。

    $ kubectl exec "$SOURCE_POD" -c sleep -- curl -sSL -o /dev/null -D - https://edition.cnn.com/politics
...
HTTP/2 200
Content-Type: text/html; charset=utf-8
...

  3. 为 edition.cnn.com 创建 Egress Gateway 以及路由规则， 用来引导流量通过 Egress 网关，并通过 Egress 网关与外部服务通信。

$ kubectl apply -f - <<EOF
apiVersion: networking.istio.io/v1
kind: Gateway
metadata:
  name: istio-egressgateway
spec:
  selector:
    istio: egressgateway
  servers:
  - port:
      number: 443
      name: tls
      protocol: TLS
    hosts:
    - edition.cnn.com
    tls:
      mode: PASSTHROUGH
---
apiVersion: networking.istio.io/v1
kind: DestinationRule
metadata:
  name: egressgateway-for-cnn
spec:
  host: istio-egressgateway.istio-system.svc.cluster.local
  subsets:
  - name: cnn
---
apiVersion: networking.istio.io/v1
kind: VirtualService
metadata:
  name: direct-cnn-through-egress-gateway
spec:
  hosts:
  - edition.cnn.com
  gateways:
  - mesh
  - istio-egressgateway
  tls:
  - match:
    - gateways:
      - mesh
      port: 443
      sniHosts:
      - edition.cnn.com
    route:
    - destination:
        host: istio-egressgateway.istio-system.svc.cluster.local
        subset: cnn
        port:
          number: 443
  - match:
    - gateways:
      - istio-egressgateway
      port: 443
      sniHosts:
      - edition.cnn.com
    route:
    - destination:
        host: edition.cnn.com
        port:
          number: 443
      weight: 100
EOF

  1. 发送 HTTPS 请求到 https://edition.cnn.com/politics， 输出结果应该和之前一样。

    $ kubectl exec "$SOURCE_POD" -c sleep -- curl -sSL -o /dev/null -D - https://edition.cnn.com/politics
...
HTTP/2 200
Content-Type: text/html; charset=utf-8
...

  2. 检查 Egress 网关代理的日志。

如果 Istio 部署在 istio-system 命名空间中，则打印日志的命令是：

$ kubectl logs -l istio=egressgateway -n istio-system

您应该会看到类似于下面的内容：

[2019-01-02T11:46:46.981Z] "- - -" 0 - 627 1879689 44 - "-" "-" "-" "-" "151.101.129.67:443" outbound|443||edition.cnn.com 172.30.109.80:41122 172.30.109.80:443 172.30.109.112:59970 edition.cnn.com

清理 HTTPS 网关

$ kubectl delete serviceentry cnn
$ kubectl delete gateway istio-egressgateway
$ kubectl delete virtualservice direct-cnn-through-egress-gateway
$ kubectl delete destinationrule egressgateway-for-cnn

其他安全注意事项

注意，Istio 中定义的 Egress Gateway 本身并没有为其所在的节点提供任何特殊处理。 集群管理员或云提供商可以在专用节点上部署 Egress 网关，并引入额外的安全措施， 从而使这些节点比网格中的其他节点更安全。

另外要注意的是，Istio 无法强制让所有出站流量都经过 Egress 网关， Istio 只是通过 Sidecar 代理实现了这种流向。攻击者只要绕过 Sidecar 代理， 就可以不经 Egress 网关直接与网格外的服务进行通信，从而避开了 Istio 的控制和监控。 出于安全考虑，集群管理员和云供应商必须确保网格所有的出站流量都要经过 Egress 网关。 这需要通过 Istio 之外的机制来满足这一要求。例如，集群管理员可以配置防火墙， 拒绝 Egress 网关以外的所有流量。 Kubernetes 网络策略也能禁止所有不是从 Egress 网关发起的出站流量（下一节有一个这样的例子）。 此外，集群管理员和云供应商还可以对网络进行限制，让运行应用的节点只能通过 gateway 来访问外部网络。 要实现这一限制，可以只给网关 Pod 分配公网 IP，并且可以配置 NAT 设备， 丢弃来自 Egress 网关 Pod 之外的所有流量。

应用 Kubernetes 网络策略

本节中展示了如何创建 Kubernetes 网络策略来阻止绕过 Egress 网关的出站流量。为了测试网络策略，首先创建一个 test-egress 命名空间， 并在其中部署 sleep 示例应用， 然后尝试发送一个会通过安全网关的外部服务请求。

  1. 参考用 Egress Gateway 发起 HTTPS 请求一节中的步骤。

  2. 创建 test-egress 命名空间：

    $ kubectl create namespace test-egress

  3. 将 sleep 样例部署到 test-egress 命名空间。

    Zip
    $ kubectl apply -n test-egress -f @samples/sleep/sleep.yaml@

  4. 检查生成的 Pod，其中应该只有一个容器，也就是说没有注入 Istio Sidecar：

    $ kubectl get pod "$(kubectl get pod -n test-egress -l app=sleep -o jsonpath={.items..metadata.name})" -n test-egress
NAME                     READY     STATUS    RESTARTS   AGE
sleep-776b7bcdcd-z7mc4   1/1       Running   0          18m

  5. 从 test-egress 命名空间的 sleep Pod 中向 https://edition.cnn.com/politics 发送 HTTPS 请求。因为没有任何限制，所以这一请求应该会成功：

    $ kubectl exec "$(kubectl get pod -n test-egress -l app=sleep -o jsonpath={.items..metadata.name})" -n test-egress -c sleep -- curl -s -o /dev/null -w "%{http_code}\n"  https://edition.cnn.com/politics
200

  6. 给 Istio 组件（控制平面和 Gateway）所在的命名空间打上标签。 如果您将 Istio 部署在 istio-system 命名空间中，则命令是：

$ kubectl label namespace istio-system istio=system

  1. 给 kube-system 命名空间打标签：

    $ kubectl label ns kube-system kube-system=true

  2. 创建一个 NetworkPolicy，来限制 test-egress 命名空间的出站流量， 只允许目标为控制平面、网关和 kube-system DNS 服务（端口 53）的所有请求。

$ cat <<EOF | kubectl apply -n test-egress -f -
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-egress-to-istio-system-and-kube-dns
spec:
  podSelector: {}
  policyTypes:
  - Egress
  egress:
  - to:
    - namespaceSelector:
        matchLabels:
          kube-system: "true"
    ports:
    - protocol: UDP
      port: 53
  - to:
    - namespaceSelector:
        matchLabels:
          istio: system
EOF

  1. 重新发送前面的 HTTPS 请求到 https://edition.cnn.com/politics。 这次请求就不会成功了，这是因为流量被网络策略拦截了。sleep Pod 无法绕过 istio-egressgateway。 要访问 edition.cnn.com，只能通过 Istio Sidecar 代理，让流量经过 istio-egressgateway 才能完成。这种配置表明，即使一些恶意的 Pod 绕过了 Sidecar，也会被网络策略拦截，而无法访问到外部站点。

    $ kubectl exec "$(kubectl get pod -n test-egress -l app=sleep -o jsonpath={.items..metadata.name})" -n test-egress -c sleep -- curl -v -sS https://edition.cnn.com/politics
Hostname was NOT found in DNS cache
  Trying 151.101.65.67...
  Trying 2a04:4e42:200::323...
Immediate connect fail for 2a04:4e42:200::323: Cannot assign requested address
  Trying 2a04:4e42:400::323...
Immediate connect fail for 2a04:4e42:400::323: Cannot assign requested address
  Trying 2a04:4e42:600::323...
Immediate connect fail for 2a04:4e42:600::323: Cannot assign requested address
  Trying 2a04:4e42::323...
Immediate connect fail for 2a04:4e42::323: Cannot assign requested address
connect to 151.101.65.67 port 443 failed: Connection timed out

  2. 接下来在 test-egress 命名空间的 sleep Pod 上注入 Sidecar，启用 test-egress 命名空间的自动注入：

    $ kubectl label namespace test-egress istio-injection=enabled

  3. 重新部署 sleep：

    Zip
    $ kubectl delete deployment sleep -n test-egress
$ kubectl apply -f @samples/sleep/sleep.yaml@ -n test-egress

  4. 检查生成的 Pod，其中应该有了两个容器，其中包含了注入的 sidecar（istio-proxy）：

$ kubectl get pod "$(kubectl get pod -n test-egress -l app=sleep -o jsonpath={.items..metadata.name})" -n test-egress -o jsonpath='{.spec.containers[*].name}'
sleep istio-proxy

在 default 命名空间中创建一个与 sleep Pod 类似的目标规则，用来引导 test-egress 命名空间内的流量经过 Egress 网关：

$ kubectl apply -n test-egress -f - <<EOF
apiVersion: networking.istio.io/v1
kind: DestinationRule
metadata:
  name: egressgateway-for-cnn
spec:
  host: istio-egressgateway.istio-system.svc.cluster.local
  subsets:
  - name: cnn
EOF

  1. 向 https://edition.cnn.com/politics 发送 HTTP 请求，这次会成功，原因是网络策略允许流量流向 Egress 网关。 Gateway 最终把流量转发到 edition.cnn.com。

    $ kubectl exec "$(kubectl get pod -n test-egress -l app=sleep -o jsonpath={.items..metadata.name})" -n test-egress -c sleep -- curl -sS -o /dev/null -w "%{http_code}\n" https://edition.cnn.com/politics
200

  2. 检查 Egress 网关代理的日志。

如果 Istio 部署在 istio-system 命名空间，那么打印日志的命令就是：

$ kubectl logs -l istio=egressgateway -n istio-system

您应该会看到一行类似于下面这样的内容：

[2020-03-06T18:12:33.101Z] "- - -" 0 - "-" "-" 906 1352475 35 - "-" "-" "-" "-" "151.101.193.67:443" outbound|443||edition.cnn.com 172.30.223.53:39460 172.30.223.53:443 172.30.223.58:38138 edition.cnn.com -

清理网络策略

  1. 删除本节中建立的资源：
Zip
$ kubectl delete -f @samples/sleep/sleep.yaml@ -n test-egress
$ kubectl delete destinationrule egressgateway-for-cnn -n test-egress
$ kubectl delete networkpolicy allow-egress-to-istio-system-and-kube-dns -n test-egress
$ kubectl label namespace kube-system kube-system-
$ kubectl label namespace istio-system istio-
$ kubectl delete namespace test-egress
  1. 请参考清理 HTTPS 网关 一节的内容。

清理

关闭 sleep 服务：

Zip
$ kubectl delete -f @samples/sleep/sleep.yaml@
这些信息有用吗？
您是否有更多建议和改进意见？

感谢您的反馈！