查看不到指标

阅读大约需要 2 分钟

以下过程可帮助你诊断你希望看到某些指标但却收集不到的问题。

收集指标的正确流程为：

Envoy 批量将请求中的属性异步报告给 Mixer。
Mixer 根据操作者提供的配置，将属性转换为实例。
Mixer 将实例交给 mixer adapter 进行处理和后端存储。
后端存储系统记录指标数据。

Mixer 默认安装了一套包括 Prometheus adapter 和用于生成一组默认指标的配置，并将它们发送到 Prometheus adapter。Prometheus adapter 配置使 Prometheus 实例可以抓取 Mixer 以获取指标。

如果 Istio Dashboard 或 Prometheus 查询未显示预期的指标，则上述流程的任何步骤都可能会出现问题。以下部分提供了对每个步骤进行故障排除的说明。

确认 Mixer 可以收到指标报告的调用

Mixer 会生成指标来监控它自身行为。第一步是检查这些指标：

建立与 mixer 自监控 endpoint 的连接以进行 Istio 遥测部署。在 Kubernetes 环境中，执行以下命令：
```
$ kubectl -n istio-system port-forward <istio-telemetry pod> 15014 &
```
查看成功的返回，在 Mixer 的自监控 endpoint 上，搜索 grpc_server_handled_total。你应该能看到类似的东西：
```
grpc_io_server_completed_rpcs{grpc_server_method="istio.mixer.v1.Mixer/Report",grpc_server_status="OK"} 2532
```
如果你没有看到带有 grpc_method="Report" 的 grpc_server_handled_total 的任何数据，则 Envoy 就没有调用 Mixer 来报告遥测数据。
在这种情况下，确保已经将服务正确地集成到服务网格中。您可以使用自动或手动注入 sidecar 来完成这个目标。

验证 Mixer 规则是否存在

在 Kubernetes 环境中，执行以下命令：

$ kubectl get rules --all-namespaces
NAMESPACE      NAME                      AGE
istio-system   kubeattrgenrulerule       4h
istio-system   promhttp                  4h
istio-system   promtcp                   4h
istio-system   promtcpconnectionclosed   4h
istio-system   promtcpconnectionopen     4h
istio-system   tcpkubeattrgenrulerule    4h

如果输出显示没有名为 promhttp 或 promtcp 的规则，则缺少将 mixer 指标实例发送到 Prometheus adapter 的 Mixer 配置。你必须提供将 Mixer 指标实例连接到 Prometheus handler 的规则配置。

作为参考，请参阅 Prometheus 的默认规则。

验证 Prometheus handler 配置是否存在

在 Kubernetes 环境中，执行以下命令：

$ kubectl get prometheuses.config.istio.io --all-namespaces
NAMESPACE      NAME      AGE
istio-system   handler   13d

根据您的 Istio 安装是全新安装还是升级，您可能还需要执行以下命令：

$ kubectl get handlers.config.istio.io --all-namespaces
NAMESPACE      NAME            AGE
istio-system   kubernetesenv   4h
istio-system   prometheus      4h

如果输出未显示已配置的 Prometheus handler，则必须重新在 Mixer 配置适当的 handler。

有关参考，请参阅 Prometheus 的默认 handler 配置。

验证 Mixer 指标实例配置是否存在

在 Kubernetes 环境下，执行以下命令：

$ kubectl get metrics.config.istio.io --all-namespaces
$ kubectl get instances -o custom-columns=NAME:.metadata.name,TEMPLATE:.spec.compiledTemplate

如果输出未显示已配置的 Mixer 指标实例，则必须使用相应的实例配置重新配置 Mixer。

有关参考，请参阅 Mixer 指标的默认实例配置。

验证没有配置错误

要建立与 Istio 遥测自监控 (istio-telemetry self-monitoring) endpoint 的连接，像上面确认 Mixer 可以收到指标报告的调用描述那样，设置一个到 Istio 遥测自监控 endpoint 的 port forward。
确认以下的指标的最新的值是0：
- mixer_config_adapter_info_config_errors_total
- mixer_config_template_config_errors_total
- mixer_config_instance_config_errors_total
- mixer_config_rule_config_errors_total
- mixer_config_rule_config_match_error_total
- mixer_config_unsatisfied_action_handler_total
- mixer_config_handler_validation_error_total
- mixer_handler_handler_build_failures_total

在显示 Mixer 自监控 endpoint 的页面上，搜索上面列出的每个指标。如果一切配置正确，您不应该找到这些指标的任何值。

如果这些度量标准中的任何一个具有值，请确认具有最大配置标识的度量标准值为 0。这将验证 Mixer 在处理提供的最新配置时未生成任何错误。

验证 Mixer 可以将指标实例发送到 Prometheus adapter

要建立与 Istio 遥测自监控 (istio-telemetry self-monitoring) endpoint 的连接，像上面确认 Mixer 可以收到指标报告的调用描述那样，设置一个到 Istio 遥测自监控 endpoint 的 port forward。

在 Mixer 自监控 endpoint 上，搜索 mixer_runtime_dispatch_count。输出应该大致是：

mixer_runtime_dispatches_total{adapter="prometheus",error="false",handler="prometheus.istio-system",meshFunction="metric"} 2532

确认 mixer_runtime_dispatch_count 的值是：
```
adapter="prometheus"
error="false"
```
如果你找不到发送到 Prometheus adapter 的记录，这很可能是配置不正确。下面这几个步骤可以用来确保配置正确。
如果发送到 Prometheus adapter 的报告有错误，检测 Mixer 的日志，可以看到错误的来源。最可能的原因是配置问题，可以通过 handler 展示的 mixer_runtime_dispatch_count 指标看出问题。
在 Kubernetes 环境，通过执行以下命令查看 mixer 日志：
```
$ kubectl -n istio-system logs <istio-telemetry pod> -c mixer
```

验证 Prometheus 配置

连接到 Prometheus UI 界面
验证是否可以通过 UI 成功查看到 mixer。

在 Kubernetes 环境中，使用以下命令设置 port forward：

$ kubectl -n istio-system port-forward $(kubectl -n istio-system get pod -l app=prometheus -o jsonpath='{.items[0].metadata.name}') 9090:9090 &

访问 http://localhost:9090/targets
确认 target istio-mesh 的状态是 UP。
访问 http://localhost:9090/config

确认存在的 entry 大概是下面这样：

- job_name: 'istio-mesh'
# Override the global default and scrape targets from this job every 5 seconds.
scrape_interval: 5s
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['istio-mixer.istio-system:42422']</td>