监控面板全绿，用户却说网站打不开？Blackbox Exporter从外部验证服务到底能不能访问

前言

Prometheus里CPU、内存、进程状态全是绿色，并不代表用户真的能打开网站。服务进程可能还活着，但DNS、网络链路、端口、反向代理或上游连接中的任何一环出问题，外部访问依然可能失败。

这篇要补上的，就是传统内部指标之外那层“从用户视角看服务到底能不能访问”。Blackbox Exporter不会去读应用内部状态，而是主动向目标发起HTTP、TCP、ICMP等探测，再把可达性、响应结果和探测指标交给Prometheus。

正文会先在Ubuntu上运行Blackbox Exporter，再配置探测模块，并把HTTP目标和Ping目标接入Prometheus。这样不仅能看到某个服务有没有正常响应，还可以继续观察链路是否出现明显丢包。

后面还会给Ping监控增加告警规则，当一段时间内探测失败达到条件时，由Prometheus直接触发告警。这样“服务看起来活着”和“外部真的能访问”就不再混为一件事。

对于网站、API或依赖网络链路的服务来说，这一层监控尤其重要，因为“进程还在”与“用户能访问”本来就是两件不同的事。

最后再通过cpolar给Prometheus页面增加外部访问入口。整篇真正跑的是Blackbox从外部主动探测 → Prometheus采集探测结果 → HTTP/ICMP验证服务可达性 → 丢包异常触发告警 → 需要时远程查看监控页面这条链。

1.ubuntu安装Blackbox_Exporter监控数据

通过以下命令创建一个用于存放Blackbox_Exporter的目录 /app：

mkdir /app

进入到/app目录下：

cd /app

从prometheus官网下载压缩文件：https://prometheus.io/download/

下载适用于Linux系统的文件。

下载完成后记住下载路径。

手动上传到/app下载好的Blackbox_Exporter文件。

上传成功后解压：

tar -zxvf blackbox_exporter-0.27.0.linux-arm64.tar.gz

改名方便记忆：

mv blackbox_exporter-0.27.0.linux-arm64 blackbox_exporter

将Altermanager配置为系统服务:

cd /usr/lib/systemd/system

vim blackbox_exporter.service

[Unit]
Description=https://prometheus.io

[Service]
Restart=on-failure
ExecStart=/app/alertmanager –config.file=/app/alertmanager.yml

[Install]
WantedBy=multi-user.target

加载system文件，启动alertmanager这个服务，并设置开机启动：

systemctl daemon-reload
systemctl start blackbox_exporter.service
systemctl enable blackbox_exporter.service

启动成功后，访问blackbox_exporter，ip+9115，默认端口为 9115。

2.配置prometheus监控Blackbox_Exporter指标

服务进程正常但用户仍然连不上时，就需要继续从外部链路去验证可达性。这里使用 Prometheus + Blackbox Exporter 的 Ping 探测，把目标是否能连通以及链路是否出现明显丢包纳入监控。

以防万一怕操作错误，先把原来的配置文件先备份，之后配置配置文件：

mv blackbox.yml blackbox.yml
vi blackbox.yml

modules:
http_2xx:
prober: http
http_post_2xx:
prober: http
http:
method: POST
tcp_connect:
prober: tcp
pop3s_banner:
prober: tcp
tcp:
query_response:
– expect: "^+OK"
tls: true
tls_config:
insecure_skip_verify: false
ssh_banner:
prober: tcp
tcp:
query_response:
– expect: "^SSH-2.0-"
irc_banner:
prober: tcp
tcp:
query_response:
– send: "NICK prober"
– send: "USER prober prober prober :prober"
– expect: "PING :([^ ]+)"
send: "PONG ${1}"
– expect: "^:[^ ]+ 001"
icmp:
prober: icmp
icmp:
prober: icmp
timeout: 5s
icmp:
preferred_ip_protocol: "ip4"

重新启动black_exporter服务：

systemctl restart blackbox_exporter.service

修改prometheus配置文件：

vi prometheus.yml

添加告警配置（添加自己想监控的地址）：

– job_name: "http"
metrics_path: /probe
scrape_interval: 60s
params:
module: [http_2xx]
static_configs:
– targets:
– http://192.168.50.134:9100/
relabel_configs:
– source_labels: [__address__]
target_label: __param_target
– source_labels: [__param_target]
target_label: instance
– target_label: __address
replacement: 192.168.50.134:9115

– job_name: 'ping_monitor'
metrics_path: /probe
params:
module: [icmp]
static_configs:
– targets:
– www.baidu.com
– www.google.com
relabel_configs:
– source_labels: [__address__]
target_label: __param_target
– source_labels: [__param_target]
target_label: instance
– target_label: __address__
replacement: 192.168.50.134:9115

重启prometheus服务后，可以查看到我们添加的指标;

配置告警规则：

groups:
– name: icmp-loss-alerts
rules:
– alert: HighPingLossRate
expr: |
1 – avg_over_time(probe_success{job="ping_monitor"}[5m]) > 0.5
for: 2m
labels:
severity: warning
annotations:
summary: "高 Ping 丢包率 (实例: {{ $labels.instance }})"
description: "目标 {{ $labels.instance }} 在过去 5 分钟内的 Ping 丢包率超过 50%（当前丢包率: {{ $value | printf \\"%.2f\\" }}）"