日志散在多台服务器太难查？我用Promtail+Loki+Grafana集中起来

日志散在多台服务器太难查？我用Promtail+Loki+Grafana集中起来

前言

我平时查日志最怕的不是“没有日志”，而是日志散在不同机器、不同目录和不同服务里。单台服务器出问题时，SSH 上去 tail、grep 还能应付；服务一多，想把同一时间段的异常串起来，就很容易在几个终端之间来回切。

如果只是中小规模环境，我又不太想为了集中查日志先上一个很重的系统。于是这次把 Promtail + Loki + Grafana 这套 PLG 组合完整跑了一遍：Promtail 负责采集，Loki 负责集中保存和检索，Grafana 负责统一查看，重点就是把“到处翻日志”变成“在一个页面里查”。

这篇保留原有的 CentOS 7 部署、配置、Docker 方式和真实日志模拟过程，重点看三件事：日志能不能稳定采集、不同服务能不能统一查询、人在外面时能不能继续打开 Grafana 排查问题。

1.Promtail + Loki + Grafana可以做什么？

集中化日志收集

• Promtail作为日志采集代理，可部署在每台服务器上，实时监控指定路径的日志文件（如/var/log/*.log、应用日志、容器日志等）。
• 支持自动发现、多行日志合并、标签注入，便于后续分类查询。

高效低成本的日志存储

• Loki是日志聚合系统，不索引日志全文，而是基于 标签（labels） 廻溯日志流（类似 Prometheus 的时间序列模型）。
• 日志内容以压缩块形式存储，可使用本地磁盘、对象存储（如S3、MinIO）等后端，存储成本远低于 ELK。
• 特别适合“先过滤再查内容”的使用模式，对大多数运维和排错场景已足够高效。

强大的日志查询与分析

• 使用 LogQL（Loki Query Language），一种类似 PromQL 的查询语言，支持：
  • 过滤：{job=“app”} |= “error”
  • 正则匹配：{job=“nginx”} |~ “404|500”
  • 统计：rate({job=“api”}[5m])
  • 提取结构化字段（通过解析表达式）
• 可进行日志速率统计、错误趋势分析、关键词告警等。

无缝集成Grafana，实现统一可视化

• Grafana 原生支持 Loki 数据源，无需插件。
• 在同一个面板中，可将日志（Loki）、指标（Prometheus）、链路（Tempo）联动展示，构建完整的可观测性视图。
• 支持：
  • 实时日志流查看
  • 日志与 CPU/内存等指标关联分析
  • 创建日志告警规则（通过 Grafana Alerting）
  • 构建运维仪表盘（如“近1小时错误日志 Top 10”）

典型应用场景

• 微服务日志集中管理：统一收集多个服务实例的日志，按服务名、环境、版本等标签快速筛选。
• 容器/ Kubernetes 日志：通过 DaemonSet 部署 Promtail，收集 Pod 日志并打上 namespace、pod 名等标签。
• 系统运维排障：快速定位某台服务器在特定时间段内的异常日志（如 SSH 登录失败、服务崩溃）。
• 安全审计：监控关键日志（如 sudo 操作、防火墙拒绝记录）并设置告警。
• 轻量级替代 ELK：在不需要全文搜索或复杂分析的场景下，PLG 更节省资源、更易维护。

优势总结

2.环境准备

• 操作系统：CentOS Linux release 7.x（建议最小安装）
• 用户权限：root 或具有 sudo 权限的用户
• 网络：确保服务器可访问外网（用于下载软件包）
• 建议关闭防火墙或开放相应端口（3100、9080、3000）：

systemctl stop firewalld
systemctl disable firewalld
# 或使用 iptables/firewalld 开放端口

安装必要工具

yum update -y
yum install -y wget tar curl vim net-tools

创建专用用户（可选但推荐）

useradd -r -s /sbin/nologin loki

3.下载并安装Loki

下载Loki二进制文件（以v3.0.0为例，请根据 官方 GitHub 替换最新版）

cd /app/loki
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip"

解压该压缩文件：

unzip loki-linux-amd64.zip

在日志服务器 上创建目录，用于文件存储和索引存储。

mkdir /data/loki
mkdir /data/loki/{chunks,index}

配置文件config.yaml

vi config.yaml

auth_enabled: false
server:
http_listen_port: 8094
ingester:
lifecycler:
address: 192.168.42.140 #日志服务器ip，即本机地址
ring:
kvstore:
store: inmemory
replication_factor: 1
final_sleep: 0s
chunk_idle_period: 5m
chunk_retain_period: 30s
schema_config:
configs:
– from: 2024-04-01
store: boltdb
object_store: filesystem
schema: v11
index:
prefix: index_
period: 168h #每张表的时间范围7天
storage_config:
boltdb:
directory: /data/loki/index #索引文件存储地址
filesystem:
directory: /data/loki/chunks #块存储地址
limits_config:
enforce_metric_name: false
reject_old_samples: true
reject_old_samples_max_age: 168h
chunk_store_config:
max_look_back_period: 168h

table_manager:
retention_deletes_enabled: true
retention_period: 168h #表的保留期7天

创建启动脚本start.sh和关闭脚本shutdown.sh

vi start.sh

#!/bin/bash
nohup ./loki-linux-amd64 -config.file=./config.yaml >./server.log 2>&1 &
echo "$!" > pid

vi shutdown.sh

#!/bin/bash
kill -9 `cat pid`
echo "关闭成功!"

执行并查看日志

sh start.sh

tail -200f server.log

4.下载并安装grafana

首先关闭centos防火墙和selinux

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

安装grafana：

Ubuntu and Debian(64 Bit):

sudo apt-get install -y adduser libfontconfig1 musl
wget https://dl.grafana.com/enterprise/release/grafana-enterprise_12.1.0_amd64.deb
sudo dpkg -i grafana-enterprise_12.1.0_amd64.deb

Standalone Linux Binaries(64 Bit):

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-12.1.0.linux-amd64.tar.gz
tar -zxvf grafana-enterprise-12.1.0.linux-amd64.tar.gz

Red Hat, CentOS, RHEL, and Fedora(64 Bit):

sudo yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-12.1.0-1.x86_64.rpm

OpenSUSE and SUSE(64 Bit):

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-12.1.0-1.x86_64.rpm
sudo rpm -Uvh grafana-enterprise-12.1.0-1.x86_64.rpm

我用的是CentOS在这里:

sudo yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-12.1.0-1.x86_64.rpm

启动grafana，并设置其开机自启:

systemctl restart grafana-server
systemctl enable grafana-server

查看已安装的grafana版本号：

grafana-cli -version

浏览器打开服务器的3000端口，如：http://ip:3000/

ip:3000

第一次登录，默认账号密码：admin/admin

认证后修改密码：

然后就登录成功啦！

5.下载并安装 promtail

在服务器上创建目录 /app/promtail用于安装promtail

cd /app/promtail
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip"

解压该压缩文件：

unzip promtail-linux-amd64.zip

配置文件promtail.yaml

vi promtail.yaml

server:
http_listen_port: 9080
grpc_listen_port: 0

positions:
filename: ./positions.yaml

clients:
– url: http://192.168.42.140:8094/loki/api/v1/push #日志服务器loki地址和端口

scrape_configs:
#ucenter1
– job_name: zcbackend-172.29.21.22-1
static_configs:
– targets:
– 192.168.42.140
– labels:
job: zcbachend-172.29.21.22-1
host: 192.168.42.140
__path__: /jiuqi/zichan/zichanyitihuazhenghexiangmu-8084/backend/server.log #本机日志路径

创建启动脚本start.sh和关闭脚本shutdown.sh

vi start.sh

#!/bin/bash
nohup ./promtail-linux-amd64 -config.file=./promtail.yaml >./server.log 2>&1 &
echo "$!" > pid

vi shutdown.sh

执行并查看日志

sh start.sh

tail -200f server.log

6.docker一键部署Loki+grafana+promtail

本文也可以选择docker一键部署

在开始部署之前，确保你的系统已经安装了Docker。可以通过以下命令检查Docker是否已安装：

docker –version

首先创建一下安装的目录并进入到该目录：

mkdir -p /docker/do
chmod -R 777 /do

执行前准备：

mkdir -p /docker/do/loki
# 创建配置文件
cat > /docker/do/loki/config.yml <<EOF
auth_enabled: false

server:
http_listen_port: 3100

common:
path_prefix: /tmp/loki
storage:
filesystem:
directory: /tmp/loki/chunks
replication_factor: 1
ring:
kvstore:
store: inmemory

schema_config:
configs:
– from: 2020-10-24
store: boltdb-shipper
object_store: filesystem
schema: v11
index:
prefix: index_
period: 24h
EOF

# 创建目录
mkdir -p /docker/do/promtail

# 创建配置文件
# 创建配置文件
cat > /docker/do/promtail/config.yml <<EOF
server:
http_listen_port: 9080
grpc_listen_port: 0

positions:
filename: /tmp/positions.yaml

clients:
– url: http://loki:3100/loki/api/v1/push

scrape_configs:
– job_name: system
static_configs:
– targets:
– localhost
labels:
job: varlogs
__path__: /var/log/*.log
– job_name: test
static_configs:
– targets:
– localhost
labels:
job: test
__path__: /var/log/test.log
EOF

创建并编辑 docker-compose.yml文件：

vi docker-compose.yml

version: "3"

networks:
loki:

services:
loki:
image: grafana/loki:2.9.10
ports:
– "3100:3100"
volumes:
– ./loki/config.yml:/etc/loki/config.yml # 👈 挂载配置
command: -config.file=/etc/loki/config.yml # 👈 路径匹配
networks:
– loki

promtail:
image: grafana/promtail:2.9.10
volumes:
– /var/log:/var/log
– ./promtail/config.yml:/etc/promtail/config.yml # 👈 挂载配置
command: -config.file=/etc/promtail/config.yml # 👈 路径匹配
networks:
– loki
user: "root" # 👈 关键！避免权限问题

grafana:
environment:
– GF_PATHS_PROVISIONING=/etc/grafana/provisioning
– GF_AUTH_ANONYMOUS_ENABLED=true
– GF_AUTH_ANONYMOUS_ORG_ROLE=Admin
entrypoint:
– sh
– -euc
– |
mkdir -p /etc/grafana/provisioning/datasources
cat <<EOF > /etc/grafana/provisioning/datasources/ds.yaml
apiVersion: 1
datasources:
– name: Loki
type: loki
access: proxy
orgId: 1
url: http://loki:3100
basicAuth: false
isDefault: true
version: 1
editable: false
EOF
/run.sh
image: grafana/grafana:latest
ports:
– "3000:3000"
networks:
– loki

启动容器：

docker-compose up -d

部署成功：

7.测试

登录到grafana主页

添加数据源

搜索loki

测试连接

现在验证日志是否真的被采集

确保测试日志有内容

echo "Test log entry at $(date)" >> /var/log/test.log

用正确语法查询

curl -g 'http://localhost:3100/loki/api/v1/query?query={job="test"}&limit=5'

如果看到 values 数组中有内容，说明 日志已成功从 Promtail → Loki！

• 打开浏览器访问：http://<你的服务器IP>:3000
• 进入Explore
• 数据源选择 Loki
• 在查询框输入：

{job="test"}

• 点击 Run query
• 你应该能看到日志！

8.模拟真实应用

准备结构化日志

# 模拟一个 Web 服务日志
cat > /var/log/app.json <<'EOF'
{"level":"info","ts":"2026-06-04T12:00:00Z","msg":"User login","user_id":1001,"ip":"192.168.1.10","method":"POST","path":"/login","status":200}
{"level":"error","ts":"2026-06-04T12:01:05Z","msg":"DB timeout","user_id":1002,"ip":"192.168.1.11","method":"GET","path":"/profile","status":500,"error":"context deadline exceeded"}
{"level":"warn","ts":"2026-06-04T12:02:30Z","msg":"Rate limit hit","user_id":1003,"ip":"192.168.1.12","method":"POST","path":"/api/v1/send","status":429}
EOF

😎Loki本身不解析JSON，但可以通过Promtail的pipeline提取字段作为标签或结构化日志内容。

升级Promtail配置：支 JSON 解 + 标签提取

编辑/docker/do/promtail/config.yml：

server:
http_listen_port: 9080
grpc_listen_port: 0

positions:
filename: /tmp/positions.yaml

clients:
– url: http://loki:3100/loki/api/v1/push

scrape_configs:
– job_name: test
static_configs:
– targets:
– localhost
labels:
job: test
__path__: /var/log/test.log

– job_name: app-json
pipeline_stages:
– json:
expressions:
level: level
msg: msg

static_configs:
– targets:
– localhost
labels:
job: app
__path__: /var/log/app.json

• 这样：level 和 status 会变成 可查询的标签
• 原始 JSON 内容仍保留在日志行中

然后重启 Promtail：

docker-compose restart promtail

高级 LogQL 查询测试

使用解析表达式（在 Grafana 中更强大）

虽然 API 不直接支持，但在 Grafana Explore 中可以写：

{job="app"} | json | level = "error"

或

{job="app"} | json | status >= 500

统计请求量（LogQL 聚合）

在 Grafana 中运行：

sum by (path) (
count_over_time({job="app"}[5m])
)

多日志源测试

# 模拟 nginx 日志
echo '192.168.1.10 – – [04/Jun/2026:12:10:00 +0000] "GET /api/v1/data HTTP/1.1" 200 1024' >> /var/log/nginx-access.log

# 模拟 auth 服务日志
echo "$(date -Iseconds) [AUTH] User 1001 logged in from 192.168.1.10" >> /var/log/auth.log

然后在 promtail/config.yml 中增加：

server:
http_listen_port: 9080
grpc_listen_port: 0

positions:
filename: /tmp/positions.yaml

clients:
– url: http://loki:3100/loki/api/v1/push

scrape_configs:
– job_name: test
static_configs:
– targets: [localhost]
labels:
job: test
__path__: /var/log/test.log

– job_name: app-json
pipeline_stages:
– json:
expressions:
level: level
msg: msg
static_configs: # ← 必须在这里！
– targets: [localhost]
labels:
job: app
__path__: /var/log/app.json

– job_name: nginx
static_configs:
– targets: [localhost]
labels:
job: nginx
__path__: /var/log/nginx-access.log

– job_name: auth
static_configs:
– targets: [localhost]
labels:
job: auth
__path__: /var/log/auth.log

重启后，你可以在 Grafana 中：

• 切换不同 job
• 跨服务关联查询（如：先查 auth 登录，再查 nginx 访问）

本地把日志链路跑通以后，下一步才是远程访问。Grafana 默认还是内网里的页面，如果我人在外面临时要查一次日志或看一下异常，就需要额外的外部访问入口。下面继续按原教程用 cpolar 把 Grafana 页面映射出去。

9.安装cpolar实现随时随地开发

9.1 什么是cpolar？

cpolar是一款安全高效的内网穿透工具，无需公网IP或复杂配置，只需一条命令，即可将本地服务器、Web服务或任意端口映射到公网，让你随时随地远程访问内网应用，特别适合开发调试、远程运维和应急部署等场景。

9.2 部署cpolar

cpolar 可以将你本地电脑中的服务（如 SSH、Web、数据库）映射到公网。即使你在家里或外出时，也可以通过公网地址连接回本地运行的开发环境。

❤️以下是安装cpolar步骤：

sudo curl https://get.cpolar.sh | sh

安装完成后，执行下方命令查看cpolar服务状态：（如图所示即为正常启动）

sudo systemctl status cpolar

Cpolar安装和成功启动服务后，在浏览器上输入虚拟机主机IP加9200端口即:【http://192.168.42.101:9200】访问Cpolar管理界面，使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可：

打开浏览器访问本地9200端口，使用cpolar账户密码登录即可,登录后即可对隧道进行管理。

10.配置公网地址

登录cpolar web UI管理界面后,点击左侧仪表盘的隧道管理——创建隧道：

• 隧道名称：可自定义，本例使用了:grafana，注意不要与已有的隧道名称重复
• 协议：http
• 本地地址：3000
• 域名类型：随机域名
• 地区：选择China Top

创建成功后，打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了公网地址，接下来就可以在其他电脑或者移动端设备（异地）上，使用地址访问。

访问成功。

11.保留固定公网地址

使用cpolar为其配置二级子域名，该地址为固定地址，不会随机变化。

点击左侧的预留，选择保留二级子域名，地区选择china top，然后设置一个二级子域名名称，我这里演示使用的是grafana3，大家可以自定义。填写备注信息，点击保留。

登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道grafana，点击右侧的编辑。

修改隧道信息，将保留成功的二级子域名配置到隧道中

• 域名类型：选择二级子域名
• Sub Domain：填写保留成功的二级子域名
• 地区: China Top

点击更新

更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。

最后，我们使用固定的公网地址在任意设备的浏览器中访问，可以看到成功访问本地部署的grafana页面，这样一个永久不会变化的二级子域名公网网址即设置好了。

总结

这套 PLG 跑下来，我最看重的不是多了一个漂亮的 Grafana 页面，而是日志终于不用再散着查了。

Promtail 把不同来源的日志收进来，Loki 负责集中存储和查询，Grafana 则把检索和展示放到同一个入口。对服务数量不算特别夸张、又希望把日志管理做得轻一些的环境来说，这种组合很适合先把日常排障流程统一起来。

如果只是坐在服务器旁边，本地访问已经够用；但真正遇到临时故障时，人往往不一定在现场。把远程入口配好之后，这套日志系统的价值才更完整：需要查问题时，不再先想“日志在哪台机器”，而是直接打开一个页面开始定位。