【20年架构师总结】20250814---Shell脚本017-sed和awk分析日志实例

文章目录

• • • 一、用awk统计特定状态码的IP数量（高级技巧）
    • • 1. 基础统计方法
      • 2. 多状态码联合统计
      • 3. 带时间范围的状态码统计
      • 4. 统计并计算百分比
    • 二、用sed处理嵌套多行结构（高阶技巧）
    • • 1. 处理JSON嵌套结构
      • 2. 提取HTML标签内容
      • 3. 处理代码块注释
      • 4. 复杂多行日志解析
    • 三、结合sed和awk分析日志（综合实战）
    • • 1. 先sed预处理再awk分析
      • 2. 多阶段处理流程
      • 3. 错误日志关联分析
      • 4. 实时日志监控分析（管道结合）
    • 四、性能优化与注意事项
    • 完整IP统计柱状图生成脚本
    • 脚本功能说明：
    • 使用建议：
    • 输出示例：

一、用awk统计特定状态码的IP数量（高级技巧）

1. 基础统计方法

# 统计404状态码的IP及次数
awk \’$9 == 404 {ip[$1]++} END {
for(i in ip) print i, ip[i]
}\’ access.log | sort -k2 -nr

2. 多状态码联合统计

# 同时统计多个错误状态码(404,500等)
awk \’$9 ~ /^(404|500|503)$/ {
stat[$1][$9]++
} END