准大二学生从0开始学AI——机器学习Day20

—

type: daily_note

title: 异常检测 —— 从聚类收尾到异常检测算法与评估

date: 2026-08-12

person: 吴恩达

phase: "2.3"

day: Day 12

topics:

  [选择聚类数, 异常检测动机, 高斯分布, 异常检测算法, 开发与评估异常检测系统]

—

# 2026-08-12 学习笔记

## 笔记区

### 核心观点

– **#107 选择聚类数**：K 怎么选？先画肘部法则看有没有明显拐点；有拐点就选拐点处，没拐点别硬找，按业务需求定 K（想要几类分几类）

– **#108 异常检测动机**：数据绝大多数正常、极少量异常时，用密度估计自动揪出异常——欺诈检测、制造缺陷、设备故障预警都是这种场景

– **#109 高斯（正态）分布**：均值 μ 定曲线中心（左右移），方差 σ² 定胖瘦（越大越扁平、越小越尖）。约 99.7% 的概率落在均值 ±3σ 内

– **#110 异常检测算法**：①每个特征算 μ_j、σ_j² ②把样本在各特征的高斯密度相乘得 p(x) ③p(x) < ε 判异常。ε 不是固定 3σ，是用验证集调出来的松紧线

– **#111 开发与评估**：训练集只用正常样本（学"正常长什么样"）；交叉验证集、测试集里放一些异常；用精确率/召回率评估（异常极少，看准确率会假性满分）

– **3σ 与 p(x) 的区别**：3σ 是单特征"离均值远不远"的直觉；p(x) 是所有特征组合的联合稀有程度。单用 3σ 会漏掉"每个特征都正常但组合很反常"的样本

### 关键方法/流程

**异常检测算法：**

```

1. 对每个特征 x_j，算均值 μ_j 和方差 σ_j²

2. 对样本 x，算它在每个特征上的高斯密度，全部乘起来得到 p(x)

3. p(x) < ε → 判为异常；否则正常

   （ε 用带标签的验证集试几个值，选"真凶抓得多、误伤少"的那个）

```

**数据划分：**

– 训练集：全部正常样本

– 交叉验证集：正常样本 + 异常样本（用来调 ε）

– 测试集：正常样本 + 异常样本（用来最终评估）

### 实战记录

  – #107 选择聚类数："没拐点就自己看着办，怎么分合适怎么来"

  – #108 异常检测场景：——P(x)＜ε，视频中是"拿一堆数据一圈一圈画出来，圈外的是异常值"

  – #109 高斯分布："μ是平均值，σ（西格玛）是管高矮胖瘦的，它越大越扁平"

  – #110 算法重考："把特征的概率算出来，最后把一个数据的所有特征概率乘起来与ε比较"

  – #111 评估：训练集只用正常样本、之后看精确率/召回率

– 希腊字母：ε=艾普西龙、σ=西格玛、μ=缪

—

## 线索区（学完后合上材料，自问自答）

**Q: K 选几个？肘部法则怎么用？**

A: 先画代价曲线看有没有明显拐点；有就选拐点，没拐点按业务需求定 K。"没拐点就自己看着办，怎么分合适怎么来"。

**Q: 异常检测适合什么数据？**

A: 绝大多数正常 + 极少量异常，想自动找出异常（欺诈、缺陷、故障）。

**Q: μ 和 σ² 各管什么？**

A: μ（缪）管中心位置，σ²（西格玛平方）管胖瘦——σ² 越大曲线越扁越宽。"μ是平均值，σ是管高矮胖瘦的"。

**Q: 一个样本怎么判定是不是异常？**

A: 每个特征算 μ_j、σ_j²，把样本在各特征的高斯密度相乘得 p(x)，p(x) < ε 判异常。注意：不是"3σ之外"，是 p(x) 低于调出来的阈值 ε。

**Q: ε 怎么来的？**

A: 用带真答案的验证集试几个 ε，选"真异常抓得多、误伤正常样本少"的那个。

**Q: 异常检测系统怎么评估？**

A: 训练集全正常；验证/测试集含异常；看精确率（抓出的异常里多少真异常）和召回率（真异常抓出多少）。异常极少时看准确率会假性满分。

—

## 总结（50字以内，用自己的话概括今天学到了什么）

C3 无监督学习第二章：异常检测。每个特征高斯建模，p(x) 相乘再和 ε 比，p(x)<ε 判异常；ε 用验证集调，精确率/召回率评估。

—

## 复习卡片

| 概念 | 一句话 | 我的场景 |

| ———— | ———————————————- | ———————— |

| 选择聚类数 | 有拐点用肘部，没拐点按业务需求 | "没拐点就自己看着办" |

| 异常检测场景 | 大量正常 + 极少异常，自动揪异常 | 电池退化预警 |

| 高斯分布 | μ 管位置，σ² 管胖瘦 | "管高矮胖瘦" |

| p(x) | 各特征高斯密度相乘 = 综合正常程度 | "概率乘起来和ε比" |

| ε | 松紧线，验证集调出来的 | "衣服C罗" |

| 3σ vs p(x) | 3σ 看单特征，p(x) 看联合 | "一圈一圈画，圈外是异常" |

| 评估 | 训练集全正常，验证/测试含异常，看精确率/召回率 | 准确率会假性满分 |