网硕互联帮助中心摘要：
当大型语言模型（LLM）在文本世界的能力趋于成熟时，人工智能的下一个前沿阵地正转向一个更复杂、更具人性的维度——语音。本文基于李宏毅教授的最新课程，系统地梳理了“语音语言模型”（Spoken Language Model, SLM）的发展历程与核心技术。文章首先揭示了语音相比于文字的独特挑战与丰富信息，并展示了前沿语音模型的惊艳交互能力。接着，深入剖析了构建SLM的核心难题：如何将连续的音频波形转换为离散的“语音令牌”（Speech Token）。文章详细介绍了混合文字与语音的生成策略、解决两者“步调不一”的对齐困境，并重点介绍了一种名为TASTE的革命性分词器。最后，本文描绘了从预训练“语音接龙”到构建一个能同时听说（Full-Duplex）的完整语音智能体的技术蓝图。
1. 超越文字：语音语言模型（SLM）的挑战与魅力
我们已经习惯于通过文字与AI进行交互，但真正的交流远不止于此。一个真正的语音语言模型（SLM），其目标是让AI不仅能“看懂”文字，更能“听懂”并“说出”带有丰富情感和个性的声音。
1.1 为何需要语音模型？—— “你真棒”的言外之意
语音相比文字，承载了指数级增长的信息。文字模型处理的是语义信息，而语音模型还必须解码隐藏在声音中的副语言信息（Paralinguistic Information）。
- 例子：
- 当一个人用真诚、上扬的语调说“你实在是真的好棒哦”，这句是赞美。
- 当同一个人用平淡、拖长的语调说出完全相同的文字时，这可能就成了讽刺。
一个纯文本模型无法分辨这两种天差地别的意图，它会丢失说话人的情绪、语气、身份甚至所处的环境音等关键信息。一个合格的SLM，则必须能够捕捉到这些“言外之意”。
1.2 实时交互的惊艳：前沿模型一览
近年来，SLM取得了长足的进步。除了广为人知的ChatGPT Voice Mode和Gemini Live，市面上涌现了MOSHI、Gonzo、Steos等众多模型。其中，李宏毅教授现场演示的 Sesame AI 的表现尤为亮眼，它能够进行极其流畅、低延迟、可随时打断的实时对话，甚至能在对话中展现出独特的“个性”，这预示着语音交互的体验正在发生质的飞跃。
2. 核心难题：如何将声音“切”成令牌（Token）？
构建SLM的整个技术图谱，可以类比于我们熟悉的文本LLM。文本模型玩的是“文字接龙”游戏，而语音模型玩的是“语音接龙”游戏。这一切的基石，在于如何定义和提取最基本的单元——语音令牌（Speech Token）。
这个问题可以归结为解决两个关键组件：
2.1 两个极端与中间道路
如何设计这个分词器？历史上曾出现过两个极端的想法：
-
极端一：直接用文字当令牌。
- Tokenizer = 语音转文字（STT）系统。
- Detokenizer = 文字转语音（TTS）系统。
- 问题： 这条路虽然简单，但回到了原点——所有语音中的非文字信息全部丢失。
-
极端二：直接用原始采样点当令牌。
- Tokenizer = 无，直接使用原始音频采样点。
- 问题： 序列长度会变得天文数字。一秒钟的通话级音频就有8000个采样点，一分钟的对话将产生近50万个令牌，这对于目前的自回归模型来说是无法承受的计算负担。
因此，真正的解决方案必须走一条中间道路：既能有效压缩音频数据，缩短序列长度，又能最大程度地保留声音中的关键信息。
2.2 两大技术流派：SSL编码器与神经语音编解码器
当前，主流的语音分词器技术主要分为两大流派：
基于自监督学习（SSL）编码器的方法：
- 首先使用一个在海量无标注语音数据上预训练好的强大SSL模型（如HuBERT），将音频转换为一串连续的向量表示（通常每20毫秒一个向量）。
- 然后通过向量量化（Vector Quantization, VQ）等聚类技术，将这些连续的向量映射为离散的令牌ID。
- 这种方法产生的令牌常被（不甚准确地）称为语义令牌，它们更接近于语音学中的“音素”（Phoneme），而非真正的语义。
神经语音编解码器（Neural Speech Codec）：
- 将Tokenizer（编码器）和Detokenizer（解码器）作为一个整体进行端到端的训练。
- 其训练目标是让解码器还原出的音频与输入音频之间的差异尽可能小。
- 这类方法产生的令牌常被称为**“声学令牌”（Acoustic Token）。为了更精细地表示声音，现代编解码器通常会使用多组并行的令牌流**，分别对声音的不同层面（如内容、音色、韵律）进行建模。
3. “双轨并行”：文字与语音的混合生成策略
为了让语音模型继承现有文本LLM强大的知识和推理能力，现代SLM的构建思路并非从零开始，而是基于一个强大的预训练文本LLM进行改造。
这就引入了一个新的范式：让模型在生成时，同时输出文字令牌和语音令牌。文字令牌可以看作是模型的“内心独白”或“草稿”，用来指导更复杂的语音令牌的生成。
3.1 对齐的困境：当文字与语音“步调不一”
这个“双轨并行”的策略面临一个巨大挑战：文字令牌序列和语音令牌序列的长度天差地别，且对应关系复杂。一个文字令牌（如一个单词）可能对应十几个甚至几十个语音令牌。如何让它们“步调一致”地生成？
- 策略一：序贯生成。 先生成全部文字，再根据文字生成全部语音。这类似于传统的TTS，简单但延迟高，无法实时交互。
- 策略二：交错生成。 生成一个文字令牌，再生成其对应的语音令牌。这需要精确的音文对齐数据，获取成本高昂。
- 策略三：带填充的共同生成。 每一步同时生成一个文字令牌和一个语音令牌。由于文字序列短得多，模型需要学会在文字流中自动插入大量的“空”令牌，以“等待”语音流跟上。这种方法设计复杂，训练难度大。
3.2 TASTE：实现完美对齐的革命性分词器
为了解决上述对齐困境，李宏毅教授实验室的同学提出了一种名为**TASTE（Text-Aligned Speech Tokenization and Embedding）**的创新方法。
- 核心思想： 设计一个特殊的分词器，强制它为输入的语音信号中每一个文字令牌，都只生成一个对应的语音令牌。
- 实现方式：
- 先用一个现成的语音识别系统，得到音频对应的文字令牌序列（例如 ["how", "are", "you"]）。
- 将这些文字令牌作为查询（Query）。
- 将SSL模型从原始音频中提取的丰富语音表征作为键（Key）和值（Value）。
- 通过注意力机制（Attention），让每个文字查询（如"how"）去关注并“聚合”整个音频片段中与之相关的语音信息，最终输出一个浓缩了发音方式、音调、情感的单一语音令牌。
- 优势： TASTE分词器巧妙地实现了文字流与语音流的完美一对一对齐，极大地简化了后续语言模型的训练和生成过程。模型在生成时，只需在每一步同时预测一个文字令牌和一个语音令牌即可。
4. 从“接龙”到“对话”：构建一个完整的语音智能体
有了先进的分词器，我们就可以按照与文本LLM类似的路径，打造一个完整的语音对话智能体了。
4.1 预训练：学会声音的“语法”
使用海量（如4万小时）的语音数据，对一个以文本LLM为基础的模型进行预训练。这个阶段的目标是让模型学会“语音接龙”——给定一段话的开头，能够以连贯、自然的语音风格续写下去。演示表明，预训练后的模型甚至能模仿输入语音的口音、语速乃至背景噪音。
4.2 微调与对齐：注入对话的“灵魂”
预训练后的模型只会“续写”，还不会“对话”。接下来的微调（SFT）和对齐（如RLHF）至关重要。
- 数据合成： 直接使用真实人类对话数据进行微调，容易破坏模型从文本LLM继承来的强大能力。因此，一个更优的策略是：
- 使用顶尖的文本LLM（如GPT-4o）生成大量高质量的对话脚本。
- 使用顶尖的TTS系统，将这些脚本转换为带有丰富情感的语音数据。
- 用这些高质量的合成数据来微调预训练好的语音模型。
- 通过这种方式，我们可以安全地向模型注入各种对话能力，甚至教会它理解环境音（如听到下课铃声）或非语言声音（如听到咳嗽声后主动关心）。
4.3 终极目标：同时听说（Full-Duplex）的挑战
目前为止，我们讨论的交互模式本质上还是“回合制”的。然而，人类对话是“全双工”（Full-Duplex）的——我们能够同时听和说，随时打断和反馈。
要让AI实现这一点，需要突破传统自回归模型的局限，设计出能够并行处理输入音频流和输出音频流的全新网络架构。这是SLM领域的终极目标之一，也是当前研究正在努力攻克的最大挑战。
总而言之，语音语言模型的发展正带领我们从静态的文本交互，迈向动态、自然、充满人性的语音交流新时代。尽管挑战重重，但一个能听懂我们弦外之音、能用声音传递情感的AI伙伴，已不再遥远。
评论前必须登录！
注册