云计算百科
云计算领域专业知识百科平台

面向逻辑思维的程序设计方法——类脑大模型小脑听觉处理设计

面向逻辑思维的程序设计方法——类脑大模型小脑听觉处理设计

在这里插入图片描述

冯胤清

(河南 三门峡 472000)

摘要:听觉在类脑大模型中既要服务于"听清语义、听懂情感"的认知需求,也要服务于"听出方位、听出危机、听得及时"的执行与生存需求,后者要求毫秒级的快环处理,超出大脑语义链路的时标范围。本文基于面向逻辑思维的程序设计方法(LOPD)双脑架构,提出类脑大模型小脑听觉处理设计:以快环流水线(5-100 ms)承担听觉的空间、危机与快速转写职能——听觉空间处理经双耳线索与波束成形实现声源定位与声学场景识别;语音快环预处理经语音活动检测、流式识别与语句快速补全,把语音转为文字并补充为语句原语,供大脑五个子网联合处理;危险声检测识别尖叫、警报等声学事件并以应激触发机制直达生存层(如尖叫触发应激响应);音乐与情感快触发以节奏、能量与调式快检激发情感子网与感知理解子网(如舒缓音乐激发舒畅情感、激昂音乐激发振奋状态)[11-19]。文中给出小脑听觉与大脑听觉处理的分工接口(快触发-深分析)、与小脑部位模型的协作、训练方案与听觉处理质量评估体系,为类脑大模型"听声辨位、闻警即动、听乐知感、快语入脑"提供执行侧的听觉底座[11-19]。

关键词:类脑大模型;小脑听觉处理;声源定位;语音快转写;应激触发;声音情感触发;快环感知;七层认知模型

中图分类号:TP18;TP391  文献标志码:A


1 引言

1.1 听觉的小脑侧需求

听觉对类脑大模型的价值不止于"听懂语言、感受音乐"——它还承担着空间定向、危险预警与快速响应等执行侧职能[11,13]。听到身后有车驶来要立即避让,听到玻璃破碎声要瞬间警觉,听到主人叫自己的名字要立刻转头——这些响应发生在数十毫秒的时间尺度上,远快于大脑对话义、情感的深度加工(秒级)[11-13]。生物脑的听觉处理同样存在分工:听皮层负责语义与音乐的精细加工,而上橄榄核、下丘与外侧丘系等皮层下结构在数十毫秒内完成双耳线索提取与声源定位[1-2];杏仁核经"低通路"在丘脑水平直接接收声音信号,无需皮层加工即可触发恐惧与应激反应[7]。听觉的"快通路"与"慢通路"分工,是类脑听觉设计必须遵循的生物学格局[7,11-13]。从工程时标看,大脑语义链路的端到端时延通常在秒级(语音成句、语义化、推理都需要时间),而头部转向声源、避开危险、名字呼叫响应等行为如果等待秒级的语义分析将失去意义——这些行为需要的不是"理解",而是"及时"。因此,类脑大模型的听觉系统需要一条独立于语义慢环的快环通路,在毫秒-百毫秒时标内完成空间定位、危机检测与快速转写,这正是本文的设计对象[7,11-13,19]。

本系列已为类脑大模型设计了听觉的大脑侧处理——《大脑听觉处理设计》以语音、音乐双通道完成"听见→转字→成句→分析"与"听乐→知乐→感乐"的深度加工,服务认知推理与情感评估[13]。但大脑听觉处理的设计定位在语义与情感(秒级慢环),听觉的空间定位(声音在哪)、危机检测(是否危险)与快速响应(要不要立即行动)属于另一条时间尺度——这正是小脑侧听觉处理的设计空间[11-13,19]。正如视觉既有《小脑视觉预处理》(毫秒级空间与执行[19])也有大脑五子网的语义加工,听觉同样需要小脑侧的快环听觉前端[13,19]。

1.2 小脑听觉处理的概念与定位

小脑听觉处理指位于感知门户与大脑听觉处理之间、以快环(5-100 ms)为时标、以空间与危机为重心、并向大脑供数听觉原语的听觉专用处理层[11-13,19]。其职能可概括为"三听"[11-13]:

听方位——声音从哪里来。经双耳线索(时间差、强度差)与麦克风阵列波束成形实现声源定位与声学场景识别,支撑"转头看声源、循声找目标"的空间行为[1-2,11,24-25]。

听危机——这声音危险吗。检测尖叫、警报、玻璃破碎等危险声学事件,触发应激机制直达生存层,实现"闻警即动"的毫秒级安全响应[6-9,11]。

听快语——他说了什么(快)。以语音活动检测、流式识别与语句快速补全,把语音转为文字并补充为语句原语,供大脑五个子网联合处理——小脑负责"快转写",大脑负责"深理解"[13,15,20-23]。

此外,小脑听觉还承担"听乐感"的快触发职能:以节奏、能量与调式的快速检测,对音乐的愉悦与唤醒水平作出初判,触发情感子网与感知理解子网(舒缓音乐→舒畅、激昂音乐→激发),大脑侧再作深度音乐情感分析[10,13,17]。

需要说明"小脑听觉"的命名依据[11,19,27]:生物小脑虽不直接完成听觉语义加工,但前庭-小脑系统与听觉共享内耳与前庭神经核,小脑接受经脑干中继的听觉-前庭信息,参与声源定位中的头动补偿与听觉-运动协调[27];本设计取"小脑"之名,取其在本架构中的职能对应——与《小脑视觉预处理》一致,指位于L3门户与L4之间、以快环时标服务空间与执行的"小脑侧感知层",而非生物小脑组织的直接仿真[11,19,27]。

1.3 本文的定位与贡献

本文是小脑侧感知设计的第二篇(继小脑视觉预处理之后),与大脑听觉处理设计构成听觉的"快-慢"双轨[11-13,19]。具体贡献包括:

①提出小脑听觉处理的三层功能架构(空间层-事件层-原语层)与快环流水线,确立"听方位、听危机、听快语、感乐快触发"的职能边界[11-13];②设计听觉空间处理机制——双耳线索提取(ITD/ILD)、波束成形声源定位与声学场景识别,支撑听觉引导的空间行为[1-2,24-25];③设计语音快环预处理流水线——语音活动检测、流式识别与语句快速补全,输出"听觉语句原语"供大脑五子网联合处理(与小脑视觉的Object3D对偶)[19-23];④设计危险声检测与应激触发机制——以尖叫粗糙度等声学特征检测危险事件,经生存层快通路实现应激响应[6-9,11];⑤设计音乐与情感快触发机制——以节奏能量快检激发情感子网与感知理解子网[10,13,17];⑥给出小脑听觉与大脑听觉处理的分工接口(快触发-深分析)、与大脑五子网及小脑部位模型的协作设计、训练方案与质量评估体系[11-19]。

1.4 论文结构

全文共10章:第2章阐述理论基础(听觉生理、双耳定位、鸡尾酒会、声音应激、音乐唤起、流式语音、前庭-小脑);第3章给出小脑听觉处理总体架构;第4章设计听觉空间处理(声源定位与场景);第5章设计语音快环预处理(语音→文字→成句);第6章设计危险声检测与应激触发;第7章设计音乐与情感快触发;第8章讨论与大脑五子网及小脑部位的协作;第9章给出训练、评估与应用;第10章总结展望。

1.5 小脑听觉处理在双脑架构中的位置

在LOPD双脑架构中[11-12],小脑听觉处理位于L3感知门户(听觉通道+前庭通道)与L4小脑执行层之间[11-12]:输入侧——感知门户的麦克风阵列信号与前庭通道的IMU信号(听觉与前庭在生物上共享内耳,工程上共享头部传感单元[27-28]);处理侧——快环听觉专用处理(空间/危机/快转写);输出侧——听觉原语消息供大脑子网与小脑部位模型使用[11-13]。这一位置与小脑视觉预处理(L3门户与L4小脑之间)完全对偶,两者共同构成类脑大模型的"小脑快环感知层"[11,19]。

1.6 小脑听觉处理与执行闭环

听觉直接参与执行的场景要求快环处理[11,19]:头部转向声源(听到说话→转头注视)、危险回避(听到警报→立即停止当前动作)、手部操作中的听觉反馈(听到物体滑落声→调整抓取)。小脑听觉处理嵌入"感知-执行"闭环:听觉检测结果直接驱动小脑部位模型的运动指令(转头、避让、抓取调整),无需等待大脑的语义分析[11,19]。闭环的时标预算:声源定位结果在20-50 ms内可用,危险事件检测在30-100 ms内触发应激,语音语句原语在200-500 ms内产出(供大脑慢环)[11,13,19]。执行闭环中听觉与视觉的角色差异[11,19]:视觉是"持续的空间背景"(连续提供物体与场景信息),听觉是"事件触发的空间前景"(新的声音事件驱动注意与行为切换)——听到门铃声、警报声、呼唤声都是打断当前行为并触发新行为的听觉事件,小脑听觉因此天然是"事件驱动型"处理器[11,19]。

1.7 小脑听觉处理与大脑听觉处理的区分

小脑听觉处理与大脑听觉处理的分工可归纳为"四个对"[11-13]:空间对语义——小脑听"声音在哪"(方位、距离、场景),大脑听"说了什么、什么情感"(语义、情感)[1-2,13];危机对审美——小脑对危险声(尖叫、警报)作应激响应,大脑对音乐作审美与情感加工[6-10,13];快对慢——小脑快环毫秒级输出(定位、危机、语句原语),大脑慢环秒级输出(完整语句、深度情感)[11,13];触发对分析——小脑"快触发"(先响应再细究:先应激后分析是否误报、先舒畅后深品音乐),大脑"深分析"(触发之后的理解确认与精细加工)[7,13]。两级的协作接口在第3.6节详述:小脑快触发结果作为大脑分析的"先行线索",大脑分析结果作为小脑触发的"确认与校正"[11-13]。

2 理论基础

2.1 听觉系统的工作原理

人耳听觉系统是多级信号处理链[28-29]:声波→外耳道→鼓膜振动→听小骨杠杆放大(阻抗匹配)→卵圆窗驱动内耳液体波动→基底膜频率部位编码(蜗底高频、蜗顶低频)→毛细胞机械-电转换(内毛细胞输出信号、外毛细胞主动放大)→听神经动作电位[28]。工程对应:麦克风(声电转换)→前端放大(增益)→滤波器组(基底膜的频率分解)→特征提取(毛细胞编码)[28]。

听觉的关键特性对快环设计的启示[2,28-29]:频率编码的"部位机制"使频谱分析成为听觉处理的天然第一级[28];动态范围压缩(毛细胞增益调节)提示前端须有自动增益控制[28];双耳协同以时间差、强度差、相位差三大神经运算实现响度叠加、噪声抑制与听觉平衡[2,28]——这是双耳声源定位的生理基础;语音主要能量集中在300-3400 Hz(电话带宽)、音乐需要20-20000 Hz宽频带,快环前端须按用途分配带宽[29]。此外,噪声暴露(85 dB以上长期)会不可逆损伤外毛细胞[28]——工程听觉系统同样需要"听力保护"式的过载保护设计。语音与音乐对听觉前端的要求不同:语音主要能量集中在中频段(300-3400 Hz),处理链可作频带裁剪以省算力;音乐需要保留完整宽频(20-20000 Hz)以维持音色与情感信息[29]。工程前端据此采用"按用途分带宽"的策略:语音支路只处理语音频带,音乐与事件支路处理宽频——各支路的滤波器组与采样率按需配置,降低整体算力消耗[11,29]。

2.2 双耳听觉与声源定位

声源定位依赖双耳线索[1-2]:耳间时间差(ITD)——声波到达两耳的时差,对低频连续声与高频瞬态声均有效;耳间声级差(ILD)——头部声影造成的高频强度差;频谱线索(HRTF)——头部、耳廓对声音的滤波提供仰角与前后消解线索[2]。Jeffress提出"延迟线+符合检测器"模型解释ITD编码:神经元作为符合检测器,对不同延迟的输入产生最大响应,形成声源方位的地形图[1];现代研究在哺乳动物脑干上橄榄核(内侧上橄榄核编码ITD、外侧上橄榄核编码ILD)证实并修正了这一模型[2]。工程对应:双耳式麦克风(人形机器人左右耳)采集ITD/ILD[11];头部相关传递函数(HRTF)建模提供方位依赖的频谱模板[2,11]。双耳声事件定位与检测(如BiSELD)以双耳时频特征(ITD-map、ILD-map等)驱动神经网络,同时完成声事件的检测与定位[2,11]。

2.3 鸡尾酒会问题与计算听觉场景分析

鸡尾酒会问题(多说话人混合环境中聚焦目标语音)是听觉前端的基本挑战[3-5]。Cherry的开创性实验确立了选择性听觉注意的研究范式[3];计算听觉场景分析(CASA)提出"分割-分组-流组织"的计算框架——把混合声音按声源分组为听觉流,再选择目标流[4];中文综述系统梳理了鸡尾酒会问题的听觉机理、多说话人分离与听觉注意建模的进展[5]。近年工作表明,听觉注意可从脑电中解码(听者在多人环境中"在听谁"可被单次试验EEG解码),为"注意引导的声源选择"提供了神经接口层面的支撑[26]。

快环听觉的工程含义[3-5,26]:小脑听觉处理须具备"聚焦"能力——在多人环境中锁定目标说话人(视觉注意辅助:看着谁就听谁)、抑制干扰声源,并把聚焦结果随语句原语一并供大脑(“这是对张先生说的话的转写”)[5,13,26]。聚焦的实现分层[4-5,11]:声源分离层(把混合语音分离为单说话人流)与声源选择层(按注意线索选择目标流——唤醒词方位、视觉注视方向、声学显著性),分离与选择都须在快环时标内完成,因此采用轻量分离模型+线索驱动的选择策略,而非离线级别的全分离[4-5,11,26]。

2.4 声音与应激:恐惧条件反射与尖叫检测

声音是触发应激反应的高效刺激[6-9]。Davis的恐惧增强惊跳范式证明:与恐惧条件配对的声音(如尖叫声)能显著增强惊跳反射幅度,其神经通路经杏仁核中央核投射至脑干[6]。LeDoux的情绪通路模型区分两条加工路径:低通路(丘脑→杏仁核,快速、粗糙、无需皮层——“先反应后细想”)与高通路(丘脑→皮层→杏仁核,精细但缓慢)[7]。人声研究进一步发现:人类尖叫具有独特的"粗糙度"声学纹络(约30-150 Hz的调幅包络),能优先激活杏仁核等恐惧网络[8];恐惧类人声可被快速自动检测,早于精细情绪加工(ERP证据)[9]。

工程映射[6-9,11]:小脑听觉处理需要一条"低通路"——危险声学特征(尖叫粗糙度、警报频率模式)经轻量检测器直接触发应激,不经大脑语义分析,对应LeDoux低通路[7-8];应激触发后大脑再执行"高通路"确认(这是真尖叫还是广播声?)并校正响应强度[7,11]。尖叫粗糙度特征(30-150 Hz调幅包络)是工程检测尖叫的关键声学线索[8]。快慢两路的工程对照:低通路对应轻量特征检测器(常驻、毫秒级、粗糙但快),高通路对应大脑语义分析(按需、秒级、精细但慢)——与双脑架构的快慢环分层一一对应,这为"危机声音先响应后理解"提供了神经科学级别的设计依据[7,11]。

2.5 音乐节奏与情绪唤起

音乐对情绪的影响部分经由节奏与生理唤醒实现[10,13]。实验研究表明:快节奏音乐显著提高心率与皮电等生理唤醒并诱发高唤醒情绪,慢节奏(舒缓)音乐降低唤醒、对应平静舒畅情绪[10]。音乐情绪的维度模型(效价-唤醒)为"快触发"提供了低维判据:快触发只需估计唤醒(快慢节奏)与效价(调式明暗)的粗略水平,即可先行激发情感子网,无需完整音乐情感识别(大脑侧深加工)[10,13]。语音情感识别综述系统梳理了语音韵律承载情感的声学线索(语调、语速、能量)与识别方法[30]——小脑听觉对语音情感的"快判"(语气急促→焦虑初判)可复用其中的韵律特征,细粒度语音情感分析则由大脑完成[13,30]。类脑大模型的八维情感空间为触发结果提供了映射目标(舒畅→乐、激发→喜/乐的高唤醒侧)[13,17]。音乐情感快触发的神经锚点:恐惧类人声可在精细情绪加工之前被快速自动检测(ERP证据[9]),提示声音情感存在"粗快"与"细慢"两条加工时标——音乐情绪的快触发正是利用这一"粗快"通道:先以节奏能量判唤醒水平(生理唤醒的证据[10]),后由大脑音乐通道细加工效价与情感类别[9-10,13]。

2.6 语音识别与流式处理基础

语音快转写依赖流式语音识别技术[20-23]。Whisper以68万小时弱监督数据训练,在噪声与多语言场景表现突出,但属整段处理(离线)[20];流式识别以增量方式实现"边说边转":RNN-T(循环神经网络转换器)是流式端到端ASR的模型源头[21],带单调注意力约束的流式RNN-T支持设备端低延迟识别[22];端到端ASR综述系统比较了流式RNN-T与注意力解码器(AED)的时延与精度权衡[23]。唤醒词检测是快环的"门卫"——在持续监听中低功耗检测唤醒词,唤醒后才启动完整识别流水线[11,23]。

快转写的工程定位[20-23]:小脑听觉的语音识别追求"快而可用"——优先保证低延迟与句子边界的及时产出,识别精度的精细提升由大脑侧(结合上下文的深度纠错)完成[13,20-23]。

2.7 前庭-小脑-听觉

听觉与前庭在生物上共享内耳(耳蜗与前庭同源),前庭-小脑是平衡与空间感知的核心[27-28]。Cullen的综述阐明前庭小脑(绒球小叶、小结/蚓垂)构建自运动内模、调控前庭眼反射(VOR)增益与姿势平衡的神经计算机制[27]。在类脑工程中,听觉与前庭共享头部传感(双耳麦+IMU):声源定位需要头部姿态信息(转头时声源方位随之变化——须以头动补偿保持世界坐标下的方位估计)[11,19,27];听觉与VOR协同(听到声源转向时视觉稳定)[19,27]。小脑听觉处理与小脑视觉预处理共享前庭信息,共同维持空间感知的一致性[11,19,27]。

2.8 小脑听觉处理的设计定位

综合上述理论,小脑听觉处理的设计定位可归纳为[1-13,19]:位于L3感知门户与L4小脑之间的快环听觉专用层,与大脑听觉处理(慢环语义)构成听觉的"快-慢"双轨[11,13]。设计遵循三条原则[11-13,19]:其一,快环优先——空间与危机职能的时标预算毫秒级,处理链路的每一级都按快环约束设计(轻量模型、流式处理、早出结果)[11,19];其二,触发先于分析——危险与情感的"快触发"先于大脑的"深分析",触发通道独立于分析通道,保证危机响应不被语义处理阻塞[7,11];其三,供数大脑——语音快转写与语句原语的产出以"大脑五子网可消费"为格式标准,小脑听觉是大脑听觉的事实提供者,而非语义的竞争者[13,15,19]。三项原则共同确立小脑听觉处理"听得快、听得准、供得上"的设计基调[11-13,19]。

3 小脑听觉处理的总体架构

3.1 设计哲学:听方位、听危机、听得快

小脑听觉处理的设计哲学浓缩为"三快一听":听得快——所有处理以快环时标(5-100 ms)为约束,宁可结果粗糙不可响应迟滞[11,19];听方位——声音的空间属性(方向、距离、场景)是小脑听觉的第一职能[1-2,11];听危机——危险声学事件的检测与应激触发是小脑听觉的安全职能[6-9,11];供得快——语音快转写与语句原语以低延迟产出,供大脑消费[13,20-23]。与小脑视觉的"看清动作空间"对偶,小脑听觉的哲学可表述为"听清声音空间、听出危险时刻"[11,19]。"三快一听"的优先级排序:听危机最优先(安全无价)、听方位次之(空间行为基础)、供得快再次(服务认知)、快检乐感殿后(情感增值)——资源紧张时按此顺序保障,与GWS的生存>安全>任务>社交优先级一致[7,11]。

3.2 三层功能架构

小脑听觉处理按处理深度组织为三层[11-13,19]:

空间层(快):声音在哪里。输入麦克风阵列信号与前庭信号,输出声源方位、距离、声学场景类别与声源轨迹[1-2,11,24-25]。空间层对应脑干上橄榄核-下丘的快速定位通路[2]。

事件层(快):这是什么声音。对空间层输出的声学流进行分类与事件检测——危险事件(尖叫、警报、玻璃破碎)触发应激通道;语音事件(有人在说话)触发语音快转写;音乐事件(有音乐在播放)触发情感快检[6-10,11,24-25]。事件层对应丘脑-杏仁核的低通路[7]。

原语层(较快):把听清的东西打包。将空间结果、事件标签与语音转写组装为统一的"听觉原语消息"——声源对象(SoundObject,对偶视觉的Object3D)、听觉语句原语(AuditoryUtterance)、触发信号(TriggerSignal),经GWS供大脑子网与小脑部位模型消费[11-13,19]。

三层以流水线方式协作:空间层持续输出声源流,事件层在声源流上做事件检测,原语层把检测结果与转写结果打包广播[11-13]。三层的生物对应[1-2,6-9,27]:空间层对应脑干上橄榄核-下丘的快速定位通路[1-2],事件层对应丘脑-杏仁核的低通路危险加工[6-9],原语层对应听觉皮层向高级皮层输出听觉表征的接口——三层设计把脑干到皮层的听觉处理阶梯压缩为可实现的工程流水线[2,7,11]。

3.3 快环流水线

小脑听觉的快环流水线按任务分三条支路并行[11-13,19]:

空间支路(20-50 ms):双耳/阵列信号→双耳线索提取(ITD/ILD)→声源定位→场景分类[1-2,24-25];危机支路(30-100 ms):声学特征→危险事件检测(尖叫粗糙度/警报模式)→应激触发(生存层)[6-9,11];语音支路(200-500 ms):VAD→唤醒/语音流→流式识别→句子边界→语句快速补全→语句原语[13,20-23]。

三条支路的时标差异决定资源分配:空间与危机支路常驻轻量模型(低功耗连续运行),语音支路按需启动(唤醒后激活)[11,23]。流水线的关键设计是"早出结果":空间支路先出方位粗判(如"左侧30°有声音")再细化,危机支路先出"危险/安全"二分类再出细分类别,语音支路先出部分转写再出完整语句——每级都可在任意时刻被打断并输出当前最优结果,保证快环的响应上限[11,19]。分级产出还带来一个工程便利:系统的每一级都可独立测试与替换——定位级、事件级、原语级之间以标准消息解耦,任一模型的升级不影响其他级,符合系列论文"模块化设计、逐级验证"的工程原则[11,19]。

3.4 与感知门户的接口

小脑听觉处理位于L3感知门户与L4小脑之间[11-13]:接收感知门户的听觉通道(麦克风阵列:双耳式/环形阵列)与前庭通道(IMU)信号[11]。工程配置参考脑设计架构[11]:4麦以上阵列支撑波束成形与声源定位,双耳式配置(左右耳麦,自然人形)支撑ITD/ILD双耳线索[2,11]。接口的语义[11-13]:小脑听觉输出"听觉事实"(声音在哪、是什么事件、说了什么快转写)、大脑听觉补充"听觉解释"(语义深度理解、音乐情感分析)——“快事实+深解释”[11-13]。

接口消息格式设计[11-13,19]:SoundObject = {id, azimuth, elevation, distance, scene, confidence, timestamp}(声源对象,方位估计方法参照双耳定位研究[2,31]);AuditoryUtterance = {speaker_id, text, intent_hint, boundary, confidence, timestamp}(听觉语句原语);TriggerSignal = {type, strength, target_subsystem, timestamp}(触发信号:danger/music/name-call)[11-13]。消息格式的设计要点:所有消息携带全局时间戳与置信度,供消费方进行时序推理与证据权衡;SoundObject与视觉的Object3D共享空间坐标表示(同一世界坐标系),使"听声辩位"的结果可直接驱动视觉转向[11,19]。消息经GWS广播时按类别标注优先级——TriggerSignal中的danger消息为生存级、其余为任务/社交级,GWS按优先级调度[11]。

3.5 小脑听觉处理的实现技术栈

小脑听觉的可实现技术栈[1-13,20-25]:前端——麦克风阵列(双耳/环形)与波束成形(声源增强)[11];特征——双耳时频特征(ITD-map/ILD-map[2,11])、音频嵌入(语音/音乐/环境声分类的基础)[24-25];定位模型——双耳SELD类网络(检测+定位联合)[2,11];语音——流式RNN-T类模型(快转写[21-23])与唤醒词模型[23];事件——危险声检测器(尖叫粗糙度特征[8])、声学事件分类[24-25];触发——应激触发的轻量规则+阈值网络[6-9]。选型原则[11,19]:快环支路用轻量模型保证时延预算,语音支路可在唤醒后调用较大模型,全部模型须支持流式推理与增量输出[11,23];模型库按"常驻级-唤醒级-按需级"三级组织——常驻级(VAD、事件检测)功耗最低、唤醒级(定位、快转写)中功耗、按需级(大脑深度模型)不占快环预算[11,23]。

3.6 与大脑听觉处理的分工接口

小脑听觉处理与大脑听觉处理的分工通过三类接口实现"快触发-深分析"协作[11-13]:

触发-确认接口:小脑快触发(危险、情感、名字呼叫)先行广播,大脑听觉与五子网随后确认——应激触发后大脑判断"是否误报"并校正;舒畅触发后大脑音乐通道深度分析音乐并细化情感[7,13]。

语句-理解接口:小脑产出的听觉语句原语(快转写+边界)是大脑听觉处理"语句补全与语义化"的输入基础——大脑在小脑语句原语之上做上下文补全、语义规整与意图识别,不重复底层转写[13]。

事实-解释接口:小脑的声源方位与场景事实供大脑语义解释的空间锚定(“说话人在左侧"→语义事件的空间属性)[11-13]。两级协作的时序:小脑先出"快结果”(毫秒-百毫秒级),大脑后出"深结果"(秒级),两级结果在GWS中以时间戳关联,大脑结果可修正小脑结果的粗糙之处[11-13]。

3.7 双触发通道:危险触发与情感触发

小脑听觉的触发职能组织为两条通道[6-11,13]:

危险触发通道(生存级):尖叫、警报、玻璃破碎、撞击等危险声学事件→应激触发信号→生存层(L5)直接响应(停止当前动作、转向声源、启动防护),消息优先级最高[6-9,11]。

情感触发通道(任务/社交级):音乐的节奏、能量与调式快检→情感激发信号→情感子网(八维情感状态调制)与感知理解子网(音乐情境理解)[10,13,17]。

双通道的隔离设计[7,11]:危险触发通道独立于情感触发通道(避免把警报声误触为情感刺激、把音乐误触为危险);触发信号携带强度与目标子网信息,由GWS按优先级路由[11]。双通道共用事件层的声学事件检测器,但触发逻辑独立[7,11]。

3.8 降级与容错设计

小脑听觉的降级与容错[11-13,19]:单麦失效——双耳/阵列冗余(单侧失效退化为单耳模式:保留语音处理、降级空间定位精度)[2,11];噪声淹没——危险声在强噪声下可能漏检,采用多特征冗余(粗糙度+频谱异常+响度突变)与自适应阈值[8,11];触发误报——应激触发采用"分级确认"(先轻响应再重响应),确认通道由大脑语义分析承担[7,11];算力不足——降级为只保留危机支路与唤醒词检测(最低安全配置),语音与音乐支路按需关闭[11,23]。

4 听觉空间处理:声源定位与场景

4.1 双耳线索提取

声源定位从双耳线索提取开始[1-2]:耳间时间差(ITD)——对双耳信号做互相关估计到达时差,低频段(<1.5 kHz)以相位差为主、高频段以包络差为主[2];耳间声级差(ILD)——比较双耳频带能量差,高频段(>1.5 kHz)因头部声影显著[2];频谱线索——HRTF模板匹配提供仰角与前后消解[2]。工程实现[2,11]:双耳信号经短时傅里叶变换,提取各频带的ITD/ILD特征图(BiSELD类的ITD-map/ILD-map输入)[11]。

双耳线索的局限与补偿[2]:锥形混淆(前后、上下方位产生相似双耳线索)——以HRTF频谱线索与头部微动(转动头部打破混淆)消解;远场衰减(距离信息弱)——以响度与场景先验估计距离[2,11]。

4.2 麦克风阵列与波束成形

除双耳配置外,环形/线性麦克风阵列提供更强的空间处理能力[11]:波束成形——对各麦克风信号加权延时求和,增强目标方向声源、抑制其他方向干扰(“声学聚光灯”)[11];阵列几何——环形阵列水平360°定位、线性阵列定向增强、双耳式自然人形[11]。阵列处理与双耳线索的配合[2,11]:阵列提供波束增强(信噪比提升),双耳线索提供自然人形的空间感知——类脑大模型采用"阵列+双耳"混合配置时,两者共享定位结果并交叉校验[11]。阵列的工程选型[11]:麦克风数量与布局决定定位精度与成本——4麦环形阵列是性价比起点(水平定位可用),8麦及以上支持更优的波束成形与垂直定位;类人形机器人采用"双耳麦+头内阵列"(双耳在耳部自然位置、阵列在头内提供冗余),兼顾自然人形外观与工程性能[11]。

4.3 声源定位

声源定位输出声源的方位(水平角、仰角)、距离与运动轨迹[1-2,11]:方位估计——双耳线索+HRTF匹配(静态声源)与互相关跟踪(运动声源)[2];距离估计——响度+直达/混响比+场景先验[2];轨迹跟踪——多帧定位结果经卡尔曼滤波平滑,输出声源运动轨迹(声源移动方向与速度)[11]。声源定位的头部运动补偿[11,27]:头部转动时,双耳坐标系随之转动——结合前庭IMU的头部姿态,把定位结果变换到世界坐标系,维持"即使转头也知道声音在原方向"的空间恒常性(与小脑视觉的头动补偿对偶)[11,19,27]。

定位与检测的联合(SELD范式)[2,11,31]:声事件检测与声源定位联合建模——同时输出"有什么声事件(类别、起止)“与"声事件在哪(方位轨迹)”,避免分离处理的错误传播[11];双耳声事件定位与检测研究(BiSELD类)以ITD-map、ILD-map等双耳时频特征驱动神经网络,为类人形态的双耳定位-检测联合提供了工程参照[31]。多声源场景的定位管理:当多个声源同时发声(两人交谈+电视播放),系统为每个声源维护独立的方位轨迹与声学流,并标注各声源的显著性(能量、是否含语音、是否与当前任务相关)——显著声源优先处理,任务相关声源(正在对话的人)优先锁定[3-5,11]。

4.4 声学场景分类

声学场景分类(ASC)识别环境声场的类别[24-25]:场景类别(街道、办公室、厨房、户外等)——DCASE挑战赛确立了场景分类与事件检测的任务框架与评测协议[24],近年综述系统梳理了ASC的特征、深度模型与数据集[25]。场景分类对快环听觉的价值[24-25]:环境自适应——场景类别调制处理参数(厨房的高噪声场景提高危机检测阈值、安静的办公室降低唤醒阈值);情境感知——场景信息辅助语义理解(在厨房听到"关火"更可能是指令);听觉上下文——场景类别作为听觉原语的属性(AuditoryUtterance携带scene字段)[11,24-25]。场景分类的工程实现:轻量分类器(音频嵌入+线性头)常驻运行,输出场景类别的概率分布(而非硬分类)——概率分布供下游做"场景置信度"管理(场景不明时保持中性参数)[24-25];场景标签随时间平滑(场景切换有过渡期,避免参数在场景边界抖动)[11,25]。

4.5 听觉-视觉的空间关联

听觉空间与视觉空间的一致性处理[11,19]:听到声源→生成"听觉注意指向"(方位)→引导视觉转向(转头/注视)——“听声看物"的跨模态定向[11,19];视听绑定——声源方位与视觉物体位置一致时绑定为同一事件源(看到说话者+听到其声音→绑定为"张先生在说话”)[11,19]。空间不一致处理[11]:声源方位与视觉位置矛盾(看到的人在左、声音在右)——以高置信度模态为准并标记异常(扬声器播放录音的典型场景)[11,19]。听觉-视觉空间关联的实现依赖统一坐标系:听觉定位结果与前庭IMU/视觉坐标变换到同一世界坐标系(共享头部姿态估计)[11,19,27]。跨模态空间关联的工程价值[11,19]:视听绑定显著提升事件理解的置信度(只听声音只能判断"有人说话",绑定视觉后可确定"张先生在左侧说话");视听冲突的检测暴露环境异常(看到无人处传来人声→扬声器/录音嫌疑);听觉引导的视觉搜索缩短目标发现时间(先听声定位再转头,比盲目扫视高效得多)[3,11,19]。

4.6 空间听觉的评估与置信度

空间听觉的质量评估[2,11,24]:定位精度(方位角误差、距离误差)、定位鲁棒性(噪声/混响下的性能保持)、场景分类准确率(DCASE基准[24])、事件定位-检测联合指标(SELD评分[11])。置信度管理[11]:双耳线索质量(信噪比、混响程度)作为定位置信度的调制因子;低置信度方位标注"粗略方位"(供注意定向可用、供精确指向不可用);定位结果携带置信度进入SoundObject,供消费方决定信任程度[11]。设计目标参考:安静场景方位误差<5°,噪声场景<15°;场景分类准确率>85%(DCASE基准)[11,24]。空间听觉评估的工程要点:评估须区分"方位粗判可用"(供注意定向)与"方位精判可用"(供精确指向)两档——按用途设不同误差容限,避免用精判标准误判粗判系统的价值;评估数据集须覆盖不同房间声学(混响)、不同距离与不同信噪比,防止系统只在单一环境达标[2,11,24-25]。

5 语音快环预处理:语音→文字→成句

5.1 语音活动检测与唤醒词

语音快环预处理的第一步是门控判断——有没有人在说话、是否需要对我说[11,23]:语音活动检测(VAD)——在持续监听的音频流中检测语音段(能量+频谱特征,低算力常驻)[23];唤醒词检测——区分"对我说话"与"旁人的对话",以轻量唤醒模型(关键词检出)在低功耗下持续运行,唤醒后才启动完整语音支路[23]。VAD与唤醒的双级门控避免系统对所有声音都做完整识别,是快环算力预算的关键[11,23]。

工程要点[11,23]:唤醒词可定制(用户可设定"小助手"类唤醒词);误唤醒抑制(环境声干扰下的误唤醒率目标<1次/小时);多说话人场景中唤醒词还附带声源方位(“谁唤醒的"→后续指令锁定该方位声源)[11,23]。唤醒机制的隐私意义[11]:系统在未唤醒时只做低功耗的"声音事件监测”(是否有语音、是否危险声),不启动完整语音识别,也不保留语音内容——"只有被唤醒才听内容"是听觉隐私的第一道闸门,与系列论文的数据隐私原则一致[11,18]。

5.2 流式语音识别(快转写)

语音转写采用流式识别实现"边说边转"[20-23]:流式RNN-T类模型在语音流到达时增量输出文字(无需等待句尾)[21-22];部分结果(hypothesis)随语音推进持续更新,系统可在任意时刻读取"当前转写"(边说边显示/边说边理解)[22-23]。流式识别的时延-精度权衡[23]:激进流式(低延迟、精度略降)适合快环;适度等待(利用未来上下文、精度更高)适合大脑深度处理——小脑快环取激进流式,产出"快转写"供大脑再精修[13,23]。

快转写的定位[13,20-23]:小脑语音支路不追求一次到位的完美转写(交给大脑结合上下文补全纠错),而追求"低延迟出字、边界及时、主要信息不丢"——为大脑五子网提供可用的事实基础[13]。这里需要正面切割与《大脑听觉处理设计》的边界[13]:⑯的语音通道完成"信号→识别→语句补全→语义化"的完整深度链路(含上下文补全与意图规整),本文的语音支路只完成其中的"前端快环段"——检测、流式转写、边界与初级规整;两篇论文共享流式ASR等底层组件(技术复用,不重复设计算法),分工差异在时标与服务对象——本篇为执行与生存服务(快)、⑯为认知与情感服务(深)[11,13]。部分结果的工程价值:在说话人尚未说完时,系统已可基于部分转写做"渐进理解"——检测到"请把"二字即可预激活"取物类请求"的任务框架,句尾一旦补全即可快速确认,缩短端到端的响应时延[15,22-23]。渐进理解的风险控制:预激活的任务只是候选,须在句尾确认后才执行,防止"听半句就行动"的误触发[15]。

5.3 句子边界检测与口语碎片

自然口语是连续的语音流,句子边界(一句话何时说完)是语义化的必要前提[13]:边界线索——停顿时长、句末语调(降调常为陈述句尾、升调为疑问句尾)、语义完整度(流式识别的置信度回落)[13]。工程实现[13]:基于韵律与识别的混合边界检测——停顿+语调为主判据、语义完整性为辅助确认;边界产出触发"语句封装"——把该句的完整转写、起始时间、说话人方位打包为语句原语[11,13]。

口语碎片问题[13]:真实语音含大量碎片——重复(“我我我想”)、改口(“把那个——不,这个”)、语气词(“嗯”“那个”)、半截句(被打断的话)。小脑快环对碎片只做"标记不处理":在语句原语中标注碎片位置与类型,完整规整交给大脑语句补全[13]。边界检测的工程挑战:中文口语无空格分词、停顿并不总等于句子边界(思考中的停顿)、多人对话的句间重叠——应对策略是"多线索表决"(停顿+语调+置信度回落综合判断)与"延迟确认"(疑似边界暂存,后续0.3秒内若无连续语音则确认边界、若有则合并)[13,22-23]。边界检测质量直接决定语句原语的分割质量,进而影响大脑语句补全的上下文切分[13]。

5.4 语句快速补全

语句快速补全(小脑初级补全)的目标是把口语转写提升为"可消费的语句",但控制在与快环匹配的轻量级[13]:初级规整——删除明显语气词与重复(“嗯嗯好的"→"好的”);标点初判——按停顿与语调插入基础标点(句号/问号);碎片标记——保留改口与半截句的原始信息(标注"用户改口"),不强行补全(避免猜错)[13]。

小脑初级补全与大脑深度补全的分工[13]:小脑补全"格式层"(规整、标点、碎片标记),大脑补全"语义层"(上下文补全、指代消解、意图规整)——小脑产出"干净但字面的语句",大脑产出"完整且语义化的语句"[13]。这一分工保证快环不被语义理解的复杂度拖慢,同时为大脑保留完整的原始信息[13]。初级补全的轻量实现[13]:规则+小模型的混合——语气词删除与重复合并用规则(快且确定),标点初判用韵律线索(停顿长度+语调方向查表),碎片类型标注用轻量分类模型;整体控制在语句原语产出预算(200-500 ms)内,不引入需要完整句上下文的模型[13,22-23]。

5.5 听觉语句原语的输出

语音快环处理的最终输出是听觉语句原语(AuditoryUtterance)[11-13]:包含说话人信息(声纹ID或声源方位标识)、快转写文本(规整后)、句子边界时间戳、碎片标记、初判意图提示(陈述/疑问/命令,基于句末语调的粗判)、置信度与场景字段[11-13]。

听觉语句原语的消费方[11-19]:大脑听觉处理——以其为基础做深度语句补全与语义化[13];感知理解子网——把语句作为世界状态的"语言事件"[14];认知推理子网——消费语句语义做意图分析与任务规划[15];情感子网——消费语音韵律情感初判[17];反思创新子网——收集转写错误的归因素材[18]。输出消息经GWS按任务级优先级广播[11]。

5.6 语音预处理的鲁棒性

语音快转写在噪声与多人场景的鲁棒性[3-5,20,23]:噪声鲁棒——前端波束成形(空间滤波)与语音增强(去噪),配合多条件训练(Whisper类模型的噪声鲁棒性来自海量弱监督数据[20]);多人鲁棒——声源分离(将目标说话人从混合语音中分离[4-5])与说话人锁定(唤醒后锁定唤醒者方位,优先处理该方向的语音[11]);远场鲁棒——阵列增益与距离补偿[11]。鲁棒性保障的分层[11,23]:前端(阵列与增强)解决信噪比、模型(多条件训练)解决泛化、后端(大脑语义纠错)解决残余错误——小脑快环在前两层内尽力,残余错误标注低置信度交由大脑处理[13,23]。

5.7 快转写的多语言与口音适配

类脑大模型须服务多语言与多口音用户[13,20]:多语言支持——流式识别模型支持中英等主要语言的切换(语言检测前置,自动选择识别模型)[20,23];口音适配——各地方言口音的识别是中文场景的刚需(同一词汇在不同口音下声学差异大),采用多口音联合训练+用户口音画像(长期交互积累口音样本,个性化微调)[23];领域词表——专业场景(医疗、电力)的术语经热词表增强识别(“断路器”“变压器”等电力术语不被误识)[15]。快转写的多语言能力为大脑五子网的跨语言语义处理提供事实基础,其适配更新由反思创新子网驱动(识别错误的归因按口音/领域聚类,定向补数据重训)[13,18,20]。

6 危险声检测与应激触发

6.1 尖叫的声学特征

尖叫是危险声检测的重点对象,其声学特征已有神经科学依据[8-9]:尖叫具有独特的"粗糙度"声学纹络——约30-150 Hz的调幅包络(振幅快速调制),这一特征使尖叫在自然声音中脱颖而出并优先激活杏仁核恐惧网络[8];恐惧类人声可被快速自动检测(早于精细情绪加工的ERP证据)[9]。工程检测特征[8-9,11]:粗糙度估计(调幅包络的调制频率与深度);谐波异常(尖叫的高次谐波能量集中);响度突变(尖叫的起始瞬态)。多特征融合检测尖叫,降低误检(笑声、警报、婴儿啼哭的声学区分)[8,11]。需要说明的是,尖叫检测的"类"定义须谨慎:欢呼尖叫(演唱会、游戏胜利)与恐惧尖叫在声学上相似但语境迥异——系统结合场景与上下文区分(运动场的高唤醒尖叫→欢呼;深夜住宅区的尖叫→恐惧),危险度分级随之不同[8,11]。类别的语境化判定依赖场景信息与大脑语义的协作,小脑快环先做"尖叫检测"(声学层),危险度由"尖叫+场景+上下文"共同裁定(语义层参与)[8,11,13]。

6.2 危险声事件检测

危险声事件检测覆盖尖叫之外的多种危险声[8,11,24-25]:警报声(火警、救护车——频谱模式与周期特征);玻璃破碎与撞击(宽频瞬态+共振尾音);物体坠落(撞击+滚动的时序模式);异常静默(应有人声场景的突然静默——服务机器人可检测"老人长时间无声音活动"的异常)。检测技术路线[24-25]:声学事件检测(AED,DCASE框架[24])——在事件流上检测事件类别与起止时间;危险事件分类器——在AED基础上做危险度分级(危险/可疑/安全)[11,25]。危险度分级与场景相关:厨房的撞击声(锅碗)危险度低、深夜卧室的撞击声危险度高——场景类别调制危险度阈值[11,24-25]。检测器的训练须重视负样本——笑声、欢呼、警报类电视声、装修声等易混淆声音须大量进入训练与测试,否则误报率将侵蚀系统可信度(狼来了效应:误报过多后真实危险也不被信任)[8,11]。误报的代价评估:轻应激误报的代价是打断当前任务(小),重应激误报的代价是制造恐慌与消耗防护资源(大)——因此重应激触发设更高置信度门槛,分级机制的本质是按代价分配触发阈值[7,11]。

6.3 应激触发机制

应激触发机制是危险声检测的输出通道,对应脑的"低通路"设计[6-9,11]:检测到危险声→应激触发信号(TriggerSignal: danger)→生存层(L5)响应[11]。应激响应的内容[6-9,11]:行为冻结/停止(立即暂停当前动作,防止危险中继续操作);转向声源(头部/传感器转向危险方向,获取更多信息);准备防护(激活防护行为:后退、遮挡、呼救);通知大脑(触发信号携带危险类别与方位,供大脑慢环确认与决策)[7,11]。应激期间的处理规则[11]:应激通道占用期间,常规听觉处理降级(只保留定位与继续监听危险声),防止应激状态下被无关声音干扰判断;应激结束由大脑决策(确认安全→解除应激;确认危险→升级为正式避险)[7,11]。应激响应的记录:每次应激的触发原因、响应动作与最终结论记入日志,供反思子网分析应激系统的准确性与合理性[11,18]。

应激触发的神经对应[6-9]:LeDoux低通路(丘脑→杏仁核)的工程实现——轻量危险检测器(粗糙度+模式匹配)直达生存层,不经语义分析[7];恐惧增强惊跳(Davis范式)提示应激强度可被条件化增强——工程上以"危险事件的上下文"调制触发强度[6,11]。

6.4 应激强度分级与误报抑制

应激触发须平衡"快"与"准"[7,11]:应激强度分级——轻应激(可疑声音:降低动作速度、保持警觉)、中应激(较确定的危险:停止动作、转向声源)、重应激(高置信危险:防护行为+呼救)[11];分级确认——触发重应激前先经轻应激+快速确认(0.1-0.3秒内的大脑语义复核:这是真火警还是电视里的火警声)[7,11];误报抑制——多特征冗余(单一特征不触发重应激)、场景调制阈值(厨房警报声大概率是电视)、历史校准(同一声音多次误报后自动降级)[8,11]。设计原则[7,11]:宁可轻应激误报(损失小),不可重应激漏报(损失大)——分级机制在两者间取得平衡[11]。分级确认的时间预算:轻应激响应在50 ms内发出(停止动作、转向声源),中应激在100 ms内确认升级(结合第二特征与场景),重应激在300 ms内完成(须经大脑语义复核——区分真实警报与电视音效)——每级都在预定时间预算内完成,超时未确认的按"就高不就低"原则升一级处理,保证安全余量[7,11]。

为澄清"低通路直达"与"复核确认"的时序关系,应激触发采用显式的四态状态机[7,11]:常态(监听)——检测到可疑声学事件→立即进入轻应激(响应50 ms内发出:降低动作速度、转向声源,此即"低通路"的直达响应,不经语义分析[7]);轻应激态(确认中)——系统在100 ms内结合第二特征与场景信息判断,证据不足则维持轻应激并继续监听,证据增强则升级中应激(停止动作、准备防护);中应激态(复核中)——大脑语义分析在300 ms内介入复核(区分真实危险与电视/广播声),复核确认危险→升级重应激(防护+呼救),复核确认无害→解除应激并记录误报;重应激态——持续防护并保持对危险声源的跟踪,危险解除经大脑决策后返回常态[7,11]。状态机的关键性质[11]:任何时刻都可被更强的危险证据打断升级(低通路始终可用);解除应激只能由大脑决策(防止检测器自锁误报循环);应激期间常规听觉处理降级但危险监听不降级——四态机统一了6.3"直达"与6.4"复核"的表述,应激系统在任意时刻都有明确的状态与转移规则[7,11]。

6.5 声音恐惧的条件学习

大脑会把中性声音与危险经历关联(条件恐惧),小脑听觉可工程化这一学习能力[6,11,18]:危险关联学习——若某声音反复伴随真实危险(如"这个房间的管道巨响后漏水"),系统将该声音标记为"本场景的危险信号"并在后续提高触发强度[6,11];安全关联学习——若某声音反复被确认无害(广播、邻居装修),自动降级其危险度[11];经验入库——条件学习的规则与样本经反思创新子网沉淀,形成"场景-声音-危险度"的经验库[18]。条件学习使应激系统随环境适应——同一声音在不同场景、不同经验下触发不同强度的响应[6,11,18]。条件学习的边界控制[11,18]:危险关联的建立须经"真实危险确认"(声音后确实发生了损害)而非仅凭时间巧合,防止迷信式关联(把无害声音与偶发事件错误绑定);关联强度设上限(声音不因重复关联而无限升级);关联可消除(环境变化后旧关联自动衰减——搬家后"管道巨响"不再预示漏水,关联逐步消退)[6,11,18]。

7 音乐与情感快触发

7.1 音乐节奏、能量与调式快检

音乐情感的快触发不需要完整的音乐情感识别(那是大脑音乐通道的深加工[13]),只需对"唤醒"与"效价"作出粗略快判[10,13]:节奏快检——节拍率(BPM)估计(轻量节拍跟踪,快节奏→高唤醒);能量快检——响度与频谱能量动态(能量上升→唤醒升高);调式快检——大调/小调判别(调式明暗→效价初判:大调偏愉悦、小调偏忧伤)。三者组合给出"唤醒-效价"二维粗定位[10,13]。

快检的实现[10,13]:全部采用轻量流式模型(节拍跟踪、能量包络、调式分类器),在音乐播放的1-2秒内产出初判[10];初判结果不追求精细(区分"舒缓/中性/激昂"三档唤醒与"明/暗"两档效价即可)——精细的情感标签由大脑音乐通道基于完整特征给出[13]。

7.2 舒缓音乐→舒畅情感的触发

慢节奏(约60-80 BPM以下)、低能量、调式明亮的音乐(舒缓音乐)经快检落入"低唤醒+正效价"区域,触发舒畅情感信号[10,13]:触发内容——情感子网收到TriggerSignal: music-calm,在八维情感空间中向"乐"(舒畅)维度施加温和偏置[17];生理类比——人听舒缓音乐心率与皮电降低、对应平静舒畅[10];应用场景——用户在放松场景播放轻音乐时,系统以"舒畅"为交互基调(语速放缓、语气温和),感知理解子网同步进入"轻松情境"理解[14,17]。

快触发与深分析的衔接[10,13]:舒畅触发是"先行信号"(1-2秒内发出),大脑音乐通道随后对音乐做深度情感识别(完整特征+八维映射[13]),若深分析结论与快触发一致(确为舒缓→舒畅)则强化触发;不一致(快检误判)则校正情感偏置并记录快检误差供反思[13,18]。舒畅触发的典型应用——陪伴场景:机器人检测到用户在听舒缓音乐且语速放缓(低唤醒语音线索[30]),触发"舒畅"情感基调,交互转为轻声细语;若用户随后关闭音乐并出现叹气(语音情感线索转向低落),舒畅触发自动撤销并转为"安静陪伴"模式——触发始终跟随用户状态而非机械绑定音乐播放状态[10,13,17,30]。

7.3 激昂音乐→激发状态的触发

快节奏(120 BPM以上)、高能量、大调为主的音乐落入"高唤醒+正效价"区域,触发激发信号[10,13]:情感子网向"喜/乐"的高唤醒侧施加偏置(振奋状态)[17];行为倾向——高唤醒情感调制任务节奏(运动场景的激昂音乐提升活动强度;工作场景的激昂音乐提升效率基调)[10,17]。负面高唤醒音乐(重金属式的嘈杂高唤醒+暗调式)落入"高唤醒+负效价",触发"警觉/烦躁"信号而非激发——系统识别后倾向建议降低音量或切换(尊重用户自主)[10,13]。

触发强度控制[13,17]:音乐触发的强度受情境门控(任务执行中音乐触发降级为"仅记录不扰动"——与大脑听觉的情感触发规则一致[13]);高唤醒触发须防"持续激昂导致的情感透支"——触发后监测情感状态,长时间高唤醒自动回落[17]。应用示例:用户在跑步时播放快节奏音乐,小脑听觉快检触发"激发"信号,情感子网进入高唤醒-正效价状态,行为层随之提高运动强度基调;若用户在深夜独自播放悲伤慢歌,快检触发"忧伤"信号,系统识别到低唤醒-负效价后倾向温和陪伴(不强行打断音乐,但调整交互语气为安静支持)——触发服务于用户状态,而非替用户决定情绪[10,13,17]。

7.4 触发感知理解子网(音乐情境理解)

音乐触发不只影响情感,还触发感知理解子网的情境理解[13-14,17]:音乐情境判断——快检结果+场景信息→"轻松咖啡厅氛围"“健身激励氛围”“悲伤场景配乐"等情境标签[14];音乐事件检测——歌曲切换、音乐类型变化(快检触发类型重估)[13];场景-音乐绑定——音乐类型与场景的一致性(教堂音乐vs健身房音乐)辅助场景识别[14]。感知理解子网的音乐情境理解与情感子网的舒畅触发并行:情境理解回答"这是什么场合的音乐”(认知侧),情感触发回答"这音乐让我感觉如何"(情感侧)——两条并行触发共同构成对音乐输入的完整响应[13-14,17]。

7.5 触发情感子网(八维情感映射)

快触发向情感子网的映射[13,17]:快检的"唤醒-效价"二维定位映射到八维情感空间——低唤醒+正效价→乐(舒畅)、高唤醒+正效价→喜/乐(振奋)、低唤醒+负效价→哀/悲(忧伤)、高唤醒+负效价→恐/怒(警觉)[17];映射强度由快检置信度调制(快检粗判→弱触发、大脑深分析确认→强化)[13,17]。触发结果作为情感子网的"外部刺激输入",与视觉情感、语音情感等经情感子网的多源融合规则整合[17]——多模态一致时(舒缓音乐+用户放松的表情)增强舒畅状态;冲突时(舒缓音乐+用户紧张表情)以用户自身状态为准[17]。触发映射的时序管理[13,17]:快触发先于深分析到达情感子网,情感子网先以弱强度应用快触发结果(“暂定舒畅”),大脑音乐通道的深分析到达后按结论确认或修正(“确认为愉悦性古典乐→维持舒畅;修正为忧伤民谣→转为哀伤倾向”)——"先轻触、后校准"避免快检误判在情感系统留下持久痕迹[13,17]。

7.6 触发强度控制与噪声防护

情感触发需防滥用与噪声骚扰[13,17]:触发强度上限——单次音乐触发的情感偏置设上限(音乐不应导致情感状态的剧烈突变);噪声防护——环境噪声(装修声、交通声)不被误判为音乐,噪声场景的音乐检测须先经"音乐性判定"(节拍规律性、和声结构)[13];主动降噪——检测到持续高分贝噪声时触发听力保护(降低扬声器音量、提示用户)——工程对应生物听觉的过载保护[28]。触发控制的目标[13,17]:音乐是情感的资源而非刺激物——小脑听觉快触发为大脑情感系统提供"柔和的引导信号",而非"强制的情绪注入"[13,17]。为落实这一目标,触发通道设置用户可控开关(用户可关闭"音乐情感触发"只保留危险触发)、触发强度可调(柔和/标准/关闭三档)、触发记录可查(用户可查看系统何时因何音乐触发了何种情感信号)——触发系统的透明与可控是其伦理合规的基础[11,17]。

8 与大脑五子网及小脑部位的协作

8.1 听觉语句原语→五子网联合处理

小脑听觉产出的听觉语句原语经GWS广播,供大脑五子网按各自职能联合处理[11-19]:感知理解子网把语句作为"语言事件"并入世界状态(谁在何时说了什么)[14];认知推理子网消费语句语义执行意图分析与任务规划(“把杯子递给我"→取杯任务)[15];世界模型子网把语言事件纳入情境推演(对话走向、任务后果)[16];情感子网消费语音韵律情感初判更新情感状态[17];反思创新子网收集转写错误与触发误判的归因素材[18]。这一协作与本系列"大脑五子网视觉联合处理"同构——视觉以Object3D+视觉世界状态为事实源,听觉以SoundObject+听觉语句原语为事实源,两类事实在世界状态层汇合(多模态整合)[11-19]。听觉事实与视觉事实的互补性[13-14]:视觉提供"持续的场景布局”(物体与空间),听觉提供"事件与言语"(正在发生什么、谁在说什么)——世界状态中最具动态性的部分(对话、警报、呼唤)恰恰由听觉事实驱动,听觉原语的时戳粒度(毫秒级事件)也为世界模型的事件推演提供精细输入[14,16]。

8.2 与大脑听觉处理的分工协同

1.7节给出了小脑与大脑听觉"四个对"的分工纲领,3.6节给出了三类接口,本节聚焦协同的动态过程[11-13]:触发先行——小脑的危险触发、舒畅触发与名字呼叫触发先于大脑分析(快触发),大脑随后确认或校正[7,13];语句接力——小脑的语句原语(快转写+边界+碎片标记)交给大脑做深度补全与语义化,大脑不重复底层转写[13];事实共享——小脑的声源方位与场景事实供大脑语义的空间锚定与情境理解[11,13];结果回流——大脑深分析的结论(语义、情感标签)回流小脑,校准小脑的触发阈值与快检参数(“这种声音不是危险,下次降低触发”)[13,18]。两级协同形成"快环触发、慢环确认、误差回流"的闭环[11-13]。误差回流的典型场景:小脑把某句快转写误识(“四楼"听成"死楼”),大脑结合上下文纠正为"四楼"——纠正结果回流小脑,更新该声学模式的转写偏好;小脑把某声音误触为危险(实为电视音效),大脑确认无害后回流校正触发阈值[13,18]。回流信息经反思创新子网沉淀为经验(哪些场景易误触、哪些口音易误识),小脑听觉的模型与阈值随使用持续校准——“快环越用越准”[13,18]。

8.3 与感知理解子网、认知推理子网的衔接

小脑听觉与认知侧子网的衔接[14-15]:与感知理解子网——听觉语句与视觉场景的跨模态印证(听到"杯子"与看到杯子→世界状态的高置信事件)[14];与认知推理子网——听觉驱动的推理(听到用户说"热"→推断房间温度高或用户不适→结合场景确认)[15]。衔接的时标设计[11,15]:小脑听觉的快结果(语句原语、声源事件)先入认知队列,认知推理按任务需要取用,不要求认知处理匹配听觉快环的节拍[15]。

8.4 与情感子网的衔接

小脑听觉的情感触发经触发信号与情感子网衔接[13,17]:TriggerSignal: music-calm/danger等作为情感子网的外部输入;触发信号携带方位与场景上下文(“左侧厨房传来的警报声”)帮助情感子网判断情感含义(警报→警觉而非恐慌的度)[11,17];情感子网的情感状态经GWS回流小脑调制触发阈值(焦虑状态下危险声触发更敏感、平静状态下音乐触发更有效)[17]。调制须设边界:情感状态对触发阈值的调制幅度有限——不得因用户焦虑而把日常声响误触为危险、也不得因用户平静而漏掉真实警报,阈值调制只是"微调灵敏度"而非"改写危险判据",危险判据的客观性由生存层保证[11,17]。

8.5 与生存层的应激通道

小脑听觉的应激触发与生存层(L5)的直接通道[6-9,11]:危险声检测→TriggerSignal: danger→生存层接管(无论当前认知任务为何,生存层可暂停任务执行应激响应)[11];应激响应的协调——生存层决定行为(停止/躲避/呼救),认知层在应激后评估并决定后续策略,小脑听觉在应激期间保持对危险声源的持续跟踪[7,11]。应激通道的权限[11]:生存级消息可打断任何任务级处理,但不得被误用(仅危险检测器可发danger信号,且信号须含证据字段供审计)[11,18]。危险检测器本身的可靠性要求[11]:检测器须通过安全评测(危险声全检出、无害声误报率达标)方可启用重应激触发;检测器升级须回归测试(历史危险样本全部检出);检测器运行状态自监控(模型失效时降级为"只听不改"的保守模式,宁可漏触发不误触发重应激)[11,18]。

8.6 与小脑部位模型的协作

小脑听觉与小脑部位模型的协作[11,19]:与头部模型——听到声源→头部转向指令(转头注视声源);听觉-前庭-VOR协同(转头时视觉稳定+声源方位保持)[19,27];与手部模型——危险声→手部停止/回避;抓取中的听觉反馈(物体滑落声→抓取调整)[19];与下体模型——危险声→身体避让/撤离路径触发[11]。协作的消息格式[11]:小脑听觉输出SoundEvent+方位,部位模型的前向模型预测运动后果,听觉反馈验证执行结果——"听-动-听"的执行闭环[11,19]。协作的典型时序[11,19]:听到名字呼叫(20 ms定位+事件确认)→头部转向声源(头模型执行,50-100 ms内到位)→视觉接手确认说话人(视觉-听觉交叉验证)→语音支路转入对话模式(语句原语持续产出)——一次完整的"闻声转头、转而后语"由听觉、头部、视觉、大脑四条通路在数百毫秒内协同完成[11,13,19]。

8.7 听觉-前庭-运动协调

听觉、前庭与运动的协调是小脑听觉区别于大脑听觉的独特职能[11,19,27]:声源定位的头动补偿(前庭IMU提供头部姿态,把双耳坐标方位变换到世界坐标)[27];运动中的听觉稳定(行走/转头时声源方位估计不因自运动而漂移——自运动剥离,与小脑视觉的自运动/世界运动区分对偶[19]);平衡与听觉的共享(跌倒检测中听觉事件(撞击声)+前庭事件(加速度异常)互为印证)[11,19,27]。协调实现[11,27]:共享头部姿态估计(听觉、视觉、前庭共用同一姿态源);统一空间坐标(声源、视觉物体、身体朝向在同一坐标系);运动预测的听觉验证(前向模型预测运动中的听觉变化,与实际听觉比对)[11,19,27]。

9 训练评估与应用

9.1 训练数据与方案

小脑听觉处理的训练数据覆盖四类任务[2-11,20-25]:空间任务——双耳录音(含方位标注,可用HRTF仿真扩展)、声学场景数据(DCASE系列[24-25]);语音任务——流式语音数据(语音+时间戳对齐,含噪声与多人场景[20-23])、唤醒词数据;危险声任务——尖叫与危险声样本(尖叫数据集、警报/玻璃破碎样本[8,24])与负样本(笑声、音乐、日常噪声——抑制误报的关键);音乐触发任务——带节奏/调式/唤醒-效价标注的音乐数据[10]。

训练方案分阶段[11,20-25]:第一阶段——各支路独立预训练(定位模型用双耳数据[2,11]、语音用流式ASR预训练[20-23]、事件检测用DCASE数据[24-25]);第二阶段——支路间联合微调(定位+事件联合的SELD训练[11]、事件+触发的危险度分级训练);第三阶段——接入双脑架构的端到端适配(触发信号与情感子网/生存层的响应策略对齐训练)[11,13,17]。训练损失设计[11,20-25]:定位采用方位回归损失(角度误差)与检测分类损失联合[11];语音采用RNN-T的转导损失[21-22];危险事件采用二分类(危险/安全)+细分类损失,负样本加权(误报抑制)[8,24];触发采用分级排序损失(重应激触发须高置信)[11]。训练稳定性沿用系列措施:冻结-解冻、课程学习(先安静场景后噪声场景)、早停与多任务评估监控[11,13]。数据伦理:语音数据涉及隐私(快转写处理的是真实对话)——训练数据须脱敏与授权,端侧处理优先(原始音频不上云),与系列论文的隐私设计一致[11,18]。数据增强:危险声与尖叫样本稀缺,采用变速/加噪/混响增强与仿真生成(HRTF渲染不同方位的尖叫样本,扩充双耳训练数据)[2,8,11]。

9.2 小脑听觉处理质量评估体系

本文提出小脑听觉处理五维质量评估体系[2-13,24-25]:

空间听觉质量:定位精度(方位角误差)、场景分类准确率。测度:双耳定位基准与DCASE基准[2,24-25]。目标参考:安静场景方位误差<5°,噪声场景<15°。

语音快转写质量:流式转写字准确率(含部分结果的及时性)、语句边界正确率、语句原语可用率[13,20-23]。测度:流式ASR评测。

危险检测质量:危险事件检出率、误报率、应激响应时延。测度:危险声测试集(含负样本)。目标参考:检出率>95%,误报<1次/日,响应<100 ms[11]。

音乐触发质量:节奏/调式快检正确率、触发恰当性(舒缓音乐→舒畅的正确触发率)[10,13]。测度:音乐触发测试。

协同质量:语句原语被大脑正确消费的比例、触发-确认一致率、快慢两级结果冲突率[11-13]。测度:端到端任务测试。

表1给出五维评估的指标与测度方法及目标参考,数值依据说明:方位误差与场景准确率目标参考声学场景与定位基准的报告水平[2,24-25];快转写目标参考流式ASR的精度水平并考虑快环的时延约束[22-23];危险检测目标按"检出优先、误报受控"的安全原则设定(检出率>95%优先于误报率<1次/日)[8,11];音乐触发目标按快检的粗判定位设定(85%即可用,精细由大脑深分析保证)[10,13];协同质量中的原语可用率与确认一致率按两级接口的设计目标设定[11,13]。上述数值均为架构设计阶段的目标规格,量化验证留待原型实现后以实测校准[11-13]。

表1 小脑听觉处理五维评估体系

维度指标设计目标参考
空间听觉 方位误差、场景准确率 误差<5°(安静),场景>85%
语音快转写 字准确率、边界正确率 快转写字准>90%
危险检测 检出率、误报率、时延 检出>95%,误报<1次/日,<100 ms
音乐触发 快检正确率、触发恰当性 快检>85%,触发恰当>90%
协同质量 原语消费率、确认一致率 原语可用>95%,一致率>90%

9.3 与既有方案的对比

表2给出小脑听觉处理与既有听觉处理方案的对比[11-13,20-25]。

表2 小脑听觉处理与既有方案对比

维度通用ASR系统声学场景系统大脑听觉处理[13]本文小脑听觉处理
声源定位 弱(语义为主) 双耳+阵列定位
危险应激 部分(事件检测) 应激触发(低通路)
语音快转写 强(离线/流式) 强(深度成句) 流式快转写(供大脑)
音乐情感 深分析(八维) 快触发(唤醒-效价)
快慢协同 单层 单层 慢环 快环+与慢环接口
执行耦合 头/手/身部位联动

通用ASR强于离线识别精度[20-23]、声学场景系统强于场景与事件分类[24-25]、大脑听觉处理强于语义与情感的深度加工[13]——本文以"快环定位+危机触发+快转写供数+情感快触发+执行耦合"补全听觉的执行侧与生存侧空缺,与大脑听觉处理构成听觉快慢双轨[11-13]。对比的启示[11-13]:单点技术(定位、ASR、AED)各自成熟,但"以快环时标整合定位-危机-转写-触发并为大脑供数"的系统架构仍是空白——听觉的执行侧长期由各单点方案零散拼凑(导航用定位模块、安防用事件检测、对话用ASR),缺少统一快环前端的设计,这正是本文的切入点[11-13]。

9.4 应用场景

小脑听觉处理的应用场景[11-19]:服务机器人——听到用户呼唤即转头(方位触发注意)、危险声即刻停止动作、边听边转写支撑对话[11,15];家庭监护——老人摔倒的撞击声检测、异常静默监测、危险声自动呼救[8,11];陪伴机器人——音乐触发舒畅/激发情感、语音情感初判服务情感交互[10,17];工业巡检——设备异响检测(声音异常→预警)、危险区域的声音警戒[11,24-25];电力生产场景——变电站与机房的异常声响监测(放电声、设备异响的早期识别),与巡检机器人的声源定位结合实现"闻声查障"[11,24-25];智能驾驶的类脑对照——车外声音事件(鸣笛方位、碰撞声)的快环处理与车内语音交互,与类脑听觉前端同构[11];辅助听觉——智能助听器中的双耳波束成形与噪声抑制(听觉注意解码的工程应用方向[26])。在家庭服务场景中,小脑听觉的价值尤其明显:机器人听到厨房传来"哐当"声(撞击事件)→轻应激响应(暂停当前动作、转向厨房)→大脑确认是锅盖掉落(无害)→恢复任务并记录"厨房锅盖易掉落"的环境知识——整个过程展现"快环感知-慢环确认-经验沉淀"的完整协作,也是服务机器人安全性的关键一环[11-18]。

9.5 挑战与展望

挑战1:噪声与混响下的定位与转写[2-5]。缓解:阵列+双耳混合、多条件训练、大脑语义纠错兜底[11,20-23]。挑战2:危险声检测的误报与漏报平衡[6-9]。缓解:分级触发、多特征冗余、场景调制阈值、条件学习校准[8,11]。挑战3:快转写与深理解的衔接损耗[13]。缓解:语句原语标准化、大脑深度补全闭环、误差回流校准[13,18]。挑战4:触发系统的伦理边界(应激勿滥用、情感触发勿操纵)[11,17]。缓解:触发强度上限、审计日志、用户可控的情感触发开关[17]。

展望1:神经形态听觉前端——事件驱动麦克风与脉冲神经网络的低功耗听觉(只有声事件才耗电)[11];展望2:听觉注意解码的工程化——以脑电/眼动线索引导声源聚焦(真正"听你所想听")[26];展望3:小脑听觉-视觉-前庭的深度统一——空间感知三模态的共享坐标系与联合注意,走向"统一空间感知"的小脑快环体系[11,19,27]:听觉的"声音在哪"、视觉的"物体在哪"与前庭的"我在哪"三者以同一空间表示组织,任何模态的线索都可激活其他模态的确认(听到声音找视觉证据、看到物体听其声响、身体移动后重估声源方位),使小脑快环感知超越单模态限制,成为统一的"空间事件处理器"[11,19,27]。

9.6 小脑听觉处理与LOPD七层的完整映射

小脑听觉在LOPD七层中的映射[11-12]:L1物理层——麦克风阵列与前庭IMU(声学传感器);L2肢体层——双耳配置与头动机构(转头听声);L3感知门户——听觉通道接入(快环信号入口);L4神经层——小脑听觉处理本体(空间/事件/原语三层)[11];L5生存层——危险声应激通道(尖叫→应激的直接响应)[6-9,11];L6社会层——社交听觉(名字呼叫响应、语音情感初判辅助社交)[11,17];L7文明层——文化声音的听觉规范(不同文化的警报声、音乐审美差异)[11-12]。七层映射表明:小脑听觉不是孤立的信号处理,而是贯穿"物理-肢体-门户-神经-生存-社会-文明"的执行侧听觉主线[11-12]。

10 结论

本文基于面向逻辑思维的程序设计方法(LOPD)双脑架构,提出类脑大模型小脑听觉处理设计。主要结论如下:

(1)小脑听觉处理是听觉的"快环前端",与大脑听觉处理(慢环语义)构成快慢双轨:小脑听"方位、危机与快语",大脑听"语义、情感与深意"——“小脑快触发、大脑深分析”[11-13]。

(2)听觉空间处理以双耳线索(ITD/ILD)与麦克风阵列实现声源定位与声学场景识别,头部运动补偿维持世界坐标系下的方位恒常,为"听声辨位、转头循声"提供毫秒级空间能力[1-2,11,24-25,27]。

(3)语音快环预处理以语音活动检测、流式识别与语句快速补全,把语音转为文字并补充为"干净而字面"的听觉语句原语,供大脑五子网联合处理——大脑在其上完成深度补全、语义化与意图识别,两级接力使"边说边懂"成为可能[13,20-23]。

(4)危险声检测与应激触发是听觉的安全职能:尖叫的粗糙度特征等声学线索经轻量检测直达生存层,分级应激(轻-中-重)与场景调制阈值在"快"与"准"之间取得平衡,条件学习使应激系统随环境适应[6-9,11]。

(5)音乐与情感快触发以节奏、能量与调式快检先行激发情感子网与感知理解子网——舒缓音乐激发舒畅情感、激昂音乐激发振奋状态,大脑音乐通道随后深分析并校正,触发强度受控以防情感操纵[10,13,17]。

需要说明的是,本文属架构设计论文,提出小脑听觉处理的架构与机制设计,量化参数均为设计目标,验证留待后续原型实现与实测,这一方法论定位与系列论文一致[11-19]。

从方法论看,小脑听觉处理是面向逻辑思维的程序设计方法在听觉执行侧的收口实践[11-12]:如果说《大脑听觉处理》回答了"听觉如何服务认知与情感",本文则回答"听觉如何服务空间、生存与执行"。它将听觉神经科学的分工原理(双耳定位的延迟线与上橄榄核编码[1-2]、恐惧的低通路加工[7]、尖叫的粗糙度声学[8]、前庭小脑的内模计算[27])映射为小脑快环的可计算结构,将逻辑思维对执行的要求(方位明确、危机及时、供数可靠、触发有度)落实为可工程化的处理流程[1-13]。

小脑听觉处理的成长路径:从"听得见声音"到"听得清方位"到"听得懂快语"再到"听得准危机"——听觉处理随类脑大模型的进化从"被动收音"走向"主动听世界的执行侧听觉底座"[11-19]。这条路径的每一步都以可测指标为里程碑(方位误差、响应时延、转写可用率、误报率),使设计目标可分解、可实现、可评估——符合LOPD方法"以逻辑思维组织、以工程可证伪性为前提"的一贯要求[11-12]。其终极目标是"听声辨位、闻警即动、快语入脑、乐感入心":声源定位准、应激响应快、语句供得上、情感触发当——让类脑大模型的听觉既有大脑的深度,又有小脑的速度[11-19]。

从听觉通路的完整图景看,小脑听觉处理与大脑听觉处理、感知层多模态整合共同构成类脑大模型的听觉体系:小脑快环提供方位、危机与语句原语(快事实),大脑慢环提供语义与情感深度(深解释),感知层整合把听觉事实与视觉、触觉事实统一为世界状态——三级时标、三层深度、一套接口,听觉由此真正成为类脑大模型"感知世界、理解世界、回应世界"的完整通道[11-19]。后续工作将沿三个方向推进:一是小脑听觉快环的原型实现与五维评估实测;二是与大脑听觉处理、大脑五子网的原型联调(语句原语接力与触发-确认闭环);三是小脑听觉-视觉-前庭统一空间感知的集成验证[11-19,27]。


参考文献

[1] Jeffress L A. A place theory of sound localization[J]. Journal of Comparative and Physiological Psychology, 1948, 41(1): 35-39.
[2] Grothe B, Pecka M, McAlpine D. Mechanisms of sound localization in mammals[J]. Physiological Reviews, 2010, 90(3): 983-1012.
[3] Cherry E C. Some experiments on the recognition of speech, with one and with two ears[J]. The Journal of the Acoustical Society of America, 1953, 25(5): 975-979.
[4] Wang D, Brown G J. Computational auditory scene analysis: Principles, algorithms, and applications[M]. Hoboken: Wiley-IEEE Press, 2006.
[5] 黄雅婷, 石晶, 许家铭, 等. 鸡尾酒会问题与相关听觉模型的研究现状与展望[J]. 自动化学报, 2019, 45(2): 234-251.
[6] Davis M. Pharmacological and anatomical analysis of fear conditioning using the fear-potentiated startle paradigm[J]. Behavioral Neuroscience, 1986, 100(6): 814-824.
[7] LeDoux J E. Emotion circuits in the brain[J]. Annual Review of Neuroscience, 2000, 23: 155-184.
[8] Arnal L H, Flinker A, Kleinschmidt A, et al. Human screams occupy a privileged niche in the communication soundscape[J]. Current Biology, 2015, 25(15): 2051-2056.
[9] Sauter D A, Eimer M. Rapid detection of emotion from human vocalizations[J]. Journal of Cognitive Neuroscience, 2010, 22(3): 474-481.
[10] van der Zwaag M D, Westerink J H D M, van den Broek E L. Emotional and psychophysiological responses to tempo, mode, and percussiveness[J]. Musicae Scientiae, 2011, 15(2): 250-269.
[11] 冯胤清. 面向逻辑思维的程序设计方法——脑的设计(双脑架构)[J]. 2026.
[12] 冯胤清. 面向逻辑思维的类人机器人程序设计架构: 七层认知层次模型与社会化测试框架[R]. 2026.
[13] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型大脑听觉处理设计[J]. 2026.
[14] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型感知理解子网设计[J]. 2026.
[15] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型认知推理子网设计[J]. 2026.
[16] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型知识想象决策(世界模型)子网设计[J]. 2026.
[17] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型情感子网设计[J]. 2026.
[18] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型反思创新子网设计[J]. 2026.
[19] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型小脑视觉预处理设计[J]. 2026.
[20] Radford A, et al. Robust speech recognition via large-scale weak supervision[C]//ICML. 2023.
[21] Graves A. Sequence transduction with recurrent neural networks[J]. arXiv:1211.3711, 2012.
[22] He Y, Sainath T N, Prabhavalkar R, et al. Streaming end-to-end speech recognition for mobile devices[C]//ICASSP. 2019.
[23] Li J. Recent advances in end-to-end automatic speech recognition[J]. APSIPA Transactions on Signal and Information Processing, 2022, 11(1).
[24] Stowell D, Giannoulis D, Benetos E, et al. Detection and classification of acoustic scenes and events[J]. IEEE Transactions on Multimedia, 2015, 17(10): 1733-1746.
[25] Ding B, Zhang T, Wang C, et al. Acoustic scene classification: A comprehensive survey[J]. Expert Systems with Applications, 2024, 238: 121902.
[26] O’Sullivan J A, Power A J, Mesgarani N, et al. Attentional selection in a cocktail party environment can be decoded from single-trial EEG[J]. Cerebral Cortex, 2015, 25(7): 1697-1706.
[27] Cullen K E. Internal models of self-motion: Neural computations by the vestibular cerebellum[J]. Trends in Neurosciences, 2023, 46(11): 986-1002.
[28] 声音转导与听觉系统工作原理[EB/OL]. 2026.
[29] 人耳的听觉范围与声音频率对情绪的影响[EB/OL]. 2026.
[30] 陶建华, 陈俊杰, 李永伟. 语音情感识别综述[J]. 信号处理, 2023, 39(4): 571-587.
[31] 双耳声事件定位与检测(BiSELD)技术[R]. 2025.

赞(0)
未经允许不得转载:网硕互联帮助中心 » 面向逻辑思维的程序设计方法——类脑大模型小脑听觉处理设计
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!