云计算百科
云计算领域专业知识百科平台

标签:人工智能

第125页

技术产品服务异常时如何分层降级

技术产品服务异常时如何分层降级在端侧设备(如嵌入式设备、边缘网关或移动终端)部署 AI 推理模型时,工程环境相比云端具...

阅读(147)

大模型编排中的故障隔离

大模型编排中的故障隔离编排链路里,异常输入、检索超时和工具失败应当被分别处理。将错误统一抛给模型继续猜测,往往会掩盖真正的边界问题。...

阅读(92)

大模型服务首版的必要边界

大模型服务首版的必要边界第一版的边界应从一个具体业务任务和可观测指标出发;下面的组件只是可选组合,不是所有团队都必须采用的标准答案。...

阅读(147)

云原生交付服务异常时如何分层降级

云原生交付服务异常时如何分层降级推理服务出现排队、显存不足或网关超时时,先把流量和故障域隔开。降级不是简单换模型:需要区分可排队请求...

阅读(133)

智能角色功能的交付验收

智能角色功能的交付验收 先把对象说清楚 沈砚舟处理游戏客户端里的“智能角色功能的交付验收”时,通常不会先讨论工具多不多,而是先把任务...

阅读(109)