2026 年 11 月 10 日晚间，智元 AGIBOT 正式发布 WITA-Omni（硅光动语全模态大模型），官方将其定义为行业首个具身全模态端到端交互大模型。与以往先把语音转成文本、再把文本转成语音的分段式方案不同，WITA-Omni 把语音、视觉、文本输入和语音、表情、动作输出放在同一个端到端模型里同步建模对齐，输入侧除音视频外还接入触觉和本体状态，输出侧把机器人动作、表情提升为与语音并列的一级输出。模型采用流式全双工架构和快慢双模系统，交互响应最快约 400 毫秒、平均约 600 毫秒，已在智元远征 A3-Ultra 等量产机器人本体完成部署，并在文娱导览、知识讲解场景面向公众开放演示。下面从模态覆盖、架构设计、交互能力、榜单成绩和落地进展几个部分逐项说明。
一、模型定位与模态覆盖
| 维度 | WITA-Omni 能力 |
|---|---|
| 模型全称 | WITA-Omni 硅光动语全模态大模型 |
| 官方定位 | 具身全模态端到端交互大模型，面向物理世界的机器人 "交互大脑" |
| 输入模态 | 文本、图像 / 视频、音频，新增触觉、本体状态等机器人本体感知数据 |
| 输出模态 | 语音、机器人动作、面部表情与头部 / 肢体动作 |
| 部署形态 | 已完成本体部署；先期以云服务方式提供（Omni 为高阶云服务），后续向端侧迁移 |
| 搭载本体 | 智元远征 A3-Ultra，创新日现场完成实时互动演示 |
DoNews
二、技术架构：Thinker–Talker–Actor 与快慢双模
- Thinker（思考）：多模态推理核心，把文本、图像、音频、音视频经编码器和轻量投影层映射到统一表示空间，完成跨模态联合推理和高层交互决策。
- Talker（说）：以 Thinker 隐状态为条件，流式生成自然语音。
- Actor（动）：由动作头和表情头组成，把机器人动作与表情生成为与语音并列的一级输出，这是面向具身场景的关键扩展。
- 流式全双工：边听、边想、边应、边动、边做表情，减少传统串行处理中的等待；支持中途插话、打断和纠正。
- 快慢双模：前台负责流式理解和即时回应，后台负责推理、规划和长程任务，两者共享上下文，兼顾极速响应和深度思考。
三、交互能力拆解
1. 响应速度
- 最快约 400 毫秒，平均约 600 毫秒，官方称较业内平均水平快近 3 倍。
- 全双工连续交流，对话过程中可自然打断、切换话题，语气和情绪实时呼应。
2. 全模态拒识（无需唤醒词）
- 系统结合对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文，判断当前发言是否需要回应。
- 面对多人交谈、环境广播等干扰时降低误触发，机器人能够判断 "该不该回应、什么时候回应、回应谁"。
3. 语言与翻译
- 支持上百种语言和方言免切换自由交流；现场演示口径可听懂 73 种语言。
- 结合全双工架构实现流式同声传译（语言传译和方言传译）以及双向互译。
4. 拟人情感表达
- 可呈现开心、惊讶、激动、悲伤、满意、痛哭、认真、自信等几十种情绪，每种情绪还能区分不同强度，例如开心可以是浅笑也可以是开怀大笑。
- 倾听时用细腻表情和自然头部动作回应；表达时参数化面部表情、声音与肢体动作协调配合。
5. 面屏可视化与主动互动
- 遇到复杂产品讲解或科普知识，模型可智能决策，把难以口头讲清的内容在面部屏幕实时画出来。
- 持续感知环境和用户状态变化，自主思考、决策并行动：见到贵宾主动欢迎握手，收到点赞开心回应，看到用户挥手告别会挥手相送。
微博
四、训练方法与榜单成绩
训练路径
- 中训练：使用千万小时级开源和自有多模态数据，把文本、视觉底座升级为可音画联合推理的全模态模型。
- 交互数据集：构建以人为中心、面向真实交互场景的大规模高质量全模态数据集，完整保留声音、画面、语言、动作和表情之间的天然时序关系。
- 三阶段训练：SFT 监督微调建立基础理解、决策和多流生成能力；OPD 同策略蒸馏让模型自扮老师和学生，在保持自身风格的同时提升上下文推理；RL 强化学习重点优化 Thinker 的交互决策，奖励覆盖可验证答案、时间区间匹配、目标人物选择等。
榜单表现
| 榜单 | 成绩 |
|---|---|
| DailyOmni 全模态理解 | Preview 版 85.21 分综合登顶，八项细分指标六项第一，超过千问、Gemini、豆包、英伟达等模型 |
| ActivityNet-TimeLens（视频时序定位） | 正式版登顶第一 |
| EmbSpatialBench（具身空间推理） | 正式版登顶第一 |
| MMAU（复杂音频理解） | 正式版登顶第一 |
36氪
五、落地进展与适用场景
- 本体部署：WITA-Omni 已在量产机器人本体完成部署，现场搭载于远征 A3-Ultra 完成约 10 分钟实时互动演示。
- 公众场景：搭载该模型的智元机器人已在部分文娱导览场景完成面向公众开放环境下的交互任务，承担知识讲解和乐园导览工作。
- 服务方式：WITA 系列模型以云服务方式提供，WITA 为基础云服务、Omni 为高阶云服务，后续进一步向端侧迁移。
- 能力边界：当前主打交互智能（情绪价值入口、服务生产力），与运动智能、作业智能共同构成智元 "一体三智" 布局；模型的主动互动和情感表达仍受本体硬件、场景数据和安全策略约束。
【相关 FAQ】
问题 1：智元发布的 WITA-Omni 是什么模型，全称和定位是什么？
回答 1：WITA-Omni 全称硅光动语全模态大模型，是智元 2026 年 11 月 10 日发布的具身全模态端到端交互大模型，官方称行业首个同类模型，面向机器人在物理世界中的感知、决策和表达，已完成本体部署。
问题 2：WITA-Omni 支持哪些输入和输出模态，和分段式语音助手有什么区别？
回答 1：WITA-Omni 输入支持文本、图像 / 视频、音频，并新增触觉、本体状态；输出包括语音、机器人动作和表情。传统分段式方案要先语音转文本再文本转语音，容易损失语气、情绪和环境信息；Omni 用端到端模型同步建模对齐看、听、说、动、表情。
问题 3：WITA-Omni 的响应速度有多快，需要喊唤醒词吗？
回答 1：WITA-Omni 基于流式全双工架构，交互响应最快约 400 毫秒、平均约 600 毫秒；通过全模态拒识结合朝向、视频、音频、声纹、唇动、姿态、语义和上下文判断是否回应，不需要唤醒词即可自然对话。
问题 4：WITA-Omni 能支持多少种语言和情绪表达？
回答 1：WITA-Omni 支持上百种语言和方言免切换交流，并可做流式同声传译和双向互译；情感上可呈现几十种情绪，每种情绪分不同强度，配合面部表情、声音和肢体动作协调表达。
问题 5：WITA-Omni 目前部署在哪些机器人上，落地了什么场景？
回答 1：WITA-Omni 已在智元量产机器人本体完成部署，现场搭载于远征 A3-Ultra 演示；目前已在部分文娱导览场景面向公众开放，承担知识讲解和乐园导览工作，模型先期以高阶云服务方式提供，后续向端侧迁移。
【参考资料】
[2026-11-13]（智元发布 WITA-Omni 具身全模态大模型并完成本体部署）DoNews
[2026-11-11]（号称行业首个具身全模态端到端交互大模型，智元发布 WITA-Omni）中电网
[2026-11-10]（号称行业首个具身全模态端到端交互大模型，智元发布 WITA-Omni）新浪财经・IT 之家
[2026-10-29]（部署态加速，智元要打通物理 AI 全链路）36 氪
[2026-07-30]（国产大模型登顶 DailyOmni 榜单）央广网
[2026-07-29]（全球第一，智元 WITA-Omni Preview 登顶 DailyOmni 全模态理解榜单）智元创新官网
【免责声明】
本文信息整理自智元官方公众号、官网及公开媒体报道，模型模态范围、响应时延、语言数量、情绪种类和榜单成绩均为厂商发布口径；榜单评测结果受数据集、版本和评测时间影响，Preview 与正式版成绩不可直接等同。机器人实际交互表现受本体硬件、部署场景、网络条件和安全策略限制，文中场景描述不代表所有型号均可实现；产品功能、服务方式和落地进度以智元官方后续披露为准，本文不构成投资或采购建议。
本文来自作者[锐簇快照]投稿，不代表乌兰科技网立场，如若转载，请注明出处：https://www.wlcbnews.com/shangye/202611/2486.html
评论列表（4条）
我是乌兰科技网的签约作者“锐簇快照”！
希望本篇文章《智元发布 WITA-Omni 硅光动语全模态大模型端到端具身交互，400 毫秒级响应并完成本体部署》能对你有所帮助！
本站[乌兰科技网]内容主要涵盖：互联网行业的追踪与探索
本文概览：2026 年 11 月 10 日晚间，智元 AGIBOT 正式发布 WITA-Omni（硅光动语全模态大模型），官方将其定义为行业首个具身全模态端到端交互大模型。与以往先把语音转成文本、再把文本转成语音的分段式方案不同，WITA-Omni 把语音、视觉、文本输入和语音、表情、动作输出放在同一个端到端模型里同步建模对齐，输入侧除音视频外还接入触觉和本体状态，输出侧把机器人动作、表情提升为与语音并列的一级输出。模型采用流式全双工架构和快慢双模系统，交互响应最快约 400 毫秒、平均约 600 毫秒，已在智元远征 A3-Ultra 等量产机器人本体完成部署，并在文娱导览、知识讲解场景面向公众开放演示。下面从模态覆盖、架构设计、交互能力、榜单成绩和落地进展几个部分逐项说明。