AI 眼镜上的多模态：从感知外部世界到读懂人类大脑
会议: 产品力领航者大会 PM × AI · 2026 春季 | 讲者: 吴秋璇 Eileen Wu（Google AI & Glasses Product Lead） | 时间: 2026-04-24 下午 · 大厂 AI 产品探索分会场
一句话总结
多模态 AI 与眼镜是天作之合——眼镜解放双手、共享视野、融入现实、提供新交互；下一步 BCI（脑机接口）将让眼镜从”感知外部世界”进化到”感知人的大脑”，由”外部 + 内部”双重感知共同决策”正确时间、正确方式、正确内容”的交互。
速览
- 手机时代的产品逻辑正在失效——真正有用的 AI 助手需要解放双手。
- 眼镜的四大核心突破——解放双手、共享视野、融入现实、新的交互（系统主动出现）。
- 眼镜上多模态 AI 的三大核心能力——环境理解、意图推断、适时输出。
- 五大产品挑战——延迟、电量、隐私、信息过载、生态系统，都是从 2012 谷歌眼镜到 2026 眼镜市场的核心瓶颈。
- BCI + XR 是下一代范式——眼镜从感知世界扩展到感知大脑。
- 三个认知维度是手机时代完全看不见的信号——专注度、焦虑度、疲惫度，分别决定信息何时出现、信息密度与措辞、交互复杂程度。
- 双重感知模型——外部感知（视觉/语音/空间/场景/物体/文字/环境动态变化）+ 内部感知（专注度/焦虑度/认知负荷/情绪/注意力状态）共同决策交互方式。
- 产品里的认知感知设计三原则——系统主动性、注意力预算、无感体验。
- 职业心法——识别”公司赌注”（Big Bets）+ 把热情当作”抗风险工具”。
- 做重要的事 + 做热爱的事——讲者总结的产品人成长法则。
核心内容
讲者背景：5 步成长轨迹
- 第一次实习：AR in Edu（教育领域 AR）
- 研究经验：Haptic Glove、Construction、BCI + XR
- 产品经理：在 Worked on multiple billion users products
- 现在：XR — Build new interaction paradigms between human and AI
- 配图包括 Google 实习获奖照、手套硬件设计图、HoloLens 2 头显（embedded brain sensing component over visual cortex / Scene generated based on user’s brain activity / User wearing the system）、超市/家居场景拍摄
- 引用 https://www.android.com/xr/，对应 Google Android XR 平台
第一章：为什么多模态 AI 最好的使用产品是眼镜
手机 vs AI 眼镜的 6 维对比
| 维度 | 手机 | AI 眼镜 |
|---|---|---|
| 交互方式 | 点击 / 滑动 / 打字 | 语音 / 视线 / 手势 / 动作 |
| 信息呈现 | 屏幕 | 对应现实物体 |
| 触发时机 | 用户主动打开手机、App | 系统判断何时出现 |
| 注意力 | 低头专注屏幕 | 把注意力放在真实世界 |
| 上下文 | 间接看见你所见、你所听 | 直接看见你所见、你所听 |
| 助手角色 | 工具，随用随关 | 全天候的协作者，伙伴 |
定调：“真正有用的 AI 助手，需要解放双手”——手机时代的产品逻辑正在失效。
眼镜的核心突破——4 个维度 眼镜是第一个真正与物理世界无缝融合的计算平台：
- 解放双手：用户的手是自由的，可以做真实世界的事
- 共享视野：AI 看到你看到的、听到你听到的
- 融入现实：信息不在屏幕里，而是叠加在真实世界上
- 新的交互：AI 在正确时刻主动出现
第二章：现在——多模态 AI 在眼镜上能做什么
三大核心能力
| 能力 | 定义 | 子能力 |
|---|---|---|
| 环境理解 | 看懂你面前的世界 | 场景识别（室内/室外/道路/商场）、物体识别与文字理解、空间关系与距离感知、实时动态变化捕捉 |
| 意图推断 | 知道你真正需要什么 | 结合语音指令 + 视觉上下文、推断任务目标而非字面指令、历史行为 + 当前场景融合、多轮对话的连续理解 |
| 适时输出 | 在对的时刻以对的方式出现 | 什么时候该说话、信息密度随场景动态调整、视觉/语音/触觉多通道选择、不打断用户最重要的事 |
产品路上的五大挑战（2012 谷歌眼镜 → 2026 眼镜市场）
| 挑战 | 需要解决的问题 |
|---|---|
| 延迟 | AI 推理速度和准确度 vs 实时体验感 |
| 电量 | 多模态感知耗电巨大 |
| 隐私 | 摄像头持续拍摄引发信任危机 |
| 信息过载 | 信息太多会抢占注意力，应尽早探究具身智能对人的长期影响 |
| 生态系统 | 需要建立全新的、适于开发的生态系统 |
讲者把这五条作为眼镜从 demo 到大规模产品的路障清单——任何一项不解决，眼镜都不会变成第二台手机。
第三章：未来——BCI 让眼镜从感知世界到感知大脑
思想实验：假设眼镜能实时感知你的认知状态
| 维度 | 低端表现 | 高端表现 | 产品决策 |
|---|---|---|---|
| 专注度 | 低 → 注意力涣散 | 高 → 高度集中 | 决定信息何时出现 |
| 焦虑度 | 低 → 平静放松 | 高 → 高度紧张 | 决定信息密度与措辞 |
| 疲惫度 | 低 → 精力充沛 | 高 → 极度疲劳 | 决定交互的复杂程度 |
讲者强调：“这三个维度，是手机时代产品完全看不见的信号”——这是 BCI + XR 想要打开的全新信号通道。
从实验室到产品想象
BCI x XR 研究
- AttentivU + XR、NeuroSkill —— MIT Media Lab
- Meta Neural Band + Orion —— Nature & Reality Labs
- “A review on Virtual Reality and Augmented Reality use-cases of Brain Computer Interface based applications for smart cities” —— Varun Kohli and more
BCI x XR 产品化应用
- 焦虑时 → 信息密度自动降低
- 专注时 → 推送更深度的内容
- 疲惫时 → 切换更简单的交互模式
双重感知模型——讲者最核心的产品框架
感知外部世界 感知人的大脑
┌──────────────┐ ┌──────────┐ ┌──────────────┐
│ 视觉·语音·空间 │ ── │共同决策 │ ── │ 专注度·焦虑度 │
│ 场景·物体·文字 │ │交互方式 │ │ 认知负荷·情绪 │
│ 环境动态变化 │ └──────────┘ │ 注意力状态 │
└──────────────┘ │ └──────────────┘
▼
正确时间 · 正确方式 · 正确内容外部感知告诉系统”现实世界正在发生什么”，内部感知告诉系统”用户大脑现在能承受什么”——两端共同决策出”正确时间、正确方式、正确内容”。
产品里的”认知感知”设计思路
| 原则 | 含义 | 落地方法 |
|---|---|---|
| 系统主动性 | 从”用户召唤”到”主动介入” | 触发逻辑：识别场景 → 判断介入 → 选择模态。不再等待 App 打开，而是在物理世界中实时决定交互逻辑 |
| 注意力预算 | 认知负荷可以是新的”加载速度” | 认知心理学：信息出现时机与精神健康保护。比如利用 EEG 调整信息密度，优化注意力分配 |
| 无感体验 | 设计”退出”与”消失” | 眼镜追求”恰到好处地消失”。眼镜需要在用户什么都不需要的时候，实现无感体验 |
第四章：体会分享——做重要的事 + 做热爱的事
职业成长的两条心法
① 识别”公司赌注”（Big Bets）
- 赌注是多年的战略布局，而非季度优先级
- 做赌注级项目：虽然不确定性高，但容错空间更大，是大公司里成长最快的”极限环境”
② 热情是”抗风险工具”
- 在没有答案的时候支撑你”不放弃”
- 当新硬件没有成熟的指标和竞品，当几个季度没有数据增长时，只有真正的兴趣能保住你的使命感
- 热情不是为了让你”更努力”，而是为了让你在迷雾中保持判断力
讲者用这两条心法把第一章”我的经历”和第三章”BCI 的远景”串起来——做眼镜这种长周期、高不确定性的产品，需要靠”重要 + 热爱”两个发动机才走得远。
关键金句
「真正有用的 AI 助手，需要解放双手」——吴秋璇 「眼镜需要在用户什么都不需要的时候，实现无感体验」——吴秋璇 「专注度、焦虑度、疲惫度——这三个维度，是手机时代产品完全看不见的信号」——吴秋璇 「赌注是多年的战略布局，而非季度优先级」——吴秋璇 「热情不是为了让你”更努力”，而是为了让你在迷雾中保持判断力」——吴秋璇
可行建议
- 评估眼镜产品的设计起点，从”系统判断何时出现”而非”用户召唤”出发，把 App 思维换成”识别场景 → 判断介入 → 选择模态”的触发逻辑链
- 任何眼镜产品发布前先做五项检查：延迟、电量、隐私、信息过载、生态系统——任意一项未达标，都还不是大众产品
- 多模态信息密度做动态化设计，参考 EEG/认知负荷信号；不要让”加载速度”只衡量技术延迟，把”认知加载速度”也当 KPI
- 探索 BCI + XR 时，先从”读取”信号做起（专注/焦虑/疲惫），不要急着做”写入”
- PM 选项目：识别公司多年的”Big Bets”投入——这些项目容错空间大、成长最快；同时保留对它的真实热情，这是穿越无数据期的工具
关键数据/案例索引
核心框架
- 手机 vs AI 眼镜 6 维对比（交互方式 / 信息呈现 / 触发时机 / 注意力 / 上下文 / 助手角色）
- 眼镜核心突破 4 维（解放双手 / 共享视野 / 融入现实 / 新的交互）
- 多模态 AI 三大核心能力（环境理解 / 意图推断 / 适时输出）
- 产品路上五大挑战（延迟 / 电量 / 隐私 / 信息过载 / 生态系统）
- 双重感知模型（外部感知 + 内部感知 + 共同决策）
- 三大认知维度（专注度 / 焦虑度 / 疲惫度）
- 认知感知设计 3 原则（系统主动性 / 注意力预算 / 无感体验）
研究引用
- AttentivU + XR、NeuroSkill —— MIT Media Lab
- Meta Neural Band + Orion —— Nature & Reality Labs
- “A review on Virtual Reality and Augmented Reality use-cases of Brain Computer Interface based applications for smart cities” —— Varun Kohli and more
- Android XR 平台：https://www.android.com/xr/
讲者经历的项目
- AR in Edu（教育 AR，第一次实习）
- Haptic Glove（手套硬件设计稿）
- Construction BCI + XR（HoloLens 2 + brain sensing component over visual cortex 实验：Scene generated based on user’s brain activity）
- Worked on multiple billion users products（产品经理阶段）
- 现在：Build new interaction paradigms between human and AI（XR）
讲者背景
- Eileen Wu（吴秋璇）
- 现职：Product Lead, AI & Glasses · Google
- 关注方向：探索新的人与世界的交互方式
对标参考
- 2012 年的谷歌眼镜（早期教训）→ 2026 年的眼镜市场
- 大公司 Big Bets 模型：把多年战略下注作为 PM 选项目的标准