您好,欢迎访问这里是竞博官网!

竞博

News新闻动态

您当前所在位置: 竞博 > 新闻动态 > 行业新闻

揭秘Meta最强AR眼镜Orion背后

发布日期:2024-09-29  浏览次数:

  ,不过当时亮相的产品整体看起来还非常厚重,此次 Orion 套装中的 EMG 腕带看起来轻薄了许多,其采用编织材质,内侧放置了多个传感器用来检测肌电信息,将其转换成电信号用来交互,可以实现诸多手势动作,如食指、竞博平台中指捏合,握拳拇指单击打、双击、左右上下滑动,同时腕带内置 IMU,通过手移动可以控制虚拟界面中的物体移动、滑屏等操作。竞博平台

  在手势追踪部分,Meta 考虑非常周全,通过腕带可以实现一部分手势,同时眼镜上的摄像头也可以进行 CV 视觉的手势捕捉,以应对其他交互出现问题时紧急状况。

  关于肌电手环,严格来说,其只是使用肌电信号控制设备的仪器。所谓肌电信号,给出的解释是,当肌肉细胞被生物电或者神经激活时产生的电能。

  而将单个或者多个肌肉细胞或者部分肌肉组织活动时产生的生物电变化,经电极引导,放大、记录和显示所获得的电压变化的一维时间序列信号图形,就是肌电图(electromyogram,简称 EMG),也就是我们今天能看到的肌电手环等使用的关键概念。

  肌电手环的技术原理与应用,VR 陀螺早前有多篇文章阐述其技术原理,国内从事肌电手环研发的傲意信息,早已将肌电手环用户残障人士,如断臂者可以通过肌电手环采集电信号后,释放到仿生机械手上,从而实现日常的拿取物体、用筷子吃饭等行为,真正让科技惠及民生。

  在应用层,Orion 展示了多个应用,包括全息视频、游戏、AI 识物等。

  Meta 为 Orion 眼镜开发了一款 Messenger 应用,能够与 VR 头显、手机的用户跨平台进行 3D 通话,类似苹果的 Persona 功能。当使用 3D 全息通话时,眼镜前方将显示对方的 3D Avatar,仿佛与真人在进行对话,通话过程中,Avatar 的眼神和嘴都会有对应的动作呈现。

  另一款内容是一个像素风的射击小游戏,主要操作是用头部以及眼动追踪锁定目标后,然后用手指捏合来发射子弹,由于可支持 6DoF 空间定位,所以画面会被固定在空间中,不会产生晕眩。

  AI 也是本次 Meta Conncet 的一大亮点,Meta 推出了首个开源多模态模型 Llama 3.2。扎克伯格称,当前 AI 最简单的用例之一是 AI 助手,而 Meta AI 在这一类别中脱颖而出,不仅可以免费无限制地访问最先进的 AI 模型,还可以轻松集成到不同的产品和应用程序中。Meta AI 有望在今年年底成为世界上最常用的 AI 助手。

  在 Orion 上 Meta 展示了两个 AI 场景,一个是通过文字生成图片;另一个为是通过眼镜直接识别场景中的物体,并进行解析。比如案例中演示了让 AI 根据桌面上所放置的食材,为用户提供一个适合的菜谱,并且在菜谱生成后,还能提供料理的所有步骤教程。此次,新版的 Ray-Ban Meta 眼镜相比上一代也实现了实时视觉处理和实时翻译,之前的 AI 需要先拍摄后,AI 基于拍摄的图像来进行理解和分析,所以存在一定的延迟,而实时视觉处理能够更快应对场景的变化从而实时进行分析。

  此次展示的 AI 功能只是 Llama 3.2 的小部分应用,实际上这个大模型已经能够实现以下诸多功能,如:

  扎克伯格展示了 Meta AI 根据用户输入自由编辑图像的能力。Meta AI 拥有 理解图像和文本 的能力,可以根据用户提供的 prompt 为原始图像进行添加、叠加新元素以及其他编辑操作。

  扎克伯格在现场展示了一段利用 Meta AI 根据真实人物创建 AI 角色智能体的演示。

  在对话中,AI 角色不仅外观、语音、说话方式与真实人物几乎无异,甚至能根据设置的人设对不同的问题作出具体回答。例如在问到对该人物最近出版新书的看法时,AI 可以提出自己的见解,而当问到养牛的技巧时,AI 不会跳脱人物身份胡言乱语,而会如实回答 我未拥有任何养牛技巧,我的专长在于技术设计而非农业。

  在 AI 演示中,扎克伯格特意强调了新工具 Reels,可以对视频进行自动翻译配音,无论原始视频是何种语言,Reels 都能在翻译后自动口型同步,实现两种语言语音的平稳切换,且从现场演示的两段视频来看,Reels 对转换后的语音声调音色和人物口型都处理得几乎看不出 AI 痕迹。

揭秘Meta最强AR眼镜Orion背后(图1)

  以上所有的 Meta AI 用例的实现都得益于 Meta 新推出的开源 Llama 3.2 模型。这是 Meta 第一个开源多模态模型,支持多种可视化理解需要的应用。

  其中 Llama 3.2 11B 和 90B 可以通过简单的描述解释图表和图像,例如分析公司营收图表或分析地形提供出行建议。

  但值得注意的是,由于欧盟法案的限制,Llama 3.2 11B 和 90B 将无法覆盖欧洲,但扎克伯格乐观地认为 Meta 将会解决这个问题。开源模型的持续更新使得 Meta AI 即使 没有在一些较大的国家推出 ,也收获了几乎 5 亿用户。

  以上 AI 功能并未完全应用到 Orion 上,不过可以预见的是 Meta AI 未来一定会应用到其全家桶所有产品上。

  就像苹果发布 Vision Pro,用最高的配置来堆性能一样,这次 Meta 也实实在在地秀了一把肌肉。不过整体来看,OST 路径的 AR 眼镜,由于其要在显示效果、FOV、重量、体积、功耗各方面取得平衡,但是其中几乎都是悖论,所以 AR 眼镜很难实现 六边形战士 ,甚至不存在 六边形战士 ,而如今 Meta 的产品雏型,更多给了我们一种未来的思考,未来 AR 眼镜的显示迭代、交互以及 AI 功能的应用等。

标签:vr眼镜
在线客服
服务热线

服务热线

13988888888

微信咨询
返回顶部
X

截屏,微信识别二维码

关注竞博lxljjgc

(点击微信号复制,添加好友)

打开微信

微信号已复制,请打开微信添加咨询详情!