什么是混合现实? 技术更好的一面
已发表: 2022-09-16现实的跳房子。
所以,你在家里有一个重要的聚会,需要一些杂货。 当您到达杂货店时,您意识到您忘记了清单。 没有这份清单,购物似乎是不可能的——但您的混合现实眼镜可以为您提供支持。
眼镜给出了列表的视觉投影,以及每个项目在商店中的位置的方向。 一包您最喜欢的品牌的 tikka masala 脱颖而出,而其余的颜色则变得不饱和。 这使您的整体购物体验变得有趣、轻松、快捷。
欢迎来到混合现实世界。
混合现实是最近的一项创新,标志着业务方面不可避免的变化。 与增强现实可视化软件结合使用,它可以通过移动或可穿戴设备制作令人头晕目眩的产品视觉效果。
什么是混合现实?
混合现实 (MR) 是增强现实和增强虚拟的混合体,其中虚拟对象与物理空间中的现实对象交互。 无论您是否有使用混合现实内容的电脑屏幕,您仍然可以随时随地进行虚拟通话并就重要主题进行 3D 交互。
好的,这听起来与增强现实非常相似,那么有什么区别呢?
与增强现实(半数字体验)或虚拟现实(全数字体验)不同,混合现实为用户提供了两全其美的体验。
混合现实的示例包括 Instagram 或 Snapchat 滤镜、虚拟化妆应用程序和虚拟家具配件。 突出自然世界的本质并以醒目的视觉效果促进数字环境,使混合现实成为营销和信息传递的完美工具。
也称为增强现实 2.0,混合现实由一些尖端技术促进,使其独特且令人难忘。
混合现实如何工作?
要创建混合现实体验,您不必担心物理限制或障碍,但需要云计算和人工智能。
MR 设备由先进的 AI 传感器、摄像头、图形计算能力 (GPU) 和处理器(如显卡和核心芯片)提供支持,以处理和存储三个维度的数据。 设备配备的越多,混合现实体验就越好。 例如智能眼镜、手套、紧身衣或您的旧智能手机。
MR 设备可以将用户连接到有线或无线计算机、控制台或 PC 以访问软件。 该软件可以添加、克隆或移动您周围的虚拟对象以创建沉浸感。
新时代的混合现实耳机,如 HTC Vive 或 Meta Quest 2,创造了高保真环境,让个人参与虚拟互动,从而消除现实与技术之间的障碍。
提示:以下是 MR 解决方案需要跟踪的一些初始组件,以获得完美的混合现实体验。
- 通过空间映射和边界框检测物理对象
- 真实环境感知以创建计算机生成的复制品
- 输入设备,如相机、运动控制器、紧身衣裤和跑步机地板
- 对象识别以检测和分类现实世界的对象及其类别
- 物理和虚拟环境中的位置和位置跟踪以注册关系
- Ambisonics 或虚拟灯光可在显示虚拟内容时增加真实感
- 混合现实空间中的 3D 资产协作,以增强虚拟外观和感觉
除此之外,高级输入传感和软件开发工具包 (SDK) 对于创建真实的 MR 体验至关重要。
如果在任何给定时刻,输入感应停止工作,沉浸感就会中断。 MR 技术的这种复杂性证明了它为用户构建的不间断的沉浸式体验。
混合现实的历史
1994 年题为“ A Taxonomy of Mixed Reality Visual Displays ”的研究论文首次提到了混合现实。 通常被定义为“虚拟连续体”的组成部分之一,它在地面中间的某个地方遇到了 AR 和 VR 体验,从而创造了一种融合。
这篇论文的研究人员 Paul Milgram 和 Fumio Kishino 将混合现实视为视觉显示的组合,以一种每个元素相互交流的方式提升真实和虚拟环境。
混合现实频谱
混合现实频谱是物理和数字现实的线性表示。 它的连续规模介于完全虚拟现实和完全虚拟之间。
现实世界在最左边,没有任何东西是数字的。 一个完全虚拟的环境在最右边,一切都是计算机生成的。 混合现实介于增强现实和虚拟现实之间,数字世界和物理世界相互碰撞,创造出一个将动作捕捉与人工创作相结合的沉浸式平台。
资料来源:交互设计基金会
混合现实设备的类型
混合现实解决方案使用两种不同类型的小工具。
- 全息设备通过交互式虚拟全息图为用户创造半沉浸式体验。 Magic Leap VR、Microsoft HoloLens 和 Google Cardboard 等设备就是全息设备的示例。 它们允许用户创建 3D 视觉效果,以便通过边缘计算在任何地方存储、下载和共享。 它们用于工厂或制造工厂,为专业人员提供产品组装、机器操作和工厂检查等任务的远程视觉指导。
- 沉浸式设备使用头戴式显示器 (HMD) 将用户的周围环境完全替换为虚拟环境。 沉浸式设备有两个近眼显示器,每只眼睛一个,以 114° 的弧度相交,用户开始看到 3D。 沉浸式设备还提供六个自由度 (6DoF),因此用户可以在不中断沉浸式流程的情况下向任何方向查看和移动他们的四肢。
沉浸式设备的一个很好的例子是 Meta Quest 2 或三星 Gear VR。
混合现实的用例
MR 使您能够与任何人联系,无论您身在何处或是否有可用的计算机。 作为最近的一项创新,组织仍在测试其用例和应用程序以用于其业务运营。
营销中的混合现实
来自不同领域的初创公司正在寻求通过过渡到沉浸式技术来扩大其投资回报 (ROI)。 混合现实最近的增长鼓励企业使用它来扩展他们的营销活动。
混合现实在产品广告和营销中具有广泛的用例,因为它为客户提供了免提产品体验。 使用 MR 耳机,消费者可以在付款前与公司的产品或服务进行虚拟试验和互动。
教育中的混合现实
在学校和其他教育应用(例如研讨会或讲座)中使用混合现实技术具有很大的优势。
资料来源: NTLTP
这段视频在 2016 年首次发布时广为传播。栩栩如生的鲸鱼冲破了体育馆的地板。 看看地面上的水是如何形成的,就像在现实生活中一样。 这使得 MR 变得特别:数字对象(水)与物理世界(地板)可信地交互。
训练中的混合现实
几乎每个行业都可以在员工培训和员工管理流程中采用混合现实。 DHL、Xerox 和 IBM 等公司为员工提供基于 MR/VR 的培训和技能提升计划模拟。
借助混合现实,员工可以与导师实时联系和协作,以接受培训并节省宝贵的时间。 在运行时 AI 的驱动下,这些交互独立于平台,让学习者和培训者都可以可视化和理解进入培训模块的不同过程。
来源: DHL
娱乐中的混合现实
这种技术的明显冲击因素可能会让观众感到敬畏,但活动和娱乐的许多方面都可以从 MR 技术中受益。
资料来源: NewscastStudio

天气频道已开始在其节目中使用混合现实技术,让观众更真实地了解当前状况,并提供在危险天气情况下保护自己的指导。
MR是技术的新浪潮,所以它的娱乐应用有点不寻常。 例如,愤怒的小鸟第一人称弹弓是一种 MR 游戏体验,它使用 Magic Leap 耳机将小鸟叠加到您的周围环境中。
医疗保健中的混合现实
MR 模拟创建真实人体部位的全息图效果。 将移动设备悬停在目标区域上会创建器官的 3D 交互式模型以了解其功能。 它也已成为培训医疗专业人员、学生和远程操作现场医务人员的强大工具。 在放射学中,外科医生可以使用 MR 驱动的 X 射线视觉来透视患者的皮肤并识别血管和骨骼。
在关键手术期间实施混合现实可以非常有效,甚至可以挽救生命。
资料来源: healthcare-in-europe.com
混合现实可穿戴计算机
耳机并不新鲜,但如今它们可能的应用几乎是无穷无尽的。 他们映射周围的物理环境以创建数字显示。 例如,您可以在房间内移动家具,而无需提起任何东西。
资料来源: Pcmag
这个 MR 技术示例展示了固定在最有意义的地方的数字应用程序。 想想在你的冰箱上放一个待办事项清单,在你的烤箱旁边放一个食谱应用程序。 这项技术将多任务处理提升到一个新的水平!
建筑或工程中的混合现实
MR 设备可以为项目工程师、建筑师和现场工作人员创建虚拟站点地图,以便在远程工作时使用。 再加上 3D 建模软件,设计师和建筑师通过混合现实全息图来说明他们的项目。
您可以使用 MR 以多种形式概念化建筑结构,而无需长途跋涉进行现场访问。 无论是柱子标记脱落还是护栏短,油漆不适合还是胶合板需要更换,混合现实都能洞察一切。
制造中的混合现实
混合现实将生产或制造工厂直接传送到您公司的空间。 您可以从办公室监督装配线、库存和供应水平。 MR 充当一种工具,让您和您的团队无需实际靠近即可监控和测试生产流程。
资料来源:今日世界建筑
软件设备更改或突出制造问题或实时运行检查。 日本航空公司 (JAL) 积极使用 Microsoft HoloLens 来培训工程师,并在其所在地提供虚拟协助。
混合现实视频通话
视频通话是与不在房间内的人交流的好方法。 好吧,有了 MR,他们实际上可以和你在一起(有点)。 混合现实视频会议允许您移动“屏幕”并以新的方式进行交互。
来源:微软 HoloLens
使用这项技术,通话另一端的人无需耳机即可参与。 他们甚至可以在屏幕上绘制来传达他们想说的内容,这会将全息图放置在您视野中的物理对象上。
你可知道? Microsoft Windows 混合现实门户是 Windows 10 和 11 的一部分。通过其旗舰 HoloLens,它提供了对现场体育和娱乐的独特访问,并在终极的高强度 VR 游戏体验中与他人联系。
资料来源:微软
混合现实的好处
沉浸式混合现实技术的进步为商业和非商业领域开辟了新途径。 曾经被设计成科幻电影的想法已经慢慢地、逐渐地变成了现实。
让我们讨论一下我们从 MR 中获得的一些好处。
- 强大的客户群:混合现实与下一代人工智能相结合,可以大规模创造令人难忘的客户体验。 客户可以通过教学视频或虚拟手册在现实生活中进行试验、试穿或学习如何使用它。
- 可信度: Facebook、Apple 和三星等值得信赖的品牌已经在投资子公司,为公众开发 MR 体验。 这些举措在投资界也得到了大量资金,这可以减少消费者心中的疑虑。
- 提高注意力: MR 以意想不到的方式结合自然和数字元素,让人们保持专注,直到他们的体验结束。
- 超个性化:没有其他形式的媒体比混合现实更具个性化和对客户的吸引力。 沉浸在混合现实场景中的个人在他们的物理世界中更密切地使用数字信息。
- 供应商虚拟演示:如果您是 B2B 公司,您可以向您的客户提供全息设备,用于产品的虚拟演练,在客户的生活空间中展示功能、模块、应用程序和结果。
- 减少事故:将 MR 技术用作采矿、考古或登山等危险场景的自适应训练模拟器,可减少人员伤亡和事故。
- 引导式学习:混合现实的表亲,增强现实成功地打破了过时的教育障碍,为学生提供了一个学习、集思广益和互动的体验环境。
混合现实的挑战
由于混合现实最近才被采用,公司仍在投入资金进行更深入的研究,以了解如何将其用作业务漏斗的一部分。
混合现实由沉浸式技术和人工智能驱动,这两种独立的数字技术本身尚未广泛实施。 MR 需要卓越的人才,而创建 3D 内容的过程成本高昂、耗时且硬件密集。 让我们仔细看看我们在标准化混合现实方面面临的一些挑战。
- 成本:创建部分真实和部分虚拟环境的前期成本很高。 除了硬件成本外,投资合适的软件开发工具包和聘请能够策划定制应用程序的高效开发人员需要花费数千美元,而且无法保证投资回报率。
- 旧的空间映射技术:基于计算几何或其他数学技术,仅给出对现实世界对象的位置或位置的近似估计。 在任何给定环境中部署 3D 元素都需要精确映射真实世界坐标。
- 训练有素的劳动力:如果您想创造最佳的 MR 体验,服务专家、数据分析师和软件工程师从头开始构建、培训和测试整个基础设施是必要的。 这是当今行业面临的主要 MR 挑战之一。
- 耗时:不太可能选择 MR 作为生成 ROI 的有效方式。 初创公司的最小可行产品 (MVP) 需要有效的营销,然后是闪电般的快速生产,例如准时制以提高销售量。 混合现实需要自己的甜蜜时间来展示结果。
- 用户体验:不同的部分具有不同的技术水平。 有些人可能不习惯使用设备体验 MR。
增强现实与虚拟现实与混合现实
AR、VR 和 MR 属于扩展现实 (XR) 的同一个总称。 尽管他们每个人创造的沉浸程度都相同,但有一种可能的关系使他们成为沉浸式技术的中心。
增强现实将数字内容覆盖在现实世界的场景中,以教育、娱乐和让人们沉浸其中。 这是一种增强用户感知的方式。 AR体验主要辅以AR耳机、控制器、输入设备和陀螺仪。 例如 Pokemon Go 和 Snap AR。
虚拟现实是对现实的完整虚拟复制,通过数字化身代表每一个真实元素。 虚拟现实背后的基本概念主要集中在跨境虚拟通信和社交联系上。
混合现实是增强现实和虚拟现实的混合体,其中 3D 对象与物理环境和人进行交互。
混合现实还可以在用户的环境中创建具有欺骗性的视觉效果,从而难以区分真实的和计算机生成的。 随着越来越多的人依赖云网络和身临其境的小工具进行通信,这是一项近期的创新,必将在未来几年获得巨大的吸引力。
这里没有复杂的感觉
混合现实无疑让人类踏上了探索更多宇宙的雄心壮志。
这才刚刚开始,但到目前为止的一瞥已经对人们及其思维方式产生了巨大影响。 在接下来的几年里,我们将看到每个人如何一致地使用混合现实来工作、娱乐和交流他们的想法。
创造非凡的沉浸式体验并在营销竞赛中保持领先。 使用 AR SDK 在您的平台上构建、测试和运行定制的 ar 应用程序。