《环太平洋》名时势之"用真东谈主主管机甲"，如今照进践诺了。

话未几说，请看 VCR：

本来，这是上海 AI Lab 最新推出的东谈主形机器东谈主"驾驶舱"——HOMIE（Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit） 。

一副机械臂外骨骼、一对看成感应手套，以及一块三轴脚踏板，东谈主们就能对双足东谈主形机器东谈主全身进行精确遥操作了。

这也意味着，无需腾贵看成捕捉建造，东谈主形机器东谈主也能 1:1 复刻东谈主类看成。

凭证沟通团队的说法，HOMIE 主打一个"快准省"：

快：与传统最快 VR 手柄蚁集决策比拟，速率还要快200%，任务完成时候数落50%；

准：处治了传统东谈主形机器东谈主遥操作濒临的全身调和抵制难（需同期抵制迁移与操作）和高精度指示获取难（依赖腾贵动捕建造或视觉算法）两浩劫题，撑持其完成搬运、团结、开门等复杂迁移操作任务；

省：整套硬件仅约3500 元东谈主民币，而且 HOMIE还开源了。

该系统由强化学习驱动的指点抵制框架和低本钱同构外骨骼硬件构成，初度竣事了单一操作家对双足东谈主形机器东谈主全身的精确遥操作。

由强化学习驱动的指点抵制框架

这第一步，咱们先来拆个箱，详备康康上头提到的"三件套"。

三大中枢组件

一直以来，传统东谈主形机器东谈主遥操作濒临两浩劫题：

全身调和抵制难：需同期抵制迁移与操作

高精度指示获取难：依赖腾贵动捕建造或视觉算法

而 HOMIE 的打破在于将"东谈主机同构"理念进展到极致，其驾驶舱包含三大中枢组件：

1、同构机械臂外骨骼：7 解放度机械臂与机器东谈主要津逐一对应，操作家只需像抵制我方手臂一样指点，即可精确映射机器东谈主看成，弱点小于 0.09 度，频率高达 260Hz。

2、看成感应手套：15 解放度传感器捕捉手指幽微看成，霍尔效应磁感技艺竣事低本钱高精度（200 东谈主民币 / 只），可适配多种聪惠手型号。

3、三轴脚踏板：通过踏板抵制机器东谈主迁移速率、转向与下蹲高度，撑持"踩油门式"直观操作。

挨个来看的话。

同构外骨骼机械臂是基于 Unitree G1 与 Fourier GR-1 机器东谈主样式定制，7 解放度要津与机器东谈主十足对应。

它摄取 Dynamixel 伺服电机（精度 0.09 °），通过 URDF 模子对都坐标系，确保操作家看成与机器东谈主指点 1:1 映射。

等闲情况下，它被固定于操作家背部与手掌，隐蔽机器东谈主绝大部单干作空间且不规模东谈主体行为。

至于 200 元 / 只的看成感应手套，它每根手指配备 3 组霍尔传感器，捕捉指尖逶迤、指节偏转等 15 解放度看成。

同期，磁铁随要津旋转改变磁场强度，通过微抵制器及时颐养为要津角度，撑持即插即用适配多种聪惠手。

而眼下踩的三轴脚踏板，不错看到线性速率、转向角速率、下蹲高度辨别由三个踏板抵制，压力信号经高精度电位器颐养。

对了，模式切换按钮撑持前进 / 后退、左转 / 右转快速切换，操作逻辑近似汽车油门。

以上想象能够让操作家如同"一稔"机器东谈主，透顶开脱传统 VR 手柄的蔓延与弱点。

实验完了走漏，HOMIE 的指示蚁集速率比最快 VR 决策快 200%，任务完成时候数落 50%。尤其当操作家伸手持取物体时，机器东谈主险些同步反映。

而且，背后团队有意辅导：

由于外骨骼基于同构看法想象，仅手臂部分需要凭证不同机器东谈主的手臂想象进行微调；不外因为现行东谈主形机器东谈主手臂想象基本是 7 解放度的范式，因此这个调整并不会很大。

手套和踏板部分对悉数市面上的东谈主形机器东谈主都是通用的。

其次，咱们来重心谈谈 HOMIE 背后所摄取的强化学习。

在强化学习框架中引入三大篡改技艺

现存的强化学习方法无法让东谈主形机器东谈主踏实、快速地下蹲到指定位置，同期现存方法均依赖于大都数据和指点先验来实验机器东谈主指点对上身姿势的适配。

前者很猛进程规模了机器东谈主的可操作空间，后者则提高了机器东谈主覆按的本钱。

为了最猛进程拓展机器东谈主的操作空间，并保证任何机器东谈主都能快速学会在职何上身姿势下保持均衡，HOMIE 在其强化学习框架中引入三大篡改技艺：

1、上半身姿势课程学习

传统方法平直立时采样上身要津角度，覆按初期机器东谈主每每失衡，导致覆按自若致使无法覆按。而 HOMIE 引入了想象渐进式课程学习的方法，使得覆按流程中机器东谈主上肢看成的采样难度更平滑地栽植：

运行阶段规模上身看成幅度（看成比率 ra=0），此时或者率上身姿势保持默许姿势，更容易训得踏实步态；

当速率追踪奖励达标后，逐渐扩大 ra 至 1，最终采样散播变为纯立时散播� � ( 0,1 ) ；

摄取格外概率散播平滑过渡，幸免看成突变激发的失衡。

2、高度追踪奖励函数

为拓展机器东谈主操作空间（如从大地捡物或高处摈弃），HOMIE 在通用的追踪高度的奖励函数基础上引入了一个新的赞助函数：

该函数通过膝要津角度与地点高度的动态耦合，引导机器东谈主自主调整蹲姿。

覆按中，每次对呐喊的采样均保证有 1/3 环境专门学习下蹲，2/3 环境学习耸立行走，团结个环境在两种模式下不断切换，最终不错同期学会踏实的行走和下蹲。

3、对称性增强技艺

为了充分哄骗东谈主形机器东谈主的傍边对称性，幸免东谈主形机器东谈主傍边分歧称看成易导致失衡，HOMIE 在数据蚁集与覆按中引入镜像翻转：

将不雅测景色（要津角度、速率等）沿 x-z 平面镜像，生成对称样本。

在政策收罗优化时，独特狡计对称看成与价值的均方弱点亏蚀，强制收罗学习对称行径。

已通过从仿真到践诺的全面考据

沟通东谈主员针对 HOMIE 强化学习框架中淡薄的三个新的方法辨别进行了蒸馏实验，将得到的完了在几个重要盘算上进行测试，最终发现：

1）上半身姿势课程学习不错充分匡助机器东谈主更快的学会在种种连气儿变化的上身姿势下保持均衡并踏实行走，况兼 HOMIE 的课程学习形貌确乎比平直哄骗立时概率进行课程学习愈加优厚；

2）高度追踪奖励函数的淡薄比拟于只用高度追踪奖励函数，能够让机器东谈主更好、更快的学会踏实的下蹲，而肤浅悍戾的调大高度追踪奖励的奖励函数比例反而会让机器东谈主的学习愈加费事；

3）对称性增强技艺的使用不啻让训得的政策愈加具有对称性，更是平直大幅提高了机器东谈主覆按的速率，从而提高了数据完了。

上述论断都标明，HOMIE 的覆按框架很好的匡助机器东谈主更好的学习完成迁移操作任务，不错使东谈主们得回更好的迁移操作底层抵制政策。

而且，HOMIE 不啻能应用于 Unitree G1，沟通东谈主员还使用不异的框架覆按了傅利叶 GR-1 机器东谈主。

完了阐扬，即使 G1 和 GR-1 在结构和尺寸上远隔很大，HOMIE 的强化学习框架依然能够让 GR-1 快速学到踏实的行走和下蹲。

与此同期，沟通东谈主员对 HOMIE 的硬件系统进行了系统性的测试，并发现获利于舵机和霍尔传感器的使用，这套低本钱的硬件系统具有极高的反映频率和姿势获取精度。

同期由于同构的想象，系统不需要独特进行姿势臆测和求解，在无需 GPU 和 SoC 的前提下依然不错达到远超别的方法的姿势获取频率。

此外，沟通团队哄骗 HOMIE 在不同环境下完成了丰富的迁移操作任务。

包括从低货架拿货品到高货架、两东谈主辨别用 HOMIE 一都完成物体在两台机器东谈主之间的传递、货品搬运、推东谈主前进、开微波炉、捡水平、捧花等复杂的看成，这些任务充分体现了 HOMIE 遥操东谈主形机器东谈主完成任务的种种性。

任务本人对机器东谈主全身调和才调的高条目也阐扬了哄骗 HOMIE 框架覆按得到的政策的踏实性。

为了展示使用 HOMIE 的硬件系统进行桌面遥操任务的优厚性，沟通东谈主员还在 4 项桌面任务中，用 HOMIE 和 VR 决策（OpenTelevision）辨别完成四个不同的桌面任务。

最终发现，HOMIE 在完成速率上具有显耀上风，尤其在需要精确径向迁移的任务中完成速率跨越 VR 决策的2 倍。

同期，沟通东谈主员还初步尝试了用 HOMIE 蚁集数据覆按效法学习算法的可能性。

通过不才蹲捡苹果和耸立捡苹果两个任务上辨别蚁集 50 条数据，并哄骗 Seer 模子进行覆按，从而部署到委果机器东谈主上，最终取得了跨越 70%的收效用。

笼统而言，HOMIE 的价值不仅在于技艺打破，更在于其开源与低本钱特点（整套硬件仅约 3500 东谈主民币）。

当今主流的基于 VR 的方法是 OpenTelevision，是基于 Apple 的 VisionPro 进行操作，当今一台最基本的 256G 的 Vision Pro 国内售价约 3 万东谈主民币，因此其本钱独一 VisionPro 的约 12%。

它让东谈主形机器东谈主开脱动捕依赖，像智高手机一样通过"直观化驾驶舱"走入仓库等复杂场景。

正如团队所言：

未必不久的异日，每个机器东谈主都会领有我方的"神经团结驾驶舱"，而 HOMIE 恰是这条征程上的第一块里程碑。

鉴于仍是开源，出手才调强的小伙伴仍是撺拳拢袖啰 ~

论文聚拢：

https://arxiv.org/abs/2502.13013

技俩主页：

https://homietele.github.io/

代码央求：

https://forms.gle/NSLiABo3bPWN89wZ8欧洲杯体育