用Vision Pro实时训练机器狗,MIT博士生开源项目火了
Vision Pro又现火爆新玩法,这回还和具身智能联动了~
就像这样,MIT小哥利用Vision Pro的手部追踪功能,成功实现了对机器狗的实时控制。
不仅开门这样的动作能精准get:
也几乎没什么延时。
Demo一出,不仅网友们大赞鹅妹子嘤,各路具身智能研究人员也嗨了。
比如这位准清华叉院博士生:
还有人大胆预测:这就是我们与下一代机器互动的方式。
项目如何实现,作者小哥朴英孝(Younghyo Park)已经在GitHub上开源。相关App可以直接在Vision Pro的App Store上下载。
用Vision Pro训练机器狗
具体来看看作者小哥开发的App——Tracking Steamer。
顾名思义,这个应用程序旨在利用Vision Pro追踪人类动作,并将这些动作数据实时传输到同一WiFi下的其他机器人设备上。
动作追踪的部分,主要依靠苹果的ARKit库来实现。
其中头部追踪调用的是queryDeviceAnchor。用户可以通过长按数字表冠来重置头部框架到当前位置。
手腕和手指追踪则通过HandTrackingProvider实现。它能够追踪左右手腕相对于地面框架的位置和方向,以及每只手25个手指关节相对于手腕框架的姿态。
网络通信方面,这个App使用gRPC作为网络通信协议来流式传输数据。这使得数据能被更多设备订阅,包括Linux、Mac和Windows设备。
另外,为了方便数据传输,作者小哥还准备了一个Python API,让开发者能够通过编程方式订阅和接收从Vision Pro流式传输的追踪数据。
API返回的数据是字典形式,包含头部、手腕、手指的SE(3)姿态信息,即三维位置和方向。开发者可以直接在Python中处理这些数据,用于对机器人的进一步分析和控制。
就像不少专业人士所指出的那样,别看机器狗的动作还是由人类控制,事实上,相比于“操控”本身,结合模仿学习算法,人类在这个过程中,更像是机器人的教练。
而Vision Pro通过追踪用户的动作,提供了一种直观、简单的交互方式,使得非专业人员也能够为机器人提供精准的训练数据。
作者本人也在论文中写道:
在不久的将来,人们可能会像日常戴眼镜一样佩戴Vision Pro这样的设备,想象一下我们可以从这个过程中收集多少数据!
这是一个充满前景的数据源,机器人可以从中学习到,人类是如何与现实世界交互的。
最后,提醒一下,如果你想上手试一试这个开源项目,那么除了必备一台Vision Pro之外,还需要准备:
苹果开发者账户
Vision Pro开发者配件(Developer Strap,售价299美元)
安装了Xcode的Mac电脑
嗯,看样子还是得先让苹果赚一笔了(doge)。
项目链接:
https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file
参考链接:
https://twitter.com/younghyo_park/status/1766274298422161830
对话「Ac久昌新媒体」:素人主播成材率高达80%,团播公会的运营方法论是?
要说今年备受关注的娱乐直播赛道,一定离不开“团播”。那么,团播公会究竟该怎么做?流水规模和发展前景如何?入驻快手首月,月流水近400万,如今月流水超2000万,并且保持稳定增长;全国将近30家合作联营公司,线下主播数量超过2000人——这是快手头部团播公会「Ac久昌新媒体」的成绩单。站长网2023-11-09 16:56:020000捐赠震区羽绒服被倒卖系谣言 造谣男子被依法刑事拘留
“平安宿州”微信公众号发布通报称,近日,安徽省宿州市网民刘某辉(男,26岁,无业)在某二手交易平台发布“售卖某品牌捐赠甘肃地震灾区羽绒服”的帖文。经公安机关调查,刘某辉为博人眼球、吸引流量,故意借近期救灾热点事件编造谣言信息,造成不良社会影响。目前,刘某辉已被公安机关依法刑事拘留,案件正在进一步侦办中。0000生成AI助你脱单?聊天机器人正在寻找约会市场客户
近期,名为RIZZ和PlugAI的移动应用进入苹果应用商店和谷歌应用商店,声称通过人工智能系统提供“约会助手”服务,帮助用户在网络约会中脱单。这类应用让用户上传聊天截图,然后用算法生成回复建议,模拟一个理想的聊天对话伙伴。据悉,RIZZ应用的下载量已突破50万,在安卓市场上排名较高。业内分析认为,这类应用正在快速崛起,或将对传统的网络约会市场形成冲击。站长网2023-10-20 11:13:320000演出票价,未来还能再涨涨?
“演出门票被远远低估了。”说出这话的,是全球票务巨头LiveNation的CEOMichaelRapino。疫情后,海外演出市场也和国内一样,多次出现演出票价飙升的争议,引发广大乐迷的不满。然而,在舆论中心的LiveNation,却相当坚决地在多个场合表示,演出票价还能再涨涨。不禁让粉丝直呼,“可真刑!”站长网2023-06-01 15:54:530000王小川百川智能率先通过生成式人工智能备案 宣布开放公众服务
8月31日,百川智能宣布率先通过《生成式人工智能服务管理暂行办法》备案,今日起面向全社会开放服务。广大用户可以登录www.baichuan-ai.com,感受百川大模型在知识问答、文本创作等领域带来的全新体验。站长网2023-08-31 08:16:160000