机器人领域的一大趋势,是把控制权交给生成式AI模型,但这也带来一个问题:这种架构不像传统算法那样可预测。你如何确保一台全新的类人机器人是安全的?
卡内基梅隆大学Safe AI实验室主任丁钊博士(Dr. Ding Zhao)几乎整个职业生涯都在研究这个问题。如今,他与资深创业公司高管Kyle Wong以及机器学习工程师Simo Rachidi共同创立了Safeworld,旨在解决这一难题。
赵说:“我们谈论的安全挑战,是一个组合问题。第一,是非常先进的生成式AI概率评估——你如何为一个概率系统承保风险?第二部分也非常难,那就是信任问题,而要部署机器人,这两者都需要。”
Safeworld今天正式结束隐身模式,宣布获得超过1200万美元的种子轮融资,由Shine Capital和a16z Speedrun领投,Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors和SV Angel参投。
a16z Speedrun合伙人Jonathan Lai对TechCrunch表示:“现在就是建立行业安全标准的时机,因为机器人正在被设计和部署。等到机器人进入家庭、与孩子发生碰撞并造成安全事故时,就太晚了。”
Safeworld的专长,是在填充了逼真人类模型的仿真环境中评估机器人控制系统。这有点像特斯拉或Wayve等公司面临的挑战:它们必须确保车辆能对道路上可能遇到的各种意外情况作出恰当反应。但赵认为,机器人会更难,因为它们工作在非结构化环境中,而且它们所在的每个场所都会有不同的安全标准。
Wong说:“最常见的场景之一,是某个工厂里有一个盲角。你需要什么速度,或者需要多长的制动距离,才能确保这台机器人不会撞到某个工人?如果一个人手里拿着箱子,机器人能不能识别出这个人?”
为回答这个问题,Safeworld会在Genesis或MuJoCo之类的模型中构建那个角落的数字版本,放入正在评估的机器人仿真体,并由其真实软件驱动,然后运行成千上万种场景,让人类模型与机器人相遇。赵说,这比听起来更难,因为人类是不可预测的。
Wong说:“跌倒和摔倒也是我们在仿真中大量测试的一个很好的例子。否则,你就得亲自去反复跌倒摔倒给机器人看,这可不是什么容易一直做的事。”
Safeworld正在构建的平台,与机器人制造商内部使用的工具确实有明显相似之处。不过,这两位创始人认为,除了自身的专业能力之外,机器人制造商还会希望有第三方来验证他们的工作,哪怕只是为了在竞争对手之间共享安全案例信息。
赵说:“很多人低估了其中一些边缘案例会有多难解决。我们担心的不是演示环境里、真空状态下的机器人,而是在大规模部署、面对可能从未操作过机器人的人时的机器人。”
Gritt Robotics首席技术官Vishal Dugar正在为机器人开发AI大脑,这些机器人目前帮助工人在工业规模的太阳能电站安装光伏板,并希望未来承担更复杂的建筑任务。随着公司开发安全仿真系统,他们正在与Safeworld合作。
Dugar说:“我们大多数系统的难点在于,很难通过数学、写方程,然后说系统已经被验证为安全。它必须通过经验方式来完成。”
他的机器人与人类工人并肩作业,确保机械臂不会撞到人显然是首要任务。要在实践中验证这一点,就必须考虑各种潜在场景。
Dugar指出:“人类有很多种外观。身体姿态也可能不同。可能跪着、站着,也可能绊倒、摔倒,或者蹲着、奔跑。你必须对人类在这些工地上可能表现出的所有行为作出反应,同时还要应对人类外观的各种差异,比如衣服、体型、身高、肤色,以及其他一切。”
对Safeworld和机器人领域的生成式AI来说,现在仍处于早期阶段。公司也在摸索产品的最佳模式——是面向外部用户的平台,还是服务型模式?——但团队确信,他们做的是正确的问题。
赵说:“我们大概会成为这个领域第一家盈利的公司。因为如果任何人想部署,就需要付钱让我们来处理这个问题。”

