多伦多大学研究人员试图利用视觉人工智能技术让建筑机器人变聪明

多伦多大学的一位研究人员称，机器人技术在建筑工地上的应用未能发挥其潜力，但Daeho Kim说，随着更多的研究，更高阶的完全自主的移动机器人可能会离实现更近一步。

多伦多大学应用科学与工程学院的助理教授Kim说，目前大多数在建筑工地上巡逻的所谓机器人应该更准确地称为重复一些预先编程的任务的工具。

撇开一些成功的案例不谈，现在缺少的是可使用人类水平的视觉人工智能（AI）来充分了解它们被部署建筑工地的完全的机器人自动化和数字化。

演示视频展示了合成视觉数据生成器如何从合成建筑工地捕获无限图像

为了达到高水平的视觉人工智能，为工地上的机器人提供动力，需要数以百万计的图像，但由于各种原因，获得这个数字是不现实的。Kim和他的团队所提出的是两项新技术：合成虚拟施工图像，以及生成微型施工图像。

"当我们在开发新形式的建筑机器人时，硬件部分已经取得了很大的进步，例如波士顿动力公司的Spot，但软件开发，即人工智能部分，仍然有很长的路要走，"Kim说。

"问题是，我们缺乏建筑场景的训练数据。深度神经网络（DNN）是视觉人工智能的核心引擎，是一个监督模型，它自然会变得对数据十分渴求。为了开发一个训练有素的人工智能......我们需要数量巨大的、多样化的建筑场景的训练图像。"

Kim 的研究计划是251项大学计划中的一项，这些计划于9月获得加拿大创新基金会的约翰·R·埃文斯领袖基金总计6400万美元的资助。

他提交给创新中心的项目摘要指出："具有强化AI的机器人解决方案将与现场工人安全协作，提高生产力和盈利能力，同时抵消日益严重的劳动力短缺。拟议的研究项目对实现这一愿景至关重要，提供优化的现场可应用的DNN模型--这是自主建筑机器人发展的下一个关键步骤"。

机器人将收集、分析和记录现场信息，允许创建正在进行的施工现场的实时数字孪生模型。

Kim 解释说，首先需要合成将被开发成视觉AI的图像，因为很难亲自收集数据。

监控摄像机和无人机有遮挡物，成本很高--Kim提到每张图像需要2到10美元--而且还存在其他问题。收集一百万张图像会很耗时，而且还有各种法规和保密问题。在竞争性建设环境中将数据商业化和共享也是一个问题。

Kim的多大实验室的工作进展迅速，该团队使用五个张量处理单元和谷歌云软件。需要更多的计算资源。

多伦多大学助理教授 Daeho Kim说，为了开发训练有素的人工智能，研究人员需要大量多样化的建筑场景训练图像

“我们完全专注于开发一款可以自动合成非真实但看起来很真实的建筑图像的仿真软件，几周前，我们开始积极生成一百万张建筑训练图像。这对我来说是个激动人心的消息，因为据我所知，我们以前从未有机会在构造 DNN 训练中使用一百万张训练图像，”他说。

合成的步骤包括创建 3D 人体模型，然后输入工人的动作捕捉数据；通过将 2D 或 3D 服装图映射到 3D 人体模型来创建 3D 建筑工人头像；随机设置成像条件，包括相机距离和照明条件；通过将虚拟建筑工人头像叠加到3D施工背景上，合成生成施工图像或视频。

随后是用于构建数字孪生的完全自主移动机器人的原型设计，该机器人部署了高阶DNN模型。

建筑机器人需要能够监控和分析位置、移动速度和方向、姿势、距离和其他捕捉建筑工人存在的因素。

"现在还不清楚合成图像在训练建筑场景的视觉人工智能模型方面有多大的效果，因为建筑场景是高度动态和非结构化的。" Kim说。"我们可能需要也可能不需要我们自己独特的解决方案。"

对于最后一步，Kim将需要私营部门的合作伙伴——他正在寻找一家能够在财政上支持这项研究的创新建筑公司。