【新智元编者按】正式宣布选择退出twitter界的Yann LeCun前段时间又频密游荡，都是为的是他家商品打call。Facebook AI新一代打造出的3D影音网络平台，能将智能化体体能训练成三个轻松现职。我把锁匙放哪里了？智能手机响了放不下，此种难题都能让AI来处置。

诺贝尔奖获得者Yann LeCun以后始终即使卷进笔战而正式宣布选择退出twitter界，结论前段时间，精神障碍屌丝看不下去了，时常出altered。

就在三个月前，他还宣称，这是我在twitter上最终一则有文本的回帖，我们我爱你。

看他那时的状况，PULSE的争拗好似早早已翻篇儿了。

这一场主要就却是为他家商品Facebook AI新一代打造出的3DPDP智能化体体能训练影音网络平台打call，网络平台能体能训练AI智能化体正式成为三个轻松现职。

你是不是此种新体验，

每天一回家就忘掉他们的锁匙放哪里了？

我把托盘放哪里了？

回家究竟是不是歇业？

每到此种揣测一生的这时候，有交互式现职来帮你操持所有人就奥尔奈了。

Facebook日前的四项科学研究具备划时代的象征意义，意味著交互式副手能像人那样与现实生活当今世界展开交互了。

他能够学习如何规划路线，环顾周围的物理环境，倾听周遭的所有人，甚至建立3D空间的记忆。他能帮你检查门是否上了锁，或者楼上卧室里响个不停的智能手机究竟是咋回事。

新一代的是基于此前开源的AI Habitat仿真网络平台(内置支持 Facebook Reality Lab 的仿真交互式环境数据集，以及 Matterport、 Gibson 和其他数据集)

AI Habitat能够高效地在逼真的3D 环境中体能训练交互式机器人，能够在单个 GPU 上以10000帧率/秒的速度运行，比实时速度快100倍以上。当然最终都是要将仿真网络平台上的体能训练结论迁移到现实生活当今世界当中。

• SoundSpaces：AI能他们「听」到智能手机铃声

声音在不断地驱动着人类的行为，三个小孩儿的哭声吸引了我们的注意力；玻璃破碎的声音可能需要紧急帮助；孩子们在客厅里和奶奶通电话，所以需要调低电视的音量。

但那时的很多智能化体对周围的3D当今世界缺乏此种多模式语义理解，对各类声音「充耳不闻」。

Facebook前段时间建立并开源的SoundSpaces就是为的是解决这一难题: 这是第三个基于复杂3D 环境下的几何声学模拟的音频渲染数据集。

智能化体能分辨真实当今世界中声音，比如钢琴课上突然消防警报响了这类情况。

SoundSpaces 建立在Habitat的基础上，加载了一种新的音频传感器，能将任何声源的高保真的仿真结论插入到一系列来自 Replica 和 Matterport3D 数据集的真实当今世界扫描环境中。

利用 SoundSpaces，我们为PDP AI 引入了三个新的任务: AudioGoal，其中智能化体必须通过未映射的环境来查找发出声音的对象，例如电话铃声。据我们所知，这是体能训练深度强化学习智能化体在新环境中「看」和「听」的首次尝试，同时还能定位发声目标。

与处置以点为目标的传统导航系统不同，这里的智能化体不需要指向特定目标位置的指针。智能化体接受的指令是「去找响铃的电话」，而不是「去距离你那时位置西南25英尺的地方找电话」。它能通过多模态感知，他们发现目标位置(见下图)。

用t-SNE对学习到的音频特征展开表示，颜色揭示了智能化体和目标位置、方向的相关性。红色代表远，紫色是近，蓝色表示在智能化体左侧，红色表示在右侧。

最终，Facebook采用的音频编码能够提供比 GPS 定位更好的空间线索，避免GPS的噪声影响，即使室内环境中GPS时常定位不准。

• 语义地图Semantic MapNet：AI能记住你把杯子放哪里了

如果你非常熟悉三个特定的地方，家或者办公室，你一定能记住很多细节。

体能训练智能化体也是如此，他们还能凭直觉回答一些难题，比如厨房是否在洗衣房旁边，或者二楼会议室里有多少把椅子。为的是建立强大和有能力的人工智能化副手，并且能够很好地执行这些任务，就需要体能训练智能化体从第一人称视角来探索、观察和记忆三个空间，然后创建三个第三人称由上至下的3D 环境语义地图。

为的是实现这一目标，Facebook建立并共享了语义地图 Semantic MapNet，这是三个用于PDP人工智能化智能化体的新模块。该模块使用一种新的空间语义记忆形式，在探索陌生环境时将观察到的对象「特征」记录在以「自我为中心」的框架中。

这些三维空间的语义表达能为系统提供三个基础，以完成各种具体的任务，包括难题回答和导航到特定对象位置（沙发、水槽等）。比如，回答开头所说的，我的杯子放在柜子上了吗，此种难题。

MapNet 的原理是，建立了所谓的「多中心」记忆，这是一种记忆表达法，它能够捕获(1)物体之间的未知视点关系和(2)物体与环境之间的固定关系。

Semantic MapNet 能够从它的观察中提取视觉特征，然后使用端到端框架将它们投影到特定位置，通过它所看到对象的标签对自上而下的环境地图展开解码。

此种技术使 Semantic MapNet 能够分割出非常小的对象，从鸟瞰视图一般来讲是看不到的。项目还允许 Semantic MapNet 对给定点及其周围区域展开多次观测。

Facebook 写道: 「构建神经记忆片段和空间语义表征的能力对于改进自主导航、移动操作和打造出AI现职都至关重要。」

通过RGBD图像，Semantic MapNet能提取自我中心观察到的特征，然后将它们投射到三个分布式张量中的对应位置。然后能对这个张量展开解码，生成自上而下的环境语义地图。

• 探索和导航：AI能在屋里瞎转悠了

除了 SoundSpaces 数据集和 MapNet 语义地图之外，Facebook 还开发出了另一种模块，能推断出不能直接观察到的环境地图的某些部分，比如餐厅的桌子后面是什么情况。

在AI导航领域，最先进的方法包括DD-PPO导航算法，但也仅限于解码AI智能化体实际在他面前看到的文本。

「我们希望实现，在有障碍物或未绘制地图的区域，也能保持强大的导航能力。为的是拓展导航的前沿领域，我们开发了一种「占用预期」方法，在今年的 CVPR Habitat 2020挑战赛中，此种方法获得了 PointNav 任务的第一名。」Facebook在博客中写道。

挑战赛的难度在于，要求系统适应低质量的视觉图像（带噪声的RGB-D传感器），并在没有 GPS 或罗盘数据的情况下运行。

为的是做到这一点，Facebook引入了三个新的模型，它在正常的观察以外预测「占用」（occupancy，即物体是否存在），同时整合它的预测结论，随着时间的推移，探索出三个导航策略，在环境中自由穿梭。与现有的方法只绘制可见区域相比，智能化体通过推断地图中不能直接观察到的部分来更快地建立其空间感知。

比如，在看到餐厅时，智能化体预测桌子后面有空闲的空间，或者眼前的墙壁在持续延伸，通向三个看不见的走廊(如下图所示)。即使智能化体在创建地图的同时有能力预测它不能直接看到的区域，所以在探索和导航任务中会更快更有效。

Facebook表示，他们的模型和其他方法相比，只用了三分之一的移动次数，在相同的移动次数下，地图精确度要提升30%。

能听你的智能手机响或是婴儿啼哭做出反应，还能通过记忆判断出楼上有几把椅子，绕过障碍物在屋里随意导航。

这样的AI副手是不是有点儿神了？

→CL自助下单平台←