彩票幸运飞艇

全球人工智能与机械人峰会 CCF-GAIR 2019
您正在应用IE低版浏览器,为了您的彩票幸运飞艇-幸运飞艇计划网页版账号安然和更好的产物体验,强烈建议应用更快更安然的浏览器
人工智能学术 注释
发私信给汪思颖
发送

0

CVPR2019 | 智能体张量融合,一种保持空间结构信息的轨迹意料措施

本文作者:汪思颖 2019-06-09 17:34
导语:该论文主要提出了一个可以保持空间结构信息的多智能体张量融合群集,在无邪车驾驶和行人轨迹数据集中对模子的性能阻拦了验证。

彩票幸运飞艇-幸运飞艇计划网页版(夷易近众号:彩票幸运飞艇-幸运飞艇计划网页版) AI 科技议论按,本文是盘算机视觉领域国际顶级聚会聚会会议 CVPR 2019 被选论文《Multi Agent Tensor Fusion for Contextual Trajectory Prediction》的解读。该论文由 MIT 支持的自动驾驶始创公司 ISEE Inc,北京大学王亦洲课题组,UCLA,和 MIT CSAIL 协作合营完成。该论文主要提出了一种基于深度学习的车辆和行人轨迹意料措施,提出了一个可以保持空间结构信息的多智能体张量融合群集,在无邪车驾驶和行人轨迹数据集中对模子的性能阻拦了验证。

CVPR2019 | 智能体张量融合,一种保持空间结构信息的轨迹意料措施

注释内容以下,彩票幸运飞艇-幸运飞艇计划网页版 AI 科技议论获其授权转载。

简介

彩票幸运飞艇人类驾驶员赓续地意料其相近的车辆和行人未来的行动,从而防止与其他车辆和行人抵触冒犯,以妄图安然迅捷的行车蹊径。自动驾驶汽车也必须意料其他人和车的轨迹,以便在未来的社会互动发生之前自动妄图,而不是自动地在意外发生后才作出回声。这样做可以尽能够防止不安然的行动,如急刹车、急并道、急转弯等。从基本下去说,轨迹意料让自动驾驶车辆得以揣摸他们将遇到的未来能够情形,以评价特定妄图相关于这些情形的风险,从而得以选择最小化该风险的行车妄图。这为自动驾驶系统增添了一层可诠释性,关于调试和验证相当主要。

轨迹意料效果彩票幸运飞艇之以是具有寻衅性,是由于智能体的行动是随机的,而且取决于他们的目的地、与其他智能体的社会交互、和其所在场景的物理约束。意料还必须对不合场景中赓续更改的智能体数目和类型具有泛化性。基于神经群集的意料算法经常很难编码类似的信息,由于尺度的神经群集架构只吸收结实的输入、输入和参数维度;而关于这类意料义务,这些参数维度会因场景而异。之前的论文或应用面向智能体(agent-centric)的措施阻拦轨迹意料,例如 Social LSTM [1],Social GAN [2];或应用面向空间结构(spatial-centric)的编码要领处置赏罚赏罚这个效果,例如 Chauffeur Net [3]。面向智能体的编码在多个智能体的特点向量上运转聚合函数,而面向空间结构的方轨则直接在俯瞰视角的场景体现图前途走运算。

而多智能体张量融合(Multi-Agent Tensor Fusion, MATF)则提出了一种创新的多智能体张量融合编码器-解码器(Encoder-Decoder)群集架构。该架构联络了面向智能体和面向空间结构的轨迹意料措施的优点,经由历程端到端训练学习体现和推理有关社会互动和场景物理约束的所有相关信息。图 1 展示了 MATF 的焦点张量 MAT 的结构,该张量在空间上将场景的特点编码与场景中每个智能体的之前轨迹的特点编码向量对齐,保持了静态场景和多智能体的空间职位关系。接上去,经由历程全卷积累集(Fully Convolutional Layers)结构出融合的多智能体张量编码(见下一个小节)。这类编码要领一方面可以像面向空间结构的措施那样很自然地保持多智能体张量中的所有智能体和静态场景的空间结构以捕捉空间信息,此外一方面也能够或许像面向智能体的措施那样敏感捕捉多智能体间的玄妙社会互动。

CVPR2019 | 智能体张量融合,一种保持空间结构信息的轨迹意料措施

MAT 编码是一个俯瞰视角的静态场景和静态多智能体的特点图(Feature Map),网罗多智能体编码通道(Multi-Agent Encoding Channels)(上)和静态场景编码通道(Scene Context Encoding Channels)(下)。单智能体是非时影象群集(Single Agent LSTM)编码器输入的多智能个体特点向量(白色)在空间上凭证这些智能体的坐标对齐,结构出多智能体编码通道。多智能体编码通道与静态场景编码通道(场景编码全卷积累集的输入特点图)对齐,以保持智能体与场景间的空间结构。

MAT 紧接着将融合了社会互动和场景物理制约的 MAT 编码效果解码,以同时意料场景中所有智能体的未来轨迹。现实天下中人的行动不是一定性的,智能体可以在统一个场景中做出不合的行动,MATF 应用条件天生反抗训练(Conditional GAN)来捕捉意料轨迹的这类不愿定性。

MATF 对新提出的模子在驾驶数据集和行人人群数据集长阻拦了实验验证。该论文申报了来自以下数据集的效果:地下的 NGSIM 驾驶数据集,斯坦福无人机行人数据集(Stanford Drone dataset),ETH-UCY 人群数据集,和比来群集的暂未地下的马萨诸塞州驾驶数据集。文章陈诉叨教了定量和定性实验效果,显示了模子每个部门的供献。与领域最早辈论文的定量较量注解所提出的措施在高速公路驾驶和行人轨迹意料方面都有着最好的体现。

群集架构

多智能体张量融合(MATF)的群集架构简图以下所示:

CVPR2019 | 智能体张量融合,一种保持空间结构信息的轨迹意料措施

该群集的输入是在之前时间段内的所有智能体的轨迹,和俯瞰视角下的静态场景图象。每个智能体的之前轨迹和静态场景图象划分经由历程循环(Single-Agent LSTM Encoders)和卷积编码流自力编码。编码后的多智能体向量和静态场景特点图在空间上对齐以结构出多智能体张量。例如,图中 3-D 黑框(下方)显示的是橙色智能体周围的多智能体张量切片。

接上去,结构类似 U-Net 的全卷积累集(Convolutional Operator: Multi-Agent Tensor Fusion)作用在结构出的多智能体张量上,用以揣摸社会交互和空间物理约束,同时一直保持空间结构和空间部门性特点,该全卷积累集事实输入融合的多智能体张量(上方)。每个融合的智能体向量从该张量切片得出,网罗了推理加工过的照顾智能体的社会互动信息、自己历史轨迹信息、和其周围的场景物理约束信息。值得指出的是,由于 MATF 架构运转共享卷积运算,以是在统一次正向撒播中可以盘算得出的所有智能体的照顾融合向量。例如,实心蓝框(上方)所体现的智能体融合向量融合了来自卷积层感伤熏染野内的该智能体相近的所有智能体和场景特点的综合揣摸信息。

MATF 在此以后将这些融合的特点向量作为残差(Residual)加到照顾智能体的原始编码向量上,以取得事实智能体编码向量。这些向量事实将被循环神经群集解码器(Single-Agent LSTM Decoders)自力地解码为群集对这些智能体的未来的轨迹的意料效果。MATF 所有架构是完全可微的,而且支持端到端的训练。

驾驶数据集实验效果样例

CVPR2019 | 智能体张量融合,一种保持空间结构信息的轨迹意料措施

彩票幸运飞艇马萨诸塞州驾驶数据集的定性实验效果样例如上所示。每辆车的之前轨迹以不合的色彩显示,厥后毗连的是群集对这些车未来轨迹的意料的采样。准确效果(Ground Truth)的轨迹以玄色显示,车道中央以灰色显示。

(a)一个触及五辆车的严重情形;MATF 准确地意料了所有车的轨迹和速率漫衍;

(b)MATF 准确地意料了白色车辆将完成换道;

(c)MATF 捕捉到白色车辆能否将驶入高速公路出口的不愿定性。

彩票幸运飞艇(d)当紫色车辆经由历程高速公路出口后,MATF 意料它将不会加入。

(e)在这里,MATF 没法意料准确的真实未来轨迹;可是,一小部门采样轨迹告成意料到了白色车辆将一连变道。

行人数据集实验效果样例

CVPR2019 | 智能体张量融合,一种保持空间结构信息的轨迹意料措施

斯坦福无人机数据集的定性实验效果样例如上所示。从左到右划分是 MATF 多智能体-场景揣摸模子,MATF 多智能体-无场景揣摸模子,和 LSTM 基准模子的意料效果,所有用来意料的模子都是一定性模子。蓝线显示的是之前的轨迹,白色是真实的未来轨迹,绿色的是三个模子划分意料的未来轨迹。MATF 可以经由历程一个正向撒播同时意料该图所示的所有的智能体的未来的轨迹。绿色的意料轨迹越靠近白色的真实未来轨迹,意料就越准确。MATF 多智能体-场景揣摸模子告成意料了:

彩票幸运飞艇(1)两小我或自行车从顶部进入环形交织口,并将向左驶出;

彩票幸运飞艇(2)环形交织路口左上方蹊径的一名行人正在转弯向左移动到图象的顶部;

(3)一小我在环形交织路口的右上方修建物门口加速;

(4)在一个滑稽的掉落败案例中,环形交织路口右上方的人向右转,向图象顶部移动;该模子告成意料了此次转弯,但掉落败在没法意料转弯的急缓水平。

彩票幸运飞艇MATF 多智能体-场景揣摸模子准确意料了这些和其他种种场景的轨迹情形,其中一些情形也被 MATF 多智能体-无场景揣摸模子近似地意料了出来,但大多数情形都没有被基准的 LSTM 模子意料出来。

彩票幸运飞艇更多细节和实验效果请参考论文原文:

参考文献:

[1] A. Alahi, K. Goel, V. Ramanathan, A. Robicquet, L. Fei Fei, and S. Savarese. Social lstm: Human trajectory prediction in crowded spaces. In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, 2016.

彩票幸运飞艇[2] A. Gupta, J. Johnson, L. Fei Fei, S. Savarese, and A. Alahi. Social gan: Socially acceptable trajectories with generative adversarial networks. In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, 2018.

彩票幸运飞艇[3] M. Bansal, A. Krizhevsky, and A. S. Ogale. Chauffeurnet: Learning to drive by imitating the best and synthesizing the worst. CoRR, abs/1812.03079, 2018.

彩票幸运飞艇-幸运飞艇计划网页版版权文章,未经授权榨取转载。概略见。

CVPR2019 | 智能体张量融合,一种保持空间结构信息的轨迹意料措施
分享:
相关文章

文章点评:

神情
最新文章
请填写请求人才网料
姓名
德律风
邮箱
微旌旗暗记
作品链接
小我简介
为了您的账户安然,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
急速验证
完善账号信息
您的账号曾经绑定,现在您可以设置密码以便应用邮箱登录
急速设置 以后再说