【2020顶会KDD】AutoST:面向时空预测的高效神经网络学习模型 C/C++实现并查集disjoint_set的模板(带路径压缩优化) 实现一个百万级推送服务,除了它,还有谁 “健康守护者”——STM32标准库和HAL库的比较 程序员被公司辞退12天后,前领导要求回公司讲清代码,结果懵了 RTTR实现C++反射(1)集成rttr库 lotus node 远程运行 CCF历年4,5题收录 N卡 RTX3070/RTX3080/RTX3090挖矿算力推测 最高算力86MH 理论+实验:MySQL索引、事物与存储引擎 PostgreSQL JOIN 多表查询 TP框架实现Excel批量导入数据库数据 MySQL中的列转行 这次是真拯救了我,MySQL索引优化,explain讲得非常清楚了 Oracle快速入门(PLSQL编程) MySQL字符串拼接、截取 MySQL事务管理及存储引擎 《浪姐》万茜点赞宁静、郁可唯黑贴坐实?盗号者和程序员是背锅侠 程序员被公司辞退12天后,前领导要求回公司讲清代码,结果懵了 易语言大漠多线程foobar在游戏多窗口中时时显示输出信息 非科班,自学两年,复盘两个月,侥幸拿到头条、阿里offer 2020年全国数学建模大赛B题源代码以及模型的建立 (2) 2020年数学建模-校园供水系统智能管理 windows破解锁屏密码(亲测有效:再也不怕别人锁屏防你啦!) 清华大佬力荐的JVM学习路线+实战笔记+阿里真题,嚼碎吃透吊打面试官 打造多模块+高可用+高扩展Spring Cloud版分布式电商项目源码分享 Python爬虫入门教程 89-100 定个小目标,先用Python爬个一亿B站用户 五大分布式事务,你了解多少? 2020-09-12 九大核心专题,630页内容,熬夜23天吃透,我收割了3个大厂offer 防抖节流 防抖和节流 函数节流 debounce throttle 每天补充一点 一些零碎的小知识点 JavaScript作用域和作用域链知多少 01-jquery概述 简单概述JSONP原理 02-$符号-jquery与js相互转换 遇见 vue.js --------阿文的vue.js学习笔记(2)----- 基本使用 全国鞋服行业首个5G专项应用落地柒牌 自动搬运作业提升效率150% 大数据系统提高生产效率超10% [网络安全自学篇] 九十四.《Windows黑客编程技术详解》之提权技术(令牌权限提升和Bypass UAC) 鸿蒙OS 2.0 开源蹭热浅读 蚂蚁三面滑铁卢!遭分布式截胡,靠这些笔记潜修30天,挺进京东 【高并发】Redis如何助力高并发秒杀系统,看完这篇我彻底懂了!! K8s概述:几种集群方案的对比 Linux到底该怎么学?RHCA架构师整理了300页学习笔记 到了2020年,技术水平到底需要达到怎样的程度才能成为顶级的阿里P8架构师 Linux怎么学?一张思维导图带你深入Linux核心原理 金九银十首战告捷!凭借这份Alibaba爆款“面试宝典”成功斩获美团Offer 大数据杀熟:我投之以元宝,它报之以砍刀! “物联网加持”下的社区长啥样儿? 潘云鹤院士:大数据智能是人工智能2.0的核心组成部分
您的位置:首页 >前端 >

【2020顶会KDD】AutoST:面向时空预测的高效神经网络学习模型

题目:AutoST: Efficient Neural Architecture Search for Spatio-Temporal Prediction

 

文章作者信息:

 

预览摘要:

时空(ST)预测(如人群流预测)在城市规划、智能交通和公共安全等一系列智慧城市应用中具有重要意义。近年来,人们提出了许多深度神经网络模型来进行准确的预测。然而,手动设计神经网络需要花费大量的精力和时空领域的专业知识。如何自动建立一个通用的神经网络来处理城市中的各种时空预测任务?

在本文中,作者研究了时空预测任务的神经网络结构搜索(NAS),并提出了一种有效的时空神经网络结构搜索方法,名为AutoST。本文设计了一种新的时空域搜索空间,该空间由两类分量组成:(i)在每一层进行可选的卷积运算,自动提取多范围的时空相关性;(ii)可学习跳过层之间的连接来动态融合低级和高级的时空特征。

本文在出租车流和人流等四个真实时空预测任务上进行了大量的实验,结果表明所学的网络架构可以显著提高时空神经网络中代表性模型的性能。此外,文中提出的高效NAS方法的搜索速度比最先进的NAS方法快8-10倍,证明了AutoST的效率和有效性。

 

主要贡献:

本篇文章的主要贡献可以总结为以下三点:

(1)提出了一种新的时空预测模型AutoST,该模型引入了神经网络结构搜索技术来动态捕捉空间相关性,并融合多层次特征。此外,AutoST面向的是ST数据,而不是特定的应用程序场景,这些场景可以很容易地应用于一系列深度模型。

(2)设计了一个高效的搜索空间,包括两个基本模块:1)在每一层使用混合卷积块来捕获不同范围的空间相关性;2)层间混合跳跃连接块,动态融合多层次特征。

(3)在从出租车流和人流等四个真实时空数据集上进行了广泛的实验,实验结果表明,AutoST可以显著提高时空预测能力。

 

模型结构:

 

方案思路:

为了处理先前工作的遗留问题,本文提出了AutoST模型,具体包含三个部分,分别为:初始时空特征抽取组件,特征学习组件以及额外特征融合预测组件。AutoSt模型和传统模型的比较如下图:

 

模型整体结构:

上图中(a)表示传统的残差模型,具有固定的卷积和固定的连接操作。图(b)中Darts模型具有多种候选操作,如:卷积操作,池化操作和连接操作等。图(c)为本文提出的模型结构,它主要由两种类型操作组成(混合卷积操作和混合连接操作),混合卷积操作在每一层搜索不同的卷积核,混合连接操作在不同的层之间学习否连接操作,目的是进行不同级别特征的融合。

 

实验结果:

 

不同方法在(CorwdBJ, TaxiJN, TaxiGY)三种数据集上的实验效果:

 

不同方法在TaxiBJ数据集上的实验效果:

 

不同方法运行效率及性能比较:

 

参数对比控制实验:

 

AutoST模型在CrowdBJ和TaxiGY数据集上学到的架构:

 

结论:

本文研究了利用神经网络结构搜索方法进行时空预测任务的问题。提出了一种新的NAS网络,名为AutoST,它具有一个为时空预测任务定制的高效搜索空间,并可推广到多个不同场景。具体来说,AutoST包括一个由多尺度内核组成的可选卷积块,用于在可变尺度下捕获不同范围的特征;一个可训练的连接块,用于动态融合多尺度空间特征。本文所提出的AutoST算法能够自动搜索处理多范围、多尺度预测问题的体系结构。此外,AutoST运行高效,并且对场景并不敏感。在人流和出租车流预测等的四个真实数据集上的实验表明,AutoST模型的性能优于固定架构,比其他搜索方法更有效。

 

更多相关专业文章,欢迎关注公众号!

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。