微软使用极深的神经网络赢得ImageNet 建立AI合作伙伴关系 .NET Core 3-Microsoft几乎回到了起点 神经网络-更好的销售商? Google使用AI查找您的住所 虹膜-适用于Android的Siri证明苹果没有优势 TensorFlow 2提供更快的模型训练 深度学习研究人员将为Google工作 Xamarin SDK开源 更正工具已添加到Google网站翻译器中 使用AI进行双检测 DARPA的AI下一步运动-20亿美元! AI在DARPA混战中击败了人类飞行员 Rodney Brooks称AI的状态 Arduino体内的蠕虫意识 深度学习找到您的照片 更多的机器学习应用于Google表格 深度天使-未来媒体操纵的AI ASP.NET更新并重命名 小猫猫猫探测器 .NET Jupyter笔记本宣布 介绍DeepSpeech 在Formula Pi中竞赛A YetiBorg Google开源准确解析器-Parsey McParseface 适用于我们的REST的MIcrosoft的Project Oxford AI API Eyeshot,.NET的CAD控件 百度AI团队被骗-被ImageNet竞赛禁赛一年 GIMP的机器学习Python插件 Google的自动驾驶汽车-不是​​那么聪明吗? 设计自己的无人驾驶汽车 开源深度学习框架如何堆叠? Azure机器学习服务上线 Evi重载 Microsoft R Server 9.1添加了ML增强功能 廉价的十亿个神经元联系 Skype转换器突破了语言障碍 ASIMO庆祝成立10周年 Google翻译超过2亿 .NET Core 3获取GUI Google开始为Prediction API收费 Google文档获取基于AI的语法检查器 Microsoft认知工具包版本2.0 Google的DeepMind Files AI专利 ONNX for AI模型的互操作性 机器学习识别MOMA艺术品 音频超分辨率 神经网络聊天机器人-令人惊讶的是人类吗? Microsoft扩展了认知服务API RankBrain-AI进入Google搜索 新的MIT–IBM Watson AI实验室
您的位置:首页 >大数据 >

微软使用极深的神经网络赢得ImageNet

虽然几乎所有其他人都在为进一步发展AI奠定基础和研究所,但一些研究人员实际上正在继续这样做。微软赢得了今年的ImageNet竞赛,这令人感到意外。

影像网

影像网令人惊讶的是,总体而言,是Google在AI方面的影响最大,而在大众心中,至少Google领先于竞争对手。实际上,所有参与将AI推向大众的竞赛的大公司实际上都在微调相同的基本解决方案-深度神经网络。

那么微软是怎么做到的呢?

ImageNet的主要竞争者是谁可以在分类为1000个对象类别的100,000个照片数据库中获得最佳(即最低)错误率。附带任务是在图片中定位对象。Microsoft管理的错误率为3.5%,本地化错误为9%。Google先前获胜的网络在错误率方面的数字相似,但是在本地化方面,差异较大,错误率为19%。

convnetjsicon

在前几年,具有30层左右的神经网络排在第一位。今年,相同的神经网络方法通过更深入的研究取得了进步。微软的网络确实深达150层。为此,团队必须克服训练深度神经网络固有的基本问题。随着网络的深入培训变得越来越困难,因此您会遇到一种看似矛盾的情况,即增加层数会使性能变差。

提出的解决方案称为深度残差学习。虽然深度残差学习的一般思想是由合理的假设激发的,但看来其实际起作用的原因仍是模糊的。

这个想法是,如果一个n层网络能够相当好地学习一项任务,那么增加更多的层应该至少产生同样好的性能-因为这就是将额外的层设置为身份转换所得到的。

所提出的方法改变了学习任务,从而使标准学习算法更容易学习身份转换。当然,实际上,身份转换不是最佳选择,但是该方法似乎更通用,并且可以找到更好的解决方案。

引用论文解释工作:

“在实际情况下,身份映射是不可能的,但我们的重新制定可能有助于解决问题。”

可以使用现有的系统来实现新的体系结构,并且该团队甚至探索了更深的网络(最多1000层),但是结果可能由于过度拟合而没有那么好。对于此模型大小,数据集相对较小。

因此,似乎我们不仅进入了深度神经网络时代,而且还进入了极深度神经网络时代。

神经网络发展的反复出现的主题之一,Geoffrey Hinton经常指出,我们一直都有答案。1970年代发明的神经网络还不够深入。从那以后,每一次突破都涉及寻找有效培训更深层网络的方法-因此趋势一直在持续。

imagenetsq

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。