菲洛嘉青春动能素135HA FILLMED® NCTF 135HA LED指示灯的常见故障分析 智微智能 Elkhartlake K075终端,零售产业新选择 天空蓝拓客管理系统详细介绍版 muso公链项目 天使计划 是什么?[秘] 独家揭秘最前沿的家装“黑科技”——掌赋 天博体育欧洲杯特辑,东道主法兰西的失意2016 亚马逊的送货侦察员 学习听起来像挡泥板 Google Comics Factory使ML变得容易 笑着说-男性或女性 Amazon Rekognition中更好的人脸检测 关于Spaun的真相-大脑模拟 两个聊天机器人彼此聊天-有趣又怪异 GANPaint:将AI用于艺术 WCF和WF给予社区 从耳朵到脸 所有神经网络的深层缺陷 蠕虫在尾巴上平衡杆子 Kickstarter上的OpenCV AI套件 TensorFlow-Google的开源AI和计算引擎 众包取代新闻工作者 Google的DeepMind学会玩街机游戏 哑机器人V智能机器人 .NET与.NET 5融为一体 Google的深度学习-语音识别 LInQer将.NET LINQ移植到Javascript 机器人TED演讲-新的图灵测试? GAN的发明者加入苹果 您的智能手机会监视您键入的内容 人工智能帮助改善国际象棋 Zalando Flair NLP库已更新 TensorFlow 1.5包含移动版本 AlphaGo输了一场比赛-比分3-1 虚拟机器学习峰会 Microsoft开源AI调试工具 SharePoint走向移动 F#4.0发出文化变革的信号 克里斯蒂拍卖AI艺术品 人工智能如何区分 Facebook在蒙特利尔的新AI实验室 Mozilla想要您的声音 微软使用极深的神经网络赢得ImageNet 建立AI合作伙伴关系 .NET Core 3-Microsoft几乎回到了起点 神经网络-更好的销售商? Google使用AI查找您的住所 虹膜-适用于Android的Siri证明苹果没有优势 TensorFlow 2提供更快的模型训练 深度学习研究人员将为Google工作
您的位置:首页 >物联网 >

Google开源Albert NLP

谷歌已经在开放源代码版本中提供了ALBERT(一种Lite BERT).ALBERT是一种深度学习的自然语言处理模型,开发人员说其使用的参数比BERT少得多,却不牺牲准确性。

变形金刚或BERT的双向编码器表示法是Google在2018年发布的一种自我监督方法。众所周知,该技术在依靠从网络绘制的未注释文本的同时,在一系列NLP任务上所取得的令人印象深刻的结果而闻名。大多数类似的NLP系统都基于专门为给定任务标记的文本。

ALBERT是BERT的升级版,可提高12项NLP任务的性能,包括具有竞争力的斯坦福问答数据集(SQuAD v2.0)和SAT风格的阅读理解RACE基准。Albert是作为TensorFlow之上的开源实现发布的,其中包括许多易于使用的预训练语言表示模型。

根据其开发人员在国际学习表示法会议上发表的一篇论文,ALBERT通过两种方式减小模型大小-通过在网络的隐藏层之间共享参数,以及通过分解嵌入层。

研究人员说,优化性能的关键是更有效地分配模型的容量。输入级嵌入需要学习上下文无关的表示形式,例如单词“ bank”的表示形式。相反,隐藏层嵌入需要将其完善为上下文相关的表示形式,因此在金融交易的上下文中需要“银行”的表示形式,在河流流量管理的上下文中需要“银行”的不同表示形式。

使用共享参数和分解嵌入层这两种技术,将用于基线模型的参数从BERT的108M减少到仅12M。准确度确实从平均82.3%下降到80.1%,但是鉴于参数削减的优势,这是一个很小的数目。减少参数的好处之一是可以进一步扩展模型。开发人员说,假设内存大小允许,则可以将隐藏层嵌入的大小扩大10到20倍。

研究人员得出的结论是:

“ ALBERT的成功证明了识别模型方面的重要性,这些方面会产生强大的上下文表示。通过将改进工作集中在模型体系结构的这些方面,可以极大地提高广泛的NLP任务的模型效率和性能。”

Googleai

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。