菲洛嘉青春动能素135HA FILLMED® NCTF 135HA LED指示灯的常见故障分析 智微智能 Elkhartlake K075终端,零售产业新选择 天空蓝拓客管理系统详细介绍版 muso公链项目 天使计划 是什么?[秘] 独家揭秘最前沿的家装“黑科技”——掌赋 天博体育欧洲杯特辑,东道主法兰西的失意2016 亚马逊的送货侦察员 学习听起来像挡泥板 Google Comics Factory使ML变得容易 笑着说-男性或女性 Amazon Rekognition中更好的人脸检测 关于Spaun的真相-大脑模拟 两个聊天机器人彼此聊天-有趣又怪异 GANPaint:将AI用于艺术 WCF和WF给予社区 从耳朵到脸 所有神经网络的深层缺陷 蠕虫在尾巴上平衡杆子 Kickstarter上的OpenCV AI套件 TensorFlow-Google的开源AI和计算引擎 众包取代新闻工作者 Google的DeepMind学会玩街机游戏 哑机器人V智能机器人 .NET与.NET 5融为一体 Google的深度学习-语音识别 LInQer将.NET LINQ移植到Javascript 机器人TED演讲-新的图灵测试? GAN的发明者加入苹果 您的智能手机会监视您键入的内容 人工智能帮助改善国际象棋 Zalando Flair NLP库已更新 TensorFlow 1.5包含移动版本 AlphaGo输了一场比赛-比分3-1 虚拟机器学习峰会 Microsoft开源AI调试工具 SharePoint走向移动 F#4.0发出文化变革的信号 克里斯蒂拍卖AI艺术品 人工智能如何区分 Facebook在蒙特利尔的新AI实验室 Mozilla想要您的声音 微软使用极深的神经网络赢得ImageNet 建立AI合作伙伴关系 .NET Core 3-Microsoft几乎回到了起点 神经网络-更好的销售商? Google使用AI查找您的住所 虹膜-适用于Android的Siri证明苹果没有优势 TensorFlow 2提供更快的模型训练 深度学习研究人员将为Google工作
您的位置:首页 >运维 >

Microsoft开源大数据REEF

Microsoft正在开放其大数据框架REEF作为开源。REEF使用Hadoop的新型YARN资源管理器,可用于在作业结束后仍需要维护状态的作业中进行构建。

REEF代表“可保留评估者执行框架”。微软技术研究员和信息服务首席技术官Raghu Ramakrishnan在芝加哥举行的ACM知识发现和数据挖掘会议上描述了它在微软“数字鞋盒”中的重要性。

挖土机

Ramakrishnan将数字鞋盒的概念描述为在线存储,您应该能够在其中捕获任何数据,立即对其进行反应并进行存储以备后用。您应该能够使用任何分析工具在任何位置,以任何组合和交互式地处理数据。

数据可以来自SQL,Hive或MR(MapReduce),流处理,商业智能或机器学习。YARN是Apache Hadoop项目的资源管理器元素,它使您可以在同一物理机群集上运行和管理这些不同类型的多个作业。这样可以减少所需的计算机数量,也意味着您可以在一个位置中对同一数据进行不同的分析。

Ramakrishnan表示,YARN并非适合所有工作类型;有些问题(例如机器学习)存在问题,因为它们在数据移动,任务监视以及保留结果集以进行进一步分析和修改等方面具有特定要求。REEF是在YARN之上运行的一组库,但是可以解决其中的一些问题。

REEF有两个主要部分:评估程序是包含REEF服务的YARN容器,活动是运行在评估程序内部的用户代码。Ramakrishnan演示了一个示例工作流,其中YARN将启动一个Evaluator,并且Activity代码将在其中运行并完成。然后可以再次旋转同一个评估程序,以保持其原始状态,以便可以根据其数据运行其他活动。它包括一个可互操作的数据管理原语库,该原语库针对通信和数据移动进行了优化(这与HDFS的存储位置概念不同)。该库还允许REEF应用程序访问外部服务,例如面向用户的关系数据库。

由于Microsoft Research希望将较低级别的REEF与数据模型和基于其建立的系统的语义脱钩,因此他们开发了两个新的独立系统。它们是配置管理器和依赖项注入器的Tang,以及事件驱动的编程和数据移动框架Wake。两者都是独立于语言的,从而允许REEF桥接JVM和.NET生态系统。Ramakrishnan说,微软研究院已在REEF之上构建了一个MapReduce库,该库运行Hive和Pig,并且是进行M / R优化(例如缓存,随机播放,Map-Reduce-Reduce和Sessions)的绝佳起点。该团队还整合了决策树和线性模型等机器学习算法,并计划添加支持“很快”的SVD(奇异值分解)。

REEF有望在下个月开源。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。