Microsoft开源大数据REEF Windows 10 SDK和工具-快到了! 斯坦福工程师建造基于水滴的计算机 Google上的WebGL 3D图形 夏威夷项目-适用于Windows应用的SDK Opera 12更快,更稳定 Windows 10无法失败-免费 BookSmash挑战 Firefox获取社交API-为什么? 增强现实天气 与Chrome通话 Windows 10的表现如何? Firefox 18 Beta-IonMonkey简介 英特尔升级挑战 PyWeek报名开始 英国,葡萄牙和奥地利在“ 2013年想象杯”上获得最高奖项 Amazon Redshift准备数据 Google Compute Engine Firefox 23已发布,Beta 24已发布 时间之沙-模拟 您可以触摸的立体3D投影 MAKE为Raspberry Pi项目提供奖项 Google流感预测-当心媒体效应 英国对大数据专家的需求 微软的Islandwood现在在GitHub上-iOS桥梁无处可去? 微软缩减Windows Phone 为什么当Microsoft删除通用应用程序时我们应该编写通用应用程序-Skype仅用于桌面 Tizen成为三星物联网战略的中心 Google通过App Engine提供后端服务 微软Downs飞行 通过PhiloGL使WebGL更容易 FlightGear 2.6 Firefox 12提供改进的开发人员工具 人口普查分析仪提示未来 Azure数据编码 Firebug 1.11发布 英特尔使其可穿戴-发展轨迹 简易Windows RT越狱 希格斯玻色子机器学习挑战在Kaggle 浏览器市场份额竞赛中的方向改变了吗? 挖掘社会形象 Windows Phone 8-重新启动 谜确保资金–扩展对公共数据的访问 Hadoop添加了内存缓存 Pong开发人员挑战赛 有一天要使用Windows Phone 8 SDK吗? Apache Spark 2.0发布 诺基亚转到高级开发人员计划 开发人员可以使用Asus Xtion Kinect克隆 红色编程语言
您的位置:首页 >运维 >

Microsoft开源大数据REEF

Microsoft正在开放其大数据框架REEF作为开源。REEF使用Hadoop的新型YARN资源管理器,可用于在作业结束后仍需要维护状态的作业中进行构建。

REEF代表“可保留评估者执行框架”。微软技术研究员和信息服务首席技术官Raghu Ramakrishnan在芝加哥举行的ACM知识发现和数据挖掘会议上描述了它在微软“数字鞋盒”中的重要性。

挖土机

Ramakrishnan将数字鞋盒的概念描述为在线存储,您应该能够在其中捕获任何数据,立即对其进行反应并进行存储以备后用。您应该能够使用任何分析工具在任何位置,以任何组合和交互式地处理数据。

数据可以来自SQL,Hive或MR(MapReduce),流处理,商业智能或机器学习。YARN是Apache Hadoop项目的资源管理器元素,它使您可以在同一物理机群集上运行和管理这些不同类型的多个作业。这样可以减少所需的计算机数量,也意味着您可以在一个位置中对同一数据进行不同的分析。

Ramakrishnan表示,YARN并非适合所有工作类型;有些问题(例如机器学习)存在问题,因为它们在数据移动,任务监视以及保留结果集以进行进一步分析和修改等方面具有特定要求。REEF是在YARN之上运行的一组库,但是可以解决其中的一些问题。

REEF有两个主要部分:评估程序是包含REEF服务的YARN容器,活动是运行在评估程序内部的用户代码。Ramakrishnan演示了一个示例工作流,其中YARN将启动一个Evaluator,并且Activity代码将在其中运行并完成。然后可以再次旋转同一个评估程序,以保持其原始状态,以便可以根据其数据运行其他活动。它包括一个可互操作的数据管理原语库,该原语库针对通信和数据移动进行了优化(这与HDFS的存储位置概念不同)。该库还允许REEF应用程序访问外部服务,例如面向用户的关系数据库。

由于Microsoft Research希望将较低级别的REEF与数据模型和基于其建立的系统的语义脱钩,因此他们开发了两个新的独立系统。它们是配置管理器和依赖项注入器的Tang,以及事件驱动的编程和数据移动框架Wake。两者都是独立于语言的,从而允许REEF桥接JVM和.NET生态系统。Ramakrishnan说,微软研究院已在REEF之上构建了一个MapReduce库,该库运行Hive和Pig,并且是进行M / R优化(例如缓存,随机播放,Map-Reduce-Reduce和Sessions)的绝佳起点。该团队还整合了决策树和线性模型等机器学习算法,并计划添加支持“很快”的SVD(奇异值分解)。

REEF有望在下个月开源。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。