Hadoop添加了内存缓存 Pong开发人员挑战赛 有一天要使用Windows Phone 8 SDK吗? Apache Spark 2.0发布 诺基亚转到高级开发人员计划 开发人员可以使用Asus Xtion Kinect克隆 红色编程语言 图灵赦免的新呼吁 程序员节-庆祝 Ki-适用于JavaScript的Lisp Go 1.10添加了自动缓存 您的WiFi知道您在哪里! Lodash-功能性JavaScript库 Go变成了七岁时的注意力 NetBeans 7.3发行候选版 平板电脑吸引用户远离台式机和笔记本电脑 LoveLetters赢得托尼销售奖 新的汉语普通话改善了版本控制 为了庆祝艾伦·图灵 Pharo 6.0移至64位 NativeScript-统治一切? 伊万·萨瑟兰(Ivan Sutherland)荣获京都奖 TypeScript 1.8 Hits Beta 可穿戴的Android-WIMM One Xamarin现在免费-这会改变一切还是什么? 图灵的纸牌信件将被拍卖 Arduino正式发布-1.0版 p5.j​​s将处理引入网络 JavaFX在Raspberry Pi上运行 jQuery仍然是我们最喜欢的框架 坑-F#到JavaScript编译器 Java 9的拟议时间表 Java ME 8随Raspberry Pi大量发布 图灵年:传承的遗产 芯片上的太赫兹传感器提供X射线视觉 禅光子花园 为Alan Turing的Universal Machine投票 适用于本机应用程序的JavaScript JDK 9更新 io.js加入Node.js基金会 Raspberry Pi获取HAT触摸屏 AngularJS 2.0截然不同 Nodyn-JVM上的Node.js 新的Nao机器人和1500万美元的投资 一个委员会来监督Java? 邀请获得免费软件奖提名 Apple 1打破在线拍卖纪录 D从GCC获得动力 赞助巨像 原型1.7.1发布
您的位置:首页 >大数据 >

Hadoop添加了内存缓存

Apache Hadoop 2.3.0已发布,支持HDFS的内存中缓存和异构存储层次结构。

HDFS的内存中缓存功能意味着您可以选择在HDFS中缓存特定的文件或目录,这样MapReduce,Hive和Pig等应用程序便可以读取这些文件或目录,而无需进行常规的基于磁盘的读取操作。

阿帕恰德班纳

根据Cloudera博客上的Justin Kestelyn的说法,初步基准测试表明,优化的应用程序可以实现每秒千兆字节的读取吞吐量。

Kestelyn报告:当您缓存文件或目录时,:

然后,DataNode将通过使用mmap和mlock将相应的块缓存在堆外内存中。缓存后,Hadoop应用程序可以查询缓存块的位置,并针对内存位置放置其任务。最后,在本地内存中,应用程序可以使用新的零复制读取API来读取缓存的数据,而不会产生额外的开销。

在Hortonworks博客Arun Murthy上写道:

“例如,Hive通过为ORC文件实现极其有效的零拷贝读取路径来利用此功能。”

其他亮点包括对HDFS中的异构存储的一些支持,增加了异构存储类,以及通过YARN分布式缓存简化了MapReduce二进制文件的分发。

异构存储类意味着Hadoop现在可以在同一Hadoop群集上使用不同的存储类型,因此可以将SSD,内存和不同类型的磁盘的混合在一起放在同一群集中,并允许每个应用程序选择最适合其性能或成本要求的存储类型。

Hortonworks的一篇有趣的文章更详细地描述了HDFS中的异构存储,在他的博客文章中,Arun Murthy说:

“我们现在可以使用不同的存储介质(例如商品磁盘,企业级磁盘,SSD,内存等)进行更好的成本/收益权衡。”

Hadoop 2.3.0发行说明提供了其他更改和功能的详细信息。

hadoopsquare

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。