Azure数据编码 Firebug 1.11发布 英特尔使其可穿戴-发展轨迹 简易Windows RT越狱 希格斯玻色子机器学习挑战在Kaggle 浏览器市场份额竞赛中的方向改变了吗? 挖掘社会形象 Windows Phone 8-重新启动 谜确保资金–扩展对公共数据的访问 Hadoop添加了内存缓存 Pong开发人员挑战赛 有一天要使用Windows Phone 8 SDK吗? Apache Spark 2.0发布 诺基亚转到高级开发人员计划 开发人员可以使用Asus Xtion Kinect克隆 红色编程语言 图灵赦免的新呼吁 程序员节-庆祝 Ki-适用于JavaScript的Lisp Go 1.10添加了自动缓存 您的WiFi知道您在哪里! Lodash-功能性JavaScript库 Go变成了七岁时的注意力 NetBeans 7.3发行候选版 平板电脑吸引用户远离台式机和笔记本电脑 LoveLetters赢得托尼销售奖 新的汉语普通话改善了版本控制 为了庆祝艾伦·图灵 Pharo 6.0移至64位 NativeScript-统治一切? 伊万·萨瑟兰(Ivan Sutherland)荣获京都奖 TypeScript 1.8 Hits Beta 可穿戴的Android-WIMM One Xamarin现在免费-这会改变一切还是什么? 图灵的纸牌信件将被拍卖 Arduino正式发布-1.0版 p5.j​​s将处理引入网络 JavaFX在Raspberry Pi上运行 jQuery仍然是我们最喜欢的框架 坑-F#到JavaScript编译器 Java 9的拟议时间表 Java ME 8随Raspberry Pi大量发布 图灵年:传承的遗产 芯片上的太赫兹传感器提供X射线视觉 禅光子花园 为Alan Turing的Universal Machine投票 适用于本机应用程序的JavaScript JDK 9更新 io.js加入Node.js基金会 Raspberry Pi获取HAT触摸屏
您的位置:首页 >开发 >

Azure数据编码

研究人员已经开发出一种数学工具,可以减少在数据中心中存储数据所需的空间量。

微软研究团队与Windows Azure存储小组的成员一起开发了该工具,该工具减少了存储数据所需的空间量,从而降低了存储数据的成本。

这项工作始于客户希望将数据存储在云中以确保其数据安全所带来的难题。提供数据完整性的最简单方法是对其进行复制,通常使用经典的三个完整副本来确保数据安全,即使服务器发生故障也是如此。拥有三份副本的开销显然会增加存储成本。微软团队研究了对数据进行编码以创建简短描述的替代方法,该描述可以重新组合并交付给用户。

天蓝色

编码数据以删除重复项几乎没有突破性的进展,但是Microsoft团队采用了创新的方法。目前,Windows Azure存储使用称为“惰性擦除编码”的技术在后台进行压缩来压缩存储的数据。打开并填充数据块(称为扩展区)时,将存储它的三个副本。当密封且数据中心有备用容量时,擦除编码将在后台启动。

编码将范围划分为大小相等的数据片段,将其编码以生成许多奇偶校验片段。每个数据片段和奇偶校验片段都存储在不同的物理单元中。进行位置选择是为了使数据中心中任何单个模块(例如电源单元,交换机,计算机或磁盘)的故障都只会影响一个数据或奇偶校验片段。一旦数据被擦除编码并分发了所有数据和奇偶校验片段,就可以删除所有三个原始副本。通过在后台进行的工作,可以将编码对数据中心性能的影响降到最低。

用于擦除编码的一种方法称为里德-所罗门编码。这在美国太空计划中用于减少通信错误,并且还用于在光盘上编码。Reed-Solomon代码是根据数据和奇偶校验片段的数量来描述的,因此6 + 3 Reed Solomon代码将数据的三个副本转换为九个片段-六个数据和三个奇偶校验,每个都是原始数据大小的六分之一。这样可将数据占用空间减少一半,从而节省一半的服务器。

编码的缺点是服务器需要花费一些时间从代码重新组装数据,特别是如果发生硬件故障而必须从片段重构数据时,尤其如此。新方法的目标是减少执行数据检索的时间和成本,尤其是在硬件故障期间。该团队还希望提高数据压缩率,并且尽管他们考虑了更激进的Reed-Solomon配置,但他们决定采用一种称为本地重构代码(LRC)的新方法。与大多数Reed-Solomon代码相比,这可以使数据重建更快,因为在大多数故障模式下,只需读取一半的数据片段即可重新创建原始数据。

编码技术名称中的“本地”是指这样的概念:在由于服务器故障等事件导致片段脱机的情况下,重构数据所需的代码可用,而不是散布在数据中心的服务器上。

LRC具有良好的数据持久性-数据块可能会出现三个故障,并且仍可以100%的精度进行重建,并且重建速度更快。与Reed-Solomon相比,它占用的空间更少,减少了14%。

在2012年USENIX Windows Azure存储中的擦除编码年度技术会议上,研究人员的工作获得了最佳论文奖。研究小组说,从数据中心外看,该技术的一种用途是在闪存设备中,这些设备是通过组合多个闪存驱动器制成的。LRC可以在清除旧的或未使用的数据时提高闪存设备的效率。

天蓝色

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。