LOS Alamos将30pb的种族对象储存投入生产 销售博纳扎的潜力是Oracle加速到云中 GCHQ告诉分析师承担监督“散装数据”是合法的 政府推迟数字战略,直到欧盟公投 英国法院拒绝对劳里的需求爱上交出加密密钥 DDOS袭击于2015年袭击了四分之三的全球品牌 CIO采访:vesa pirinen,yit集团 盗窃客户数据是顶级ASEAN零售商担心 英国信息专员对隐私盾牌的重量 挪威的Storebrand选择了数字转型的认识 Wi-Fi Aggregator IPASS提供SDK以简化网络访问 CityFibre点亮米尔顿凯恩斯和北安普敦 巴克莱银行关闭美国技术中心 Shadbolt评论突出了毕业生就业的民族划分 UCL高级网络建筑师说,科技的性别偏见可能会“灭绝随着时间的推移” 看完这场直播,我又双叒叕被养生少女吴昕种草了 NCA说,平衡隐私和保障是一个关键挑战 EE扩展4G带有卫星回程的推出 BAE系统警告了QBOT恶意软件的形状转换应变 加拿大伊丽莎白Denham为英国的下一个信息专员设置 联想将X86服务器生产扩展到欧洲 Microsoft在政府监测中介绍了运动 面试:吉尼布奇,电子商务运营经理Skullcandy 英国科技产业欢迎政府新的反犯罪战略 面试:Lloyds银行集团数字包容头部Leigh Smyth 科技城椅子艾琳布史表示,英国致力于领导全球金融科学部门 OFCOM使用户更容易切换移动网络 OpenStack基础筹备了解决企业技能差距的努力 IOT安全不是东盟组织的优先事项 辉瑞公司与IBM合作,使用IoT来支持帕金森的治疗方法 gov.uk验证4月去现场目标 EY在新加坡IT专业知识中投资 Barclays Bank Sucmumbs到Apple Pay 2016年EMC世界:Tucci和Dell Vaunt Datacentre现代化 La Poste提供服务互联网 欧洲IT买家优先考虑BI和数据管理超过ERP和CRM SSE Enterprise Telecoms将客户连接到CityFibre网络 年轻的愿意是网络战士在Bletchley Park战斗 Facebook Triples Q1利润作为移动广告收入尖峰 Cargotec通过将人力资源系统移动到云端的€2M 巨大的被盗的Webmail凭证缓存可以推动使用2FA 政府接受数据伦理委员会提案 在新加坡银行的网络攻击中心adwind 虚拟桌面基础设施为中东企业增长 印度尼西亚互联网用户转向智能手机上网 面试:指导客户,真正的宗教高级副总裁John Hazen BBC外出资金和会计技术给IBM 局部数字联盟推进地方政府数字项目 安全严重推出网络安全无名英雄奖项 HSCIC说,Gov.uk验证NHS是否足够安全
您的位置:首页 >运维 >

LOS Alamos将30pb的种族对象储存投入生产

美国洛杉矶阿拉莫斯国家实验室已达到大约30pb的对象存储,由Scality Ring软件提供动力。

选择对象存储的能力,以利用擦除编码数据弹性并避免使用RAID。这是由于RAID的越来越繁琐的性质,特别是在磁盘故障后的大型硬盘的RAID重建期间。

对象存储的种族层层构成了支持LOS Alamos Trinity Cray提供的超级计算机的整体存储基础架构的一部分。

它是世界上最强大的超级计算机之一,拥有2PB的内存,200CCU和40个PETAFLOPS的性能(每秒浮点运行)。它用于管理美国核库存并进行物理建模和模拟。

Trinity的输入/输出(I / O)的性质构成了唯一问题,数据集可以包括10多个KB大小范围内的数百万个文件的单个文件或数百万个文件。

Los Alamos的计算机工程师Kyle Lamb说:“我们有两个极端的存储I / O处理。大问题是我们将如何处理未来五年。因此,我们开始查看对象存储,特别是擦除编码,因为数据持久性以及磁盘上的数据的性能。“

Trinity的存储包括三层。包含所谓的“缓冲突发”的最高执行层是由3.7PB的闪存,在CRAY DataWarp I / O加速器中提供3.3Tbps的吞吐量。预计数据将保留一天大约。

接下来是在CRAY / SEAGATE硬件上的企业硬盘驱动器(HDD)上的LUSTER PASTLED文件系统中保留了78PB数据,具有1.5Tbps的吞吐量,并在几周内测量的数据的预期寿命。

第三个,种类支持的层是由LOS Alamos称为“广告系列存储”的,它包括当前大约3PB的容量(对于Trinity - 总共有30pb,见下文),并且用于初始使用的数据,但是可能会在休眠状态,直到重新用于持续六个月到两年或三年的竞选活动。吞吐量是3Gbps。

那么,为什么不使用带有raid的磁带或磁盘?“如果我们写信给录音带,我们就会在30个小时内看待30小时,以便回忆一下30TB的数据,”羔羊说。

“当时我们开始看的典型RAID系统很好,可以相当扩展,但随着HDD更大,我们需要看看更好的数据耐用性。使用8TB磁盘,您正在寻找三天的重建时间,这比我们在潜在的数据丢失方面可以接受。“

因此,LOS Alamos选择了具有其擦除数据保护的擦除编码方法的对象存储。

擦除编码是一种数据保护方法,其中数据被丢弃到扩展和编码的片段,其具有可配置数量的冗余数据,并存储在一组不同位置。

如果数据丢失或损坏,则可以使用关于其他地方存储的数据的信息来重建它。它通过创建数学函数来描述一组数字,因此如果丢失,可以检查它们以获得准确性并恢复。

“我们正在支付数据的弹性而不是性能,”羔羊说。

同时,Scality对象存储设置还将支持LOS Alamos开发的MARF中的另一个数据。这是一个并行文件系统,它提供POSIX界面 - 通过GPFS - 允许文件访问存储,但后端上有类对象存储。

“我们需要一个POSIX界面。人们习惯了它,它不会导致访问存储的应用程序,“leamb说。

Marfs通过将实例作为GPF中的文件呈现,组织访问对象元数据。然后,此元数据点指向文件的许多小(1GB)部分的实例,而是作为种类中的对象保持。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。