Apache Hive增加了对集合操作的支持 亚马逊大数据 Raspberry Pi 3确认-64位售价35美元 Windows Phone 8.1尚未保密 Microsoft Apportals-分层开始菜单的重新发现 帮助使用Modern.IE进行测试 光束显示谁在追踪您 Windows 8加速PC下降 WiFi Mods非法 Microsoft开源大数据REEF Windows 10 SDK和工具-快到了! 斯坦福工程师建造基于水滴的计算机 Google上的WebGL 3D图形 夏威夷项目-适用于Windows应用的SDK Opera 12更快,更稳定 Windows 10无法失败-免费 BookSmash挑战 Firefox获取社交API-为什么? 增强现实天气 与Chrome通话 Windows 10的表现如何? Firefox 18 Beta-IonMonkey简介 英特尔升级挑战 PyWeek报名开始 英国,葡萄牙和奥地利在“ 2013年想象杯”上获得最高奖项 Amazon Redshift准备数据 Google Compute Engine Firefox 23已发布,Beta 24已发布 时间之沙-模拟 您可以触摸的立体3D投影 MAKE为Raspberry Pi项目提供奖项 Google流感预测-当心媒体效应 英国对大数据专家的需求 微软的Islandwood现在在GitHub上-iOS桥梁无处可去? 微软缩减Windows Phone 为什么当Microsoft删除通用应用程序时我们应该编写通用应用程序-Skype仅用于桌面 Tizen成为三星物联网战略的中心 Google通过App Engine提供后端服务 微软Downs飞行 通过PhiloGL使WebGL更容易 FlightGear 2.6 Firefox 12提供改进的开发人员工具 人口普查分析仪提示未来 Azure数据编码 Firebug 1.11发布 英特尔使其可穿戴-发展轨迹 简易Windows RT越狱 希格斯玻色子机器学习挑战在Kaggle 浏览器市场份额竞赛中的方向改变了吗? 挖掘社会形象
您的位置:首页 >数据库 >

Apache Hive增加了对集合操作的支持

Apache Hive的新发行版具有新功能,包括对Set操作和JDBC Storage Handler的支持。

Hive可用于使用SQL读取,写入和管理分布式存储中的大型数据集。该软件包括用于将用户连接到Hive的命令行工具和JDBC驱动程序。提供了用于数据提取/转换/加载(ETL)的工具。它可以用于通过MapReduce,Spark和Tez查询数据。查询检索可以利用Hive LLAP,YARN和Slider。Hive还支持HPL-SQL的程序使用。

蜂巢

最新版本添加了通用JDBC RDBMS存储处理程序,从而可以将标准DB表导入Hive。

此版本还完成了Hive 2.1中有关Set操作的工作。现在,您可以使用“并集”,“相交”和“例外集”操作通过关系代数查找数据。

ACID事务的处理已通过两种方式得到改进。首先,新版本允许谓词下推到ACID Transactions创建的增量文件。在早期版本中,由ACID事务创建的增量文件如果包含任何更新/删除事件,则不允许谓词下推。这样做是为了在多版本事务失败时保留正确性。新方法将更新分为删除事件和新插入事件的组合。这意味着可以对所有增量文件启用谓词下推而不会破坏正确性。

通过消除逐行缝合,ACID矢量化也得到了改善。在早期版本中,矢量化的行批处理是通过在每次将矢量化的批处理沿着操作员管道向上传递之前一次填充一行来创建的。这样做的原因是,在找到给定行的实际版本之前,需要将来自各种增量文件的ACID插入/更新/删除事件合并在一起。增量文件处理的改进意味着这不再是必需的。更新后的版本直接从基础ORC文件中读取行批,并避免任何拼接。

从拆分读取行批后,将通过对数据行进行交叉引用来找到已删除的行,该数据结构将仅跟踪已删除的事件。当以向量化方式读取ACID文件时,这有望导致大幅提高性能。

其他改进包括通过手动重建添加了简单的实例化视图;支持列出类似于“显示表”的视图;和一个UDF以允许查询uniontype值。

蜂巢

        

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。