Spark BI获得优良的谷物安全性 适用于Node.js的AWS Elastic Beanstalk 在电视上获取Windows Phone 8应用 BBC Micro:bit是C / C ++中的嵌入式设备 微软降低Windows应用商店的壁垒 英特尔老板控制机器人蜘蛛军-居里 Apache Hive增加了对集合操作的支持 亚马逊大数据 Raspberry Pi 3确认-64位售价35美元 Windows Phone 8.1尚未保密 Microsoft Apportals-分层开始菜单的重新发现 帮助使用Modern.IE进行测试 光束显示谁在追踪您 Windows 8加速PC下降 WiFi Mods非法 Microsoft开源大数据REEF Windows 10 SDK和工具-快到了! 斯坦福工程师建造基于水滴的计算机 Google上的WebGL 3D图形 夏威夷项目-适用于Windows应用的SDK Opera 12更快,更稳定 Windows 10无法失败-免费 BookSmash挑战 Firefox获取社交API-为什么? 增强现实天气 与Chrome通话 Windows 10的表现如何? Firefox 18 Beta-IonMonkey简介 英特尔升级挑战 PyWeek报名开始 英国,葡萄牙和奥地利在“ 2013年想象杯”上获得最高奖项 Amazon Redshift准备数据 Google Compute Engine Firefox 23已发布,Beta 24已发布 时间之沙-模拟 您可以触摸的立体3D投影 MAKE为Raspberry Pi项目提供奖项 Google流感预测-当心媒体效应 英国对大数据专家的需求 微软的Islandwood现在在GitHub上-iOS桥梁无处可去? 微软缩减Windows Phone 为什么当Microsoft删除通用应用程序时我们应该编写通用应用程序-Skype仅用于桌面 Tizen成为三星物联网战略的中心 Google通过App Engine提供后端服务 微软Downs飞行 通过PhiloGL使WebGL更容易 FlightGear 2.6 Firefox 12提供改进的开发人员工具 人口普查分析仪提示未来 Azure数据编码
您的位置:首页 >前端 >

Spark BI获得优良的谷物安全性

当使用Apache Hive和Spark处理大型数据集时,有一种新的技术可以增加精细的安全性。

Spark允许您对Hive中的数据使用SQL表达式,但是直到现在,授权都要求您使用HDFS ACL。这缺少列数据所需的粒度。虽然理想的解决方案是Spark是否可以识别并响应精细的安全性设置,但一种替代方法是使用可以与架构级别的安全性设置进行交互的外部守护程序。

LLAP(长期运行和进程,,吟)是长期运行的守护程序的集合,这些守护程序与HDFS数据节点服务协同工作,并具有与基于架构的安全性进行交互的功能。LLAP在Hive 2中引入。它是一种混合执行模型,具有诸如缓存列数据,JIT友好的操作员管道以及减少多个查询(包括并发查询)的开销等优点。

Vadim Vaks在HortonWorks博客上解释该技术时说,启用LLAP后,Spark可以直接通过LLAP从HDFS读取数据,这意味着唯一需要的其他元素是集中式授权系统,该系统可以由Apache Ranger提供。它为在Yarn上运行或依赖HDFS数据的许多组件提供集中的授权和审核服务,包括HDFS,Yarn,Hive(带有LLAP的Spark),HBase,Kafka,Storm,Solr,Atlas和Knox。Vaks说:

“上述每个服务都通过一个插件与Ranger集成,该插件可提取最新的安全策略,将其缓存,然后在运行时应用它们。”

因此,Spark接收查询语句并与Hive通信以获得相关的架构和查询计划。然后,Ranger Hive插件用于检查缓存的安全策略,并通知Spark它可以访问哪些列。

Apache Ranger提供了一个集中式安全框架,用于管理对Hadoop和相关组件(Apache Hive,HBase等)的细粒度访问控制。Ranger插件位于用户请求的路径中,并且可以决定是否应授权用户请求。该插件还收集审核所需的访问请求详细信息。

一旦告知Spark可以访问哪些列,便使用LLAP从文件系统读取。LLAP处理任何过滤或屏蔽,如果查询包含对未经授权的列的请求,则LLAP停止处理该请求,并向Spark抛出Authorization异常。如果使用掩码,则返回受限列,但仅包含星号或原始值的哈希。

Ranger也可用于提供行级安全性,因此查询将仅返回用户有权查看的行。正如Vaks解释的那样,Ranger的行级策略将指示Hive返回一个查询计划,该计划包括过滤未经授权的行的谓词。Spark接收修改后的查询计划并启动处理,并通过LLAP读取数据。LLAP确保应用谓词,并且不返回受限行。

sparklogo

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。