菲洛嘉青春动能素135HA FILLMED® NCTF 135HA LED指示灯的常见故障分析 智微智能 Elkhartlake K075终端,零售产业新选择 天空蓝拓客管理系统详细介绍版 muso公链项目 天使计划 是什么?[秘] 独家揭秘最前沿的家装“黑科技”——掌赋 天博体育欧洲杯特辑,东道主法兰西的失意2016 亚马逊的送货侦察员 学习听起来像挡泥板 Google Comics Factory使ML变得容易 笑着说-男性或女性 Amazon Rekognition中更好的人脸检测 关于Spaun的真相-大脑模拟 两个聊天机器人彼此聊天-有趣又怪异 GANPaint:将AI用于艺术 WCF和WF给予社区 从耳朵到脸 所有神经网络的深层缺陷 蠕虫在尾巴上平衡杆子 Kickstarter上的OpenCV AI套件 TensorFlow-Google的开源AI和计算引擎 众包取代新闻工作者 Google的DeepMind学会玩街机游戏 哑机器人V智能机器人 .NET与.NET 5融为一体 Google的深度学习-语音识别 LInQer将.NET LINQ移植到Javascript 机器人TED演讲-新的图灵测试? GAN的发明者加入苹果 您的智能手机会监视您键入的内容 人工智能帮助改善国际象棋 Zalando Flair NLP库已更新 TensorFlow 1.5包含移动版本 AlphaGo输了一场比赛-比分3-1 虚拟机器学习峰会 Microsoft开源AI调试工具 SharePoint走向移动 F#4.0发出文化变革的信号 克里斯蒂拍卖AI艺术品 人工智能如何区分 Facebook在蒙特利尔的新AI实验室 Mozilla想要您的声音 微软使用极深的神经网络赢得ImageNet 建立AI合作伙伴关系 .NET Core 3-Microsoft几乎回到了起点 神经网络-更好的销售商? Google使用AI查找您的住所 虹膜-适用于Android的Siri证明苹果没有优势 TensorFlow 2提供更快的模型训练 深度学习研究人员将为Google工作
您的位置:首页 >前端 >

Spark BI获得优良的谷物安全性

当使用Apache Hive和Spark处理大型数据集时,有一种新的技术可以增加精细的安全性。

Spark允许您对Hive中的数据使用SQL表达式,但是直到现在,授权都要求您使用HDFS ACL。这缺少列数据所需的粒度。虽然理想的解决方案是Spark是否可以识别并响应精细的安全性设置,但一种替代方法是使用可以与架构级别的安全性设置进行交互的外部守护程序。

LLAP(长期运行和进程,,吟)是长期运行的守护程序的集合,这些守护程序与HDFS数据节点服务协同工作,并具有与基于架构的安全性进行交互的功能。LLAP在Hive 2中引入。它是一种混合执行模型,具有诸如缓存列数据,JIT友好的操作员管道以及减少多个查询(包括并发查询)的开销等优点。

Vadim Vaks在HortonWorks博客上解释该技术时说,启用LLAP后,Spark可以直接通过LLAP从HDFS读取数据,这意味着唯一需要的其他元素是集中式授权系统,该系统可以由Apache Ranger提供。它为在Yarn上运行或依赖HDFS数据的许多组件提供集中的授权和审核服务,包括HDFS,Yarn,Hive(带有LLAP的Spark),HBase,Kafka,Storm,Solr,Atlas和Knox。Vaks说:

“上述每个服务都通过一个插件与Ranger集成,该插件可提取最新的安全策略,将其缓存,然后在运行时应用它们。”

因此,Spark接收查询语句并与Hive通信以获得相关的架构和查询计划。然后,Ranger Hive插件用于检查缓存的安全策略,并通知Spark它可以访问哪些列。

Apache Ranger提供了一个集中式安全框架,用于管理对Hadoop和相关组件(Apache Hive,HBase等)的细粒度访问控制。Ranger插件位于用户请求的路径中,并且可以决定是否应授权用户请求。该插件还收集审核所需的访问请求详细信息。

一旦告知Spark可以访问哪些列,便使用LLAP从文件系统读取。LLAP处理任何过滤或屏蔽,如果查询包含对未经授权的列的请求,则LLAP停止处理该请求,并向Spark抛出Authorization异常。如果使用掩码,则返回受限列,但仅包含星号或原始值的哈希。

Ranger也可用于提供行级安全性,因此查询将仅返回用户有权查看的行。正如Vaks解释的那样,Ranger的行级策略将指示Hive返回一个查询计划,该计划包括过滤未经授权的行的谓词。Spark接收修改后的查询计划并启动处理,并通过LLAP读取数据。LLAP确保应用谓词,并且不返回受限行。

sparklogo

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。