菲洛嘉青春动能素135HA FILLMED® NCTF 135HA LED指示灯的常见故障分析 智微智能 Elkhartlake K075终端,零售产业新选择 天空蓝拓客管理系统详细介绍版 muso公链项目 天使计划 是什么?[秘] 独家揭秘最前沿的家装“黑科技”——掌赋 天博体育欧洲杯特辑,东道主法兰西的失意2016 亚马逊的送货侦察员 学习听起来像挡泥板 Google Comics Factory使ML变得容易 笑着说-男性或女性 Amazon Rekognition中更好的人脸检测 关于Spaun的真相-大脑模拟 两个聊天机器人彼此聊天-有趣又怪异 GANPaint:将AI用于艺术 WCF和WF给予社区 从耳朵到脸 所有神经网络的深层缺陷 蠕虫在尾巴上平衡杆子 Kickstarter上的OpenCV AI套件 TensorFlow-Google的开源AI和计算引擎 众包取代新闻工作者 Google的DeepMind学会玩街机游戏 哑机器人V智能机器人 .NET与.NET 5融为一体 Google的深度学习-语音识别 LInQer将.NET LINQ移植到Javascript 机器人TED演讲-新的图灵测试? GAN的发明者加入苹果 您的智能手机会监视您键入的内容 人工智能帮助改善国际象棋 Zalando Flair NLP库已更新 TensorFlow 1.5包含移动版本 AlphaGo输了一场比赛-比分3-1 虚拟机器学习峰会 Microsoft开源AI调试工具 SharePoint走向移动 F#4.0发出文化变革的信号 克里斯蒂拍卖AI艺术品 人工智能如何区分 Facebook在蒙特利尔的新AI实验室 Mozilla想要您的声音 微软使用极深的神经网络赢得ImageNet 建立AI合作伙伴关系 .NET Core 3-Microsoft几乎回到了起点 神经网络-更好的销售商? Google使用AI查找您的住所 虹膜-适用于Android的Siri证明苹果没有优势 TensorFlow 2提供更快的模型训练 深度学习研究人员将为Google工作
您的位置:首页 >数据库 >

Dremio 3.0添加了数据目录

有一个新版本的Dremio,这是一个开放源代码项目,旨在为业务分析师和数据科学家提供一种探索和分析数据的方法,无论其结构或大小如何。此版本中的新增功能是数据目录,优先的工作负载管理和Kubernetes支持。

Dremio的开发人员将其描述为数据虚拟化平台。该软件基于Apache Arrow,Apache Parquet和Apache Calcite,Dremio背后的公司是Arrow的主要贡献者。Apache Arrow是用于内存数据的跨语言开发平台。它为平面和分层数据指定了一种与语言无关的标准化列式存储格式。Apache Parquet为基于文件的存储提供了类似的功能。用途Apache Calcite用于SQL解析和查询优化。

德雷米奥

Dremio构建称为“反射”的基于箭头的结构。这些是基于对数据源的查询的优化数据副本。Dremio还具有一个查询优化器,该优化器使用Apache Arrow来确定数据的最佳表示形式,从而使查询速度更快。这可能意味着针对(例如)ElasticSearch集群的查询将使用数据的箭头表示。

Dremio还具有内置的基于SQL的查询语言,该查询语言提供与基于成本的优化器(如SparkSQL)类似的功能,但添加了Reflections(反射),以通过提供数据的优化副本进一步推动这一想法。

Dremio的新版本添加了一个数据目录,其思想是用户将能够执行类似于Google的简单搜索来查找数据集。在后台,Dremio管理员对数据集进行标记以对其进行组织,以便数据使用者可以发现它们。该目录包括内置的Wiki页面,可以在其中存储信息,例如谁来提问,数据多久更新一次,构成数据集的数据源是什么以及使用该数据集的报告和可视化的屏幕截图。

此版本还包括对Gandiva的支持,Gandiva是Arrow的新执行内核,它基于LLVM。Gandiva为Arrow缓冲区上的低级操作提供了性能改进。开发人员说,在适当的情况下,使用Gandiva可以显着提高查询性能-一些早期的测试人员报告说,其性能提高了70倍以上。

通过与Apache Ranger的本机集成来实现集中式访问控制,从而提高了安全性。此外,Dremio 3.0现在支持端到端TLS加密。

添加了新的多租户工作负载控件,以便管理员可以使用标准SQL根据用户,组成员身份,时间,数据源和查询类型来控制资源分配。

Kubernetes支持通过官方Docker映像和模板提供,该镜像和模板使用Kubernetes编排框架进行弹性,高可用性的部署。

在其他地方,为关系数据库源提供了一个新的声明性引擎,该引擎旨在在Postgres,SQL Server,Oracle和Teradata等系统上提供更高效的处理;并支持新的daa源,包括Azure Data Lake Store,Elasticsearch 6,AWS S3 GovCloud和Teradata。

德雷米奥

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。