菲洛嘉青春动能素135HA FILLMED® NCTF 135HA LED指示灯的常见故障分析 智微智能 Elkhartlake K075终端,零售产业新选择 天空蓝拓客管理系统详细介绍版 muso公链项目 天使计划 是什么?[秘] 独家揭秘最前沿的家装“黑科技”——掌赋 天博体育欧洲杯特辑,东道主法兰西的失意2016 亚马逊的送货侦察员 学习听起来像挡泥板 Google Comics Factory使ML变得容易 笑着说-男性或女性 Amazon Rekognition中更好的人脸检测 关于Spaun的真相-大脑模拟 两个聊天机器人彼此聊天-有趣又怪异 GANPaint:将AI用于艺术 WCF和WF给予社区 从耳朵到脸 所有神经网络的深层缺陷 蠕虫在尾巴上平衡杆子 Kickstarter上的OpenCV AI套件 TensorFlow-Google的开源AI和计算引擎 众包取代新闻工作者 Google的DeepMind学会玩街机游戏 哑机器人V智能机器人 .NET与.NET 5融为一体 Google的深度学习-语音识别 LInQer将.NET LINQ移植到Javascript 机器人TED演讲-新的图灵测试? GAN的发明者加入苹果 您的智能手机会监视您键入的内容 人工智能帮助改善国际象棋 Zalando Flair NLP库已更新 TensorFlow 1.5包含移动版本 AlphaGo输了一场比赛-比分3-1 虚拟机器学习峰会 Microsoft开源AI调试工具 SharePoint走向移动 F#4.0发出文化变革的信号 克里斯蒂拍卖AI艺术品 人工智能如何区分 Facebook在蒙特利尔的新AI实验室 Mozilla想要您的声音 微软使用极深的神经网络赢得ImageNet 建立AI合作伙伴关系 .NET Core 3-Microsoft几乎回到了起点 神经网络-更好的销售商? Google使用AI查找您的住所 虹膜-适用于Android的Siri证明苹果没有优势 TensorFlow 2提供更快的模型训练 深度学习研究人员将为Google工作
您的位置:首页 >计算机基础 >

Apache Druid改善了压缩

Apache Druid是一种高性能实时分析数据库,专为对快速查询和摄取至关重要的工作流而设计,现已进行了改进,包括更好的压缩和批量摄取。

目前在Apache Druidis的孵化器项目中:

旨在在即时数据可见性,即席查询,运营分析和处理高并发性方面表现出色,并提供了数据仓库的开源替代方案。

它最初是由一家名为Metamarkets的初创公司开发的,旨在为程序化数字广告提供多合一的分析解决方案。广告技术是一个每天产生多达数千亿甚至数万亿新记录的数据的区域,而德鲁伊(Druid)正是为了应对这种数据水平而开发的。此后,它已针对传统分析堆栈无法充分解决的情况进行了扩展。Druid用于的应用程序区域包括网络流分析,产品分析和用户行为。它被包括NTT,WalkMe,Pinterest,Netflix,Airbnb,Lyft和Walmart在内的主要公司使用。

德鲁伊

Druid可以原生地从诸如Kafka和Amazon Kinesis之类的消息总线流式传输数据,并从诸如HDFS和Amazon S3之类的数据湖中批量加载文件。除了支持面向列的存储之外,Druid还整合了搜索系统和时间序列数据库的设计。

开发人员说,Druid比传统的数据仓库更好,因为它对于OLAP风格的查询和数据提取(流和批处理)的延迟要低得多。它对基于时间的分区的支持意味着可以高效地运行基于时间的查询,并且它具有快速搜索和筛选功能,可用于快速切片和切块。这非常适合与实时分析配合使用,并且最终用户(无论技术与否)都希望快速连续应用大量查询以探索或更好地理解数据趋势。

最新版本包括对本机批量提取系统的更新。内部框架现在支持非文本二进制格式,最初支持ORC和Parquet。还添加了用于并行本地批处理摄取的单维范围分区,这意味着现在可以在单维上执行基于范围的分区。

压缩方面的改进始于对并行索引任务拆分提示的支持,这意味着操作员可以提供提示来控制每个第一阶段子任务读取的数据量。添加了并行和有状态自动压缩支持,并且Druid代理现在可以使用多个线程以机会方式并行合并查询结果。

德鲁伊

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。