适用于AWS Glue的Amazon Open Sources Python库 Firefox 60支持WebAuthn 蚱hopper-教编码的120区应用 Windows 95启用25 圣诞老人在哪里?他什么时候到达? 特朗普要求6G,但我们什至不知道它是什么 PeerJ-开放存取同行评审计算机科学 Eclipse IoT开发人员调查2019 TJBot-在Watson中使用Raspberry Pi NVIDIA推动实时光线追踪 水,水,无处不在,全部由计算机生成 Facebook发起DeepFake检测挑战 Apache Kylin获得表级ACL管理 DataGrip改进了架构管理 实体框架核心2发布有缺点 调用图形开发人员-帮助名称下一代Open GL Javalin 2.0发布 Gary Kildall回忆录可供下载 两种声音的编程语言的历史 FoundationDB增加了多区域支持 伊万·萨瑟兰(Ivan Sutherland)赢得知识前沿奖 太阳剧团(Cirque du Soleil)通过Chrome实验开创了新局面 Google 20年 完整的HTML5.0定义已发布 Amazon DynamoDB Accelerator到达预览 项目提花产品实现 Mozilla Things网关 Google AIY纸板和Raspberry Pi AI Mozilla Web超越实验的东西 惠普档案馆被毁 Google推出Firestore Google Area 120发布了Game Builder FSF推出无DRM徽标 物联网开发人员积累经验 MongoDB更新图表工具 OpenJDK计划私有漏洞小组 集成EDSAC Java 12与开关表达式一起发布 Mycroft在Raspberry Pi上开源Alexa 自动赛车的股票赛车? Google地图中的吃豆人复活节彩蛋 仅凭照片即可创建自己喜欢的演员 NVIDIA的Turing-GPU的巨大飞跃 DRM API将成为HTML5标准的一部分 正则表达式填字游戏网站 Linux Foundation主持项目OWL 角色扮演游戏,编程为Excel电子表格 Edsger Dijkstra 1930年这一天出生 Robowow-修剪,抽真空并清洁泳池 Cayenne Easy IoT编程现在可与Arduino一起使用
您的位置:首页 >物联网 >

适用于AWS Glue的Amazon Open Sources Python库

亚马逊开源了一个称为Athena Glue服务日志(AGSlogger)的Python库,该库使将日志格式解析为AWS Glue进行分析变得更加容易,并且旨在与AWS服务日志一起使用。

使用Amazon Simple Storage Service(S3)存储日志的组织通常希望使用Amazon Athena(无服务器查询引擎)在S3上查询数据来查询日志。亚马逊表示,许多客户使用Athena查询日志,以进行服务和应用程序故障排除,性能分析以及安全审核。

雅典娜

新开放源代码的Python库Athena Glue服务日志(AGSlogger)具有预定义的模板,用于解析和优化各种流行的日志格式。通过AGSLogger,您可以定义模式,管理分区以及转换数据,作为AWS Glue中提取,转换,加载(ETL)作业的一部分。这个想法是,开发人员将能够将该库与AWS Glue ETL作业一起使用,从而为您提供处理日志数据的通用框架。

该库旨在进行AWS Service日志的初始转换,然后在将日志交付到S3时继续对其进行转换。尽管可以使用Athena来查询日志,但出于成本和性能方面的考虑,最好将日志转换为分区的Parquet文件。该库具有用于多种类型服务日志的Glue Jobs,这些日志将创建源表和目标表,将源数据转换为分区的Parquet文件,并维护源表和目标表的新分区。

该库支持多种日志类型:

应用程序负载均衡器经典负载均衡器AWS CloudTrailAmazon CloudFrontS3访问Amazon VPC流

一旦从基于行的日志文件转换为基于列的Parquet,就可以使用Athena查询数据.Apache Parquet是最初为Apache Hadoop开发的一种开源的面向列的存储格式,但现在得到了更广泛的使用。

雅典娜

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。