如何解决便宜的AWS Log Aggregator
我们的CIO看到我们的AWS账单后心脏病发作。
我需要聚合来自多个EC2(在伸缩组中)的Apache和Tomcat日志-在不中断资金的情况下启动此日志的最佳方法是什么?日志的目的是按IP地址,帐户名查看事件,查看事务流(诊断/审核日志记录,而不是性能指标)。
ELK不在等式中(政治上)。允许使用Cloudwatch和其他任何东西。
解决方法
取决于数量和访问方式,但是将日志推送到S3并使用Athena查询它们是一个很好的呼喊。
它很便宜,因为S3是一个非常便宜的数据存储,而Athena却没有服务器,这意味着您只需为运行的查询付费。
确保将日志转换为压缩数据格式(例如Apace Parquet)以节省更多的工作时间。
https://docs.aws.amazon.com/athena/latest/ug/querying-apache-logs.html
https://aws.amazon.com/blogs/big-data/analyzing-data-in-s3-using-amazon-athena/
,我反对S3 / Athena的论据是S3可能是最便宜的存储机制,但是如何将日志从盒子中取出并放入S3中呢?我不知道有任何执行此操作的AWS代理,但是可能会有一些商业或开源项目来执行此操作。另外,还需要一些设置来使Athena能够工作以进行搜索,例如defining schemas和/或设置AWS Glue Crawlers以发现数据。您常常会发现,如果日志数据不是JSON格式的,则Glue Crawlers并不是识别日志数据的好方法。
我强烈推荐CloudWatch。 AWS已创建一个CloudWatch agent,可用于多个操作系统,这些操作系统将从EC2实例中提取和转发您的日志。 CloudWatch还提供了一些免费的搜索工具,现在提供了更强大的CloudWatch Insights工具,可帮助您以类似于其他一流日志聚合器所允许的方式搜索数据。
CloudWatch pricing is also pretty cheap.所提取的每GB数据仅为$ 0.50,长期存储为$ 0.02 / GB(至少在us-east-1中)。而且无需付费即可使用CloudWatch代理,这是最大的优势,因为您不必发明和测试从箱子中取出日志的新方法。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。