George Graham,Shawn Saavedra和Gladson George都为这块作品出力
成三大柱可观察性必威体育中文日志帮助工程师理解应用程序,故障排除异常和向客户提供高质量产品必威首页登陆平台官网主动Campaign生成大数日志并历来维护多片分ELK(Elastistsearch、Logstash和Kibana)在不同团队和AWS账号中实现必威首页登陆平台官网开发团队管理自己的ELK栈,导致记录标准、治理大相径庭,并限制ActiveCampaign平台相关能力
这一点证明具有挑战性有几个原因ELK规模代价昂贵,需要预配弹性搜索存储量,速率为0.30/GB计算当前增长和估计增长时,ELK数据存储器预测会增长并每月耗资数万元开源版本ELK中基于日志提醒非选项必威登录注册ELK栈难以维护,操作费用昂贵,并限制我们有效驱动平台事件关联的能力,在突发事件显示时警示驱动响应
必威登录注册开始深入研究日志和可观察平台后,Loki选择高性能数据存储器优化高效存储、索引整理和日志搜索必威登录注册与ELK多构件复杂配置形成对比的是,Loki设计方便搭建管理,库贝涅兹和其他云平台分布式微服务环境运作良好Loki高效压缩存储法及其索引化和日志查询法比ELK少资源密集度Loki综合使用Grafana很容易查询并视觉化日志Loki可配置S3使用,S3价格为0.021/GB,成本效益更高,因为Loki不需要预先提供存储量预测增长
Grafana前端可视化Loki日志、Mimir基度, 并很快将输入Tempo分布跟踪以创建单片日志、度量图和应用性能跟踪堆栈将更容易从日志数据中获取洞察力并连接到测量特性和应用性能特征以加强故障排除期望部署能让我们工程师更容易识别应用和基础设施行为趋势和模式必威登录注册Grafana允许从日志和度量模式生成警示功能,从而加强了对平台的监测,提高了对潜在问题的认识,并增强支持开发团队在问题开始显露时的响应能力
大规模运行Loki并学习教益
必威登录注册原创环境Loki测试成功证明Loki为统一高效Grafana可观察平台提供日志的价值然而,Loki生产实施证明更具挑战性。必威体育中文生产环境的日志量大得多,来源于范围更广分布式平台和产品这使日志流分布于洛基日志寄存器并导致频繁的“内存缺失”错误必威体育中文面向这一问题,我们扩展标签策略,引入更多标签,如可用区、环境、产品和客户分割分块,分解日志流成小块正因如此 Loki更能平衡日志寄存
此外,我们辨识出三分之一日志流需要二三乘内存需求下图显示增加这些古迹内存足迹后的积极结果
查询性能是附加技术挑战,这也得益于我们改良标签策略通过LogQL查询分2部分:流选择器和日志解析管道和日志摄取一样 增层标签帮助提高查询性能减少日志流出解析查询标签提高性能
客户分割标签会显著减少流洛基应用过滤器前从S3检索数,必威登录注册改进和实施标签策略大有助于平衡Loki日志流量并改进Loki平台日志查询性能
初步结果和期望
必威登录注册初衷是整合各种采伐解决方案, 实现成本效益启动统一可观察性平台使用Loki和Grafana必威登录注册平台调优处理高产量日志, 产生高性能高效日志解决方案
必威登录注册Loki日志平台效率也提高显著成本减.必威登录注册迁移日志洛基并关闭遗留日志平台后, 我们得以实现日志托管成本下降73%
令我们感到骄傲的是工程师们为提升系统关键组件所做的工作必威体育中文继续执行统一可观察性路径图时,我们将通过米米尔和Tempo整合指标并分布追踪资料,创建一个可观察性平台,期望提高我们交付高性能产品和特征的能力,这些产品和特征更可靠、可扩展性强、安全性强、成本效益高和更容易支持
