本文介绍云原生架构下日志服务数据预处理的场景描述、方案优势、解决问题、架构图及操作参考链接。
场景描述
某家国际教育机构，提供在线教育服务，其用户主要分布在中美两地，该企业拥抱云计算，在架构设计上也全面采用了云原生服务，本实践将重点聚焦以下几个典型场景：
-
跨地域/跨账号数据汇集。
-
数据内容富化（join维表）。
-
数据投递/归档、入湖分析。
-
统一采集，按业务分发分析。
-
数据监控与智能告警。
方案优势
-
数据规整：对混乱格式的日志进行字段提取、格式转换，获取结构化数据以支持后续的流处理、数仓计算。
-
数据富化：日志（例如业务订单）与维表（例如用户信息MySQL表）进行字段join，为日志添加更多维度信息供分析。
-
数据分发/汇聚：将全量日志按转发规则分别提取到多个下游存储供不同业务使用。
-
监控告警：监控大规模数据，触发告警，支持机器学习算法（例如，智能巡检），通过告警策略配置，对触发的告警进行降噪处理（去重、静默、合并、抑制、路由分派等），然后分派给特定通知渠道（短信、邮件等）。
解决问题
如何对云上架构方案的成本、部署、运维、 回收进行全生命周期的管理。
架构图
参考链接
关于云原生架构下日志服务数据预处理的详情，请参见云原生架构下日志服务数据预处理。
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
阿里云企业补贴进行中： 马上申请
腾讯云限时活动1折起，即将结束： 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠
转转请注明出处：https://www.yunxiaoer.com/156847.html