日志服务提供数据实时消费功能,支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。
实时消费
实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据。实时消费是对全量数据的顺序读写,类似于消息中间件Kafka的功能。
说明
实时消费和查询与分析都是读取数据。关于两者的区别,请参见日志消费与查询区别。
应用场景
实时消费适用于流计算、实时计算等场景。实时消费的实时性较强,通常为秒级。您可以自定义存储时间。
功能优势
实时消费具有以下优势:
-
数据集中
日志服务已完成不同机器上的数据集中化,您只需通过SDK实时消费采集到日志服务的数据。
-
分类管理
您可以利用日志服务的数据分类管理功能,实现不同的应用和产品实时消费不同项目、不同类型的数据。
计费规则
-
若涉及的Logstore的计费模式为按写入数据量计费模式,实时消费将不产生费用,仅从日志服务公网域名所在接口拉取数据时,会产生外网读取流量(按照压缩后的数据量计算)。具体内容,可参见按写入数据量计费模式计费项。
-
若涉及的Logstore的计费模式为按功能付费模式,实时消费涉及多个计费项,包括读写流量、请求费用等。更多信息,请参见按使用功能计费模式计费项。
消费目标
日志服务支持的实时消费目标如下表所示。
类型 |
目标 |
说明 |
第三方软件 |
Splunk |
您可以通过Splunk实时消费日志服务的数据。具体操作,请参见阿里云日志服务Splunk Add-on。 |
Flume |
您可以通过Flume实时消费日志服务的数据。具体操作,请参见Flume消费。 |
|
Logstash |
您可以通过Logstash实时消费日志服务的数据。具体操作,请参见Logstash消费。 |
|
QRadar |
QRadar等安全信息与事件管理系统可以通过HTTPS协议或Syslog协议实时消费日志服务的数据。具体操作,请参见通过HTTPS投递日志到SIEM和通过Syslog投递日志到SIEM。 |
|
多语言应用 |
多语言应用(SLS消费协议) |
Java、Python、Go等语言的应用作为消费者或消费组消费日志服务的数据。具体操作,请参见普通消费和通过消费组消费数据。 |
云产品 |
函数计算 |
您可以通过函数计算实时消费日志服务的数据。具体操作,请参见通过函数计算消费日志数据。 |
Blink |
您可以通过实时计算实时消费日志服务的数据。具体操作,请参见实时计算(Blink)消费。 |
|
云监控 |
您可以通过云监控实时消费日志服务的数据。具体操作,请参见云监控消费。 |
|
流式计算 |
Storm |
您可以通过流式计算框架Storm实时消费日志服务的数据。具体操作,请参见Storm消费。 |
Flink |
您可以通过流式计算框架Flink实时消费日志服务的数据。具体操作,请参见Flink消费。 |
|
Spark |
您可以通过流式计算框架Spark实时消费日志服务的数据。具体操作,请参见Spark Streaming消费。 |
|
Kafka |
您可以通过流式计算框架Kafka实时消费日志服务的数据。具体操作,请参见Kafka消费。 |
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/159775.html