详情页标题前

阿里云日志服务SLS将日志服务数据投递到AnalyticDB MySQL-云淘科技

详情页1

日志服务采集到日志后,支持将日志投递至云原生数据仓库AnalyticDB MySQL进行存储与分析。本文档介绍将日志投递至AnalyticDB MySQL的操作步骤。

说明 投递数据到AnalyticDB MySQL遵循REPLACE INTO语义。REPLACE INTO用于实时覆盖写入的数据。写入数据时,REPLACE INTO会先根据主键判断待写入数据是否已存在于表中,并根据判断结果选择不同的方式写入数据。

  • 如果待写入数据已经存在,则会覆盖已有数据。
  • 如果待写入数据不存在,则直接插入新数据。

更多信息,请参见REPLACE INTO。

前提条件

  • 已采集日志到目标Logstore。具体操作,请参见数据采集。
  • 在AnalyticDB MySQL中已完成以下准备工作。
    1. 在日志服务Project所在地域,创建AnalyticDB MySQL集群。具体操作,请参见创建集群。说明 目前日志服务仅支持同地域投递。
    2. 创建数据库账号。具体操作,请参见创建数据库账号。
    3. 创建数据库。具体操作,请参见创建数据库。
    4. 如果您需要通过外网地址连接AnalyticDB MySQL集群,还需要申请外网地址。具体操作,请参见申请和释放公网地址。
    5. 创建数据库表。具体操作,请参见CREATE TABLE。

创建投递任务

  1. 登录日志服务控制台。
  2. 在Project列表区域,单击目标Project。
  3. 在日志存储 > 日志库页签中,依次展开目标Logstore下的数据处理 > 导出,单击AnalyticDB右侧的+。
  4. 在投递提示对话框中,单击直接投递。
  5. 首次创建投递任务到AnalyticDB MySQL时,需创建服务关联角色AliyunServiceRoleForAnalyticDBForMySQL。
    1. 在创建服务关联角色对话框中,单击AliyunServiceRoleForAnalyticDBForMySQL。阿里云日志服务SLS将日志服务数据投递到AnalyticDB MySQL-云淘科技
    2. 在创建服务关联角色对话框中,单击确定。
  6. 在LogHub —— 数据投递页面,配置相关参数,然后单击确定。
    参数 说明
    投递名称 配置投递任务的名称,便于后续管理。
    投递描述 配置投递任务的描述,便于后续管理。
    集群版本 选择AnalyticDB MySQL集群版本,此处以选择3.0为例。
    集群名称 选择您已创建的AnalyticDB MySQL集群。
    数据库名称 选择您已创建的AnalyticDB MySQL集群中的数据库。
    表名 选择您已创建的AnalyticDB MySQL集群中的数据库表。
    账号名称 配置为您在AnalyticDB MySQL集群中创建的数据库账号名称。
    账号密码 配置为您在AnalyticDB MySQL集群中创建的数据库账号密码。
    字段映射 系统自动提取日志服务中最近10分钟的日志字段,同时自动映射对应的AnalyticDB MySQL数据表中的字段。左边文本框为日志字段名称,右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145,投递到AnalyticDB MySQL后,投递结果为2022-01-05 10:12:13。阿里云日志服务SLS将日志服务数据投递到AnalyticDB MySQL-云淘科技
    投递开始时间 配置投递开始时间。

    当日志服务采集到日志后,日志服务可以实时将数据投递到AnalyticDB MySQL。

    是否过滤脏数据 脏数据包括数据类型转化失败和非空字段为空等数据。

    • 如果打开是否过滤脏数据开关,则遇到脏数据时,过滤掉脏数据。
    • 如果关闭是否过滤脏数据开关,则遇到脏数据时,投递任务中断。请谨慎选择。

创建投递任务后,您可以在日志服务控制台上管理数据投递任务,包括查看任务详情、修改投递规则以及启动、停止、删除任务等操作。具体操作,请参见管理日志投递任务。

查看日志数据

将日志投递到AnalyticDB MySQL后,您就可以在数据库中通过SELECT语句查询日志数据。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/165111.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云ECS云服务器DescribeInstanceMonitorData-云淘科技

    调用DescribeInstanceMonitorData查询一台ECS实例的监控信息。可查询的指标包括ECS实例的vCPU使用率、突发性能实例积分、接收的数据流量、发送的数据流量、平均带宽等。 接口说明 调用该接口时,您需要注意: 每次最多返回400条监控数据,如果指定的参数(EndTime – StartTime)/Period大于400时,则返回错误信…

    阿里云服务器 2023年12月9日
  • 阿里云日志服务SLS创建实例-云淘科技

    全栈监控实例用于管理监控数据、仪表盘等。本文介绍创建实例的操作步骤。 前提条件 已创建Project。具体操作,请参见创建Project。 操作步骤 登录日志服务控制台。 在日志应用区域,单击全栈监控。 在全栈监控页面,单击添加。 在创建实例面板中,配置如下参数,然后单击确定。 参数 说明 实例ID 实例的ID。 实例名称 实例的名称。 Project 选择…

    阿里云日志服务SLS 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云日志服务SLS功能特性-云淘科技

    本文介绍日志服务主要的功能。 数据采集 日志服务提供50多种数据接入方案。具体说明如下: 支持采集服务器与应用相关的日志、时序数据和链路数据。 支持采集物联网设备日志。 支持采集阿里云产品日志。 支持采集移动端数据。 支持采集Logstash、Flume、Beats、FluentD、Telegraf等开源软件中的数据。 支持通过HTTP、HTTPS、Sysl…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云日志服务SLS数据转换-云淘科技

    在使用统计图表进行格式化展示前,您可以通过数据转换对查询分析结果进行处理。例如合并多个查询分析结果、对查询分析结果进行分类等。 注意 仅统计图表(Pro版本)支持设置数据转换。日志服务支持的统计图表(Pro版本),请参见图表类型。 每个数据转换存在唯一的ID,采用字母T+大写字母的格式,例如TA、TB。 在设置数据转换前,必须已执行查询分析操作。更多信息,请…

    2023年12月10日
  • 阿里云RDS数据库使用Replication Slot创建数据订阅-云淘科技

    PostgreSQL原生支持使用Replication Slot开启数据订阅(CDC,Change Data Capture),本文介绍在RDS PostgreSQL实例上开启数据订阅的配置步骤。 前提条件 已创建RDS PostgreSQL实例。更多信息,请参见快速创建RDS PostgreSQL实例。 已设置白名单,允许客户端访问RDS PostgreS…

    2023年12月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。