详情页标题前

腾讯云云函数(SCF)SCF + CLS 实现日志数据 ETL -云淘科技

详情页1

操作场景

本文为您介绍使用 云函数 SCF 对 CLS 日志进行加工处理。其中,CLS 主要用于日志采集,SCF 主要提供数据加工的节点计算能力。
数据流程如下:

腾讯云云函数(SCF)SCF + CLS 实现日志数据 ETL -云淘科技



操作步骤

创建日志集和主题

1. 登录 日志服务控制台,选择左侧导航栏中的日志主题。2. 进入日志集管理页面,在页面上方选择日志集的地域。3. 单击创建日志主题,在弹出的创建日志集窗口中,填写相关信息:日志主题名称:例如 project_test日志集名称:例如 nginx

腾讯云云函数(SCF)SCF + CLS 实现日志数据 ETL -云淘科技


4. 单击确定,即可创建日志集和主题。5. 日志主题新增成功,将进入日志主题管理页,如下图所示: 

腾讯云云函数(SCF)SCF + CLS 实现日志数据 ETL -云淘科技


说明ETL 数据处理的源端和终端均为 CLS,故至少需创建两个 Topic。

创建云函数 SCF

1. 登录 Serverless 控制台,进入函数服务页面。2.函数服务页面上方选择北京地域,并单击新建进入新建函数页面,配置以下参数:函数名称:命名为 “CLSdemo”。运行环境:选择 “Python 2.7”。创建方式:选择模板函数模糊搜索:输入“CLS日志ETL”,并进行搜索。3. 单击模板中的查看详情,即可在弹出的“模板详情”窗口中查看相关信息,支持下载操作。

腾讯云云函数(SCF)SCF + CLS 实现日志数据 ETL -云淘科技


4. 基本信息配置完成之后,单击下一步,进入函数配置页面。5. 函数配置保持默认配置,单击完成,完成函数的创建。

配置 CLS 触发器

1. 登录 Serverless 控制台,选择左侧导航栏中的函数服务。2.函数服务列表页面上方,选择期望配置 CLS 触发器的函数所在的地域及命名空间。3. 单击函数名,进入该函数的详情页面。4. 在该函数的详情页面,选择左侧的触发管理,进入触发器浏览及操作界面,单击创建触发器,开始创建一个新的触发器。5.创建触发器中添加已创建的函数。如下图所示:

腾讯云云函数(SCF)SCF + CLS 实现日志数据 ETL -云淘科技

6. 完成触发器配置后,单击提交,完成触发器创建。

测试函数功能

1. 下载 测试样例 中的日志文件,并解压出 demo-scf1.txt,导入至源端 CLS 服务。2. 切换至 Serverless 控制台,查看执行结果。
在函数详情页面中选择日志查询页签,可以看到打印出的日志信息。如下图所示:

腾讯云云函数(SCF)SCF + CLS 实现日志数据 ETL -云淘科技

3. 切换至终端 CLS 日志服务,查看数据加工结果。说明您可以根据自身的需求编写具体的数据加工处理方法。
官网1折活动,限时活动,即将结束,速速收藏
同尘科技腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利。同意关联立享优惠

转转请注明出处:https://www.yunxiaoer.com/150024.html

(0)
上一篇 2023年12月9日
下一篇 2023年12月9日
详情页2

相关推荐

  • 腾讯云内容分发网络CDN基本信息

    配置场景 针对已经接入腾讯云 CDN 的服务,您可以在域名基本信息模块查看域名创建时间及其对应 CNAME 域名、加速区域、项目、加速类型、协议支持等信息,也可按需对加速区域、加速类型、所属项目和标签等信息进行修改。 配置指南 查看基本信息 登录 CDN 控制台,在菜单栏里选择域名管理,单击域名右侧管理,即可进入域名配置页面,第一栏展示的即为域名基本信息。 …

    2023年12月9日
  • 腾讯云对象存储对象标签

    简介 本文档提供关于对象标签的 API 概览以及 SDK 示例代码。 API 操作名 操作描述 PUT Object tagging 设置对象标签 为已存在的对象设置标签 GET Object tagging 查询对象标签 查询指定对象下已有的对象标签 DELETE Object tagging 删除对象标签 删除指定的对象标签 设置对象标签 功能说明 为已…

    腾讯云 2023年12月9日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 腾讯云自动化助手批量执行命令

    操作场景 创建命令后,您可在一台或多台云服务器或轻量应用服务器实例中执行命令,多台实例间的执行状态和执行结果互相不影响。本文以云服务器为例,介绍如何通过控制台批量执行命令。 前提条件 实例状态需处于运行中 。目标实例已安装自动化助手客户端,详情请参见 安装自动化助手客户端。使用自动化助手在实例上执行命令,指定的实例需处于 VPC 网络。 操作步骤 使用控制台…

    2023年12月9日
  • 腾讯云对象存储单链接限速

    简介 本文档提供关于单链接限速相关的介绍和 SDK 示例代码。 使用说明 限速值设置范围为819200 – 838860800,单位默认为 bit/s,即800Kb/s – 800Mb/s,如果超出该范围将返回400错误。说明关于单链接限速的更多说明,请参见 单链接限速 开发者指南。 设置上传限速 // 使用高级接口必须先保证本进程存…

    腾讯云 2023年12月9日
  • 腾讯云TDSQL-C MySQL版产品架构

    TDSQL-C MySQL 版基于 Cloud Native 设计理念,既融合了商业数据库稳定可靠、高性能、可扩展的特征,又具有开源云数据库简单开放、高效迭代的优势。本文将介绍 TDSQL-C MySQL 版的产品架构及特点。 产品架构图  一写多读 TDSQL-C MySQL 版,一个集群中包含一个主节点和最多15个只读节点。主节点处理读写请求,只读节点…

    2023年12月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。