详情页标题前

腾讯云对象存储数据导出至 CKafka

详情页1

简介

数据导出至 CKafka 是腾讯云对象存储(Cloud Object Storage,COS)基于 云函数(Serverless Cloud Function,SCF) 为用户提供的数据出湖方案,可以帮助用户将 CSV、JSON 等文件格式的数据导出至同地域的腾讯云 CKafka 服务,用于海量消息、日志数据的聚合分析。

注意事项

数据导出至 CKafka 功能涉及 COS 数据检索接口,相关的限制说明请参见 Select 概述若您此前在对象存储控制台上为存储桶添加了数据导出至 CKafka 规则,可以在 云函数控制台 上看到您所创建的数据导出至 CKafka 函数,请不要删除或修改该数据导出至 CKafka 函数,否则可能导致您的规则不生效。当前数据导出至 CKafka 功能仅支持广州、上海、北京、成都。对象存储数据导出至 CKafka 功能依赖于云函数服务,云函数服务为用户提供了 免费额度,超出免费额度的部分需要按照 云函数产品定价 收费。

操作步骤

1. 登录 对象存储控制台2. 在左侧导航中,单击应用集成 > 数据导出,找到数据导出至 CKafka3. 单击配置规则,进入规则配置页面。4. 单击添加函数注意 如果您尚未开通云函数服务,请前往 云函数控制台 开通云函数服务,按照提示完成服务授权即可。5. 在弹出的窗口中,配置如下信息:

腾讯云对象存储数据导出至 CKafka

函数名前缀:作为函数的唯一标识名称,创建后不可修改。您可以在 云函数控制台 上查看该函数。场景选择:选择您希望导出的日志来源,推荐使用 COS 日志文件导出。源存储桶:日志所保存的存储桶名称,如果选择 COS 日志文件导出,需要先开启 COS 日志存储功能。日志存储状态:需确认日志存储状态是否为开启状态。投递存储桶:日志将被存放的存储桶。日志投递前缀:输入便于您查找日志的路径前缀。SCF 授权:数据导出至 CKafka 需要授权云函数从您的存储桶中读取日志文件。因此需要添加此授权。6. 单击填写预设参数,进行数据导出至 CKafka 配置,配置项说明如下:

腾讯云对象存储数据导出至 CKafka

访问方式:您的 CKafka 的访问方式。如果选择 VPC 内网访问,需要填写对应的 VPC。访问地址:您的 CKafka 的访问地址。主题名称:您创建的 CKafka 主题名称。鉴权配置:您的 CKafka 鉴权方式,如果选择需鉴权,您需要填写对应的用户名称和用户密码。速率上限:导出至 CKafka 的速率上限。7. 如果您希望做一些个性化的日志数据提取,请单击上一步进行配置,通常情况,建议直接单击确认,完成函数的添加。

腾讯云对象存储数据导出至 CKafka


您可以对新创建的函数进行如下操作:
单击日志,查看数据导出至 CKafka 的历史运行情况。当数据导出至 CKafka 出现报错时,您还可以通过单击日志,快速跳转到云函数控制台查看日志错误详情。单击详情,查看当前函数的详细配置。单击编辑,修改数据导出至 CKafka 规则。单击触发,可以选择存储桶内已有的一份日志直接触发导出至 CKafka。单击删除,删除不使用的数据导出至 CKafka 规则。
对象存储官网1折活动,限时活动,即将结束,速速收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利。同意关联立享优惠

转转请注明出处:https://www.yunxiaoer.com/144142.html

(0)
上一篇 2023年12月9日
下一篇 2023年12月9日
详情页2

相关推荐

  • 阿里云日志服务SLS多源Logstore数据汇总-云淘科技

    日志服务支持对每一个源Logstore配置一个数据加工任务,实现多源Logstore数据汇总。本文介绍多源Logstore数据汇总的典型应用场景和对应的操作方法。 背景信息 某资讯网站业务分布全球,不同资讯频道的用户访问日志被采集存储在阿里云不同账号中的Logstore,现有需求将同一目标区域英国(伦敦)的用户请求访问信息日志进行汇总从而进行后续的查询与分析…

    2023年12月10日
  • 腾讯云对象存储异步处理队列接口

    简介 本文档提供关于文档预览队列接口的 API 概览以及 SDK 示例代码。 API 操作名 操作描述 DescribeDocProcessQueues 查询文档预览队列 查询文档预览队列信息 UpdateDocProcessQueue 更新文档预览队列 更新文档预览队列信息 查询文档预览队列 功能说明 DescribeDocProcessQueues 接口…

    腾讯云 2023年12月9日
  • 腾讯云云点播关于云点播内容审核功能升级公告

    云点播内容审核功能全面升级,新内容审核具备如下优势:更准确,识别引擎持续快速迭代,识别准确率不断完善。更全面,支持更全面的审核标签,同时可覆盖封面图片的安全审核。更及时,违规样本库及时更新,适应最新违规热点事件及相关人物。更易用,音视频与图片审核可共用审核模板,无须重复配置。新内容审核计费价格与原音视频审核、图片审核保持一致,使用方式请参看 内容审核。原音视…

    腾讯云 2023年12月9日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 腾讯云云点播阶段2:播放转码视频

    学习目标 学习本阶段教程,您将了解并掌握如何对视频转码,并使用播放器播放转码视频。阅读之前,请先确保已经学习播放器指引的 阶段1:播放原始视频 篇部分,本教程使用了 阶段1 篇开通的账号以及上传的视频。 步骤1:视频转码 1. 登录云点播控制台 > 应用管理,单击目标应用名称后默认进入媒资管理 > 音视频管理页面,勾选要处理的视频(FileId …

    2023年12月9日
  • 腾讯云对象存储视频审核

    简介 内容审核功能是由 数据万象(Cloud Infinite,CI)提供的,数据万象将处理能力与 COS SDK 完全结合,您可以直接按照本篇文档指引进行使用。说明使用内容审核服务需拥有数据万象使用权限:主账号请 单击此处 进行角色授权。子账号请参见 授权子账号接入数据万象服务 文档。本文档提供关于视频审核的相关的 API 概览以及 SDK 示例代码。 A…

    腾讯云 2023年12月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。