详情页标题前

腾讯云云函数(SCF)SCF + 定时任务实现页面内容定时采集-云淘科技

详情页1

操作场景

本文使用了云函数 SCF,并在函数中通过 puppeteer 实现定时对页面内容进行采集、数据存储等任务。用户还可以通过函数执行数据爬取、定时签到、网页巡检等复杂的 Web 定时任务。

操作步骤

创建云函数

1. 登录 Serverless 控制台,单击左侧导航栏的函数服务。2.函数服务页面上方选择北京地域,并单击新建进入新建函数页面,根据页面相关信息提示进行配置。如下图所示:

腾讯云云函数(SCF)SCF + 定时任务实现页面内容定时采集-云淘科技

创建方式:选择模板创建模糊搜索:输入“定时任务示例函数”,并进行搜索。单击模板中的查看详情,即可在弹窗中查看相关信息,支持下载操作。3. 单击下一步,函数名称默认填充,如需对函数代码进行修改,单击展开函数代码卡片并可参见 修改函数模板 进行修改。4.触发器配置中,选择自动创建,则默认创建一个每1小时0分执行一次的定时触发器。如下图所示:

腾讯云云函数(SCF)SCF + 定时任务实现页面内容定时采集-云淘科技

说明如需根据需求自行调整触发器配置,请选择自定义创建。如需在测试成功后再创建定时触发器,请选择暂不创建。5. 单击完成,完成函数的创建。

测试云函数

1. 在函数代码界面的下方,单击测试,查看函数的执行日志。2. 测试成功后,可以根据实际情况,在触发方式页签中配置定时触发器,并验收相关 Base64。

相关操作

修改函数模板

当前模板函数引用 puppeteer 实现对网页内容截屏,并转换为 base64 打印到函数日志。您可以根据自己的定时任务需求对相关模板进行修改。
例如执行以下命令,获取页面 title:

// 获取页面title可供参考const title = await page.title();console.log(title);

增加以下代码,设置点击页面属性。

// 点击页面属性可供参考await page.click('a');

更多 puppeteer 使用指引可参见 puppeteer 文档。配合该工具可以定时访问页面内容,并对页面进行任务操作,例如数据爬取、签到等。
官网1折活动,限时活动,即将结束,速速收藏
同尘科技腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利。同意关联立享优惠

转转请注明出处:https://www.yunxiaoer.com/150100.html

(0)
上一篇 2023年12月9日 下午1:31
下一篇 2023年12月9日 下午1:31
详情页2

相关推荐

  • 腾讯云对象存储设置存储桶加密

    简介 您可以通过对象存储控制台,对存储桶设置服务端加密,这样可以实现对新上传到该存储桶的对象默认进行加密。关于存储桶加密的详细信息,请参见 存储桶加密概述。说明目前存储桶支持的加密方式有:SSE-COS 加密:即由对象存储(Cloud Object Storage,COS)托管密钥的服务端加密。SSE-KMS 加密:即使用 KMS 托管密钥的服务端加密。关于…

    2023年12月9日
  • 腾讯云轻量应用服务器如何将本地文件拷贝到轻量应用服务器云小二

    本文介绍如何将您本地的文件拷贝至轻量应用服务器,或将轻量应用服务器上的文件下载至本地。 选择传输方式 远程连接管理 您可通过远程连接管理,使用浏览器一键可视化将本地文件上传到轻量应用服务器,或将服务器文件下载到本地。 操作方式 使用限制 使用 OrcaTerm 登录轻量应用服务器时上传/下载文件 上传文件大小限制为200MB下载文件大小限制为200MB …

    腾讯云 2023年12月9日
  • 腾讯云容器服务通过控制台配置日志采集同尘科技

    本文介绍使用 CRD 配置 TKE Serverless 集群的日志采集功能。 前提条件 登录 容器服务控制台,并为 Serverless 集群开启日志采集功能。操作详情请参见 开启日志采集。 操作步骤 为集群开启日志采集功能后,您可根据以下操作进行配置: 配置日志规则 开启日志采集后,需要配置日志规则,确认日志源、消费端、日志解析方式等。1. 登录 容器服…

    2023年12月9日
  • 阿里云RDS数据库CheckDBNameAvailable – 检查数据库名称是否可用-云淘科技

    该接口用于检查数据库名称是否重复或不符合命名规范。 接口说明 适用引擎 RDS MySQL RDS PostgreSQL RDS SQL Server RDS MariaDB 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。 调试调试授权信息下表是A…

    阿里云数据库 2023年12月9日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云负载均衡为什么无法访问负载均衡-云淘科技

    问题描述 使用负载均衡后,客户端无法访问负载均衡。 解决方案 本文中出现的端口和IP都是演示环境参数值,当排查客户端无法访问负载均衡问题时,请根据实际情况配置端口和内网IP信息。 问题原因 处理方法 四层监听的后端服务器无法访问负载均衡的原因: CLB四层监听的后端服务器不支持同时作为客户端和服务端。 NLB四层监听的服务器组开启了客户端地址保持功能,导致服…

    阿里云负载均衡 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。