详情页标题前

腾讯云云函数(SCF)SCF + 定时任务实现页面内容定时采集-云淘科技

详情页1

操作场景

本文使用了云函数 SCF,并在函数中通过 puppeteer 实现定时对页面内容进行采集、数据存储等任务。用户还可以通过函数执行数据爬取、定时签到、网页巡检等复杂的 Web 定时任务。

操作步骤

创建云函数

1. 登录 Serverless 控制台,单击左侧导航栏的函数服务。2.函数服务页面上方选择北京地域,并单击新建进入新建函数页面,根据页面相关信息提示进行配置。如下图所示:

腾讯云云函数(SCF)SCF + 定时任务实现页面内容定时采集-云淘科技

创建方式:选择模板创建模糊搜索:输入“定时任务示例函数”,并进行搜索。单击模板中的查看详情,即可在弹窗中查看相关信息,支持下载操作。3. 单击下一步,函数名称默认填充,如需对函数代码进行修改,单击展开函数代码卡片并可参见 修改函数模板 进行修改。4.触发器配置中,选择自动创建,则默认创建一个每1小时0分执行一次的定时触发器。如下图所示:

腾讯云云函数(SCF)SCF + 定时任务实现页面内容定时采集-云淘科技

说明如需根据需求自行调整触发器配置,请选择自定义创建。如需在测试成功后再创建定时触发器,请选择暂不创建。5. 单击完成,完成函数的创建。

测试云函数

1. 在函数代码界面的下方,单击测试,查看函数的执行日志。2. 测试成功后,可以根据实际情况,在触发方式页签中配置定时触发器,并验收相关 Base64。

相关操作

修改函数模板

当前模板函数引用 puppeteer 实现对网页内容截屏,并转换为 base64 打印到函数日志。您可以根据自己的定时任务需求对相关模板进行修改。
例如执行以下命令,获取页面 title:

// 获取页面title可供参考const title = await page.title();console.log(title);

增加以下代码,设置点击页面属性。

// 点击页面属性可供参考await page.click('a');

更多 puppeteer 使用指引可参见 puppeteer 文档。配合该工具可以定时访问页面内容,并对页面进行任务操作,例如数据爬取、签到等。
官网1折活动,限时活动,即将结束,速速收藏
同尘科技腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利。同意关联立享优惠

转转请注明出处:http://www.yunxiaoer.com/150100.html

(0)
上一篇 2023年12月9日 下午1:31
下一篇 2023年12月9日 下午1:31
详情页2

相关推荐

  • 腾讯云容器服务创建容器实例同尘科技

    操作场景 本文主要介绍如何创建、编辑容器实例、查看事件及日志等。如果您是首次使用容器实例,推荐您通过我们提供的快速入门进行创建,可参考 快速创建一个容器实例。n如果您需要使用多容器组、日志采集等高阶能力,可参考 创建容器实例。两种模式支持的配置如下: 支持项 快速创建 完整创建 全部地域 ✓ ✓ 全部规格 ✓ ✓ 数据卷 ✓ ✓ 容器环境变量 ✓ ✓ 实例数…

    腾讯云 2023年12月9日
  • 腾讯云对象存储直播审核回调内容

    功能描述 若您配置了审核回调地址,在直播审核结束后,后台会将审核结果以 JSON 形式回调至您的回调地址。您可以通过回调内容进行后续的处理操作。回调内容分为简洁回调(Simple)和详细回调(Detail)。  回调内容说明 简洁回调(Simple) 回调通知为HTTP的POST方法,含有 X-Ci-Content-Version: Simple 的头…

    2023年12月9日
  • 腾讯云轻量应用服务器使用移动设备登录 Windows 实例云小二

    操作场景 本文以 Microsoft Remote Desktop 客户端为例,介绍如何在不同系统的移动设备上登录 Windows 实例。您也可以使用第三方远程桌面客户端软件,例如: Parallels(仅供参考)。 适用移动设备 iOS 及 Android 设备 前提条件 轻量应用服务器实例状态为运行中。已获取登录实例的管理员账号及密码。如果您使用系统默认…

    2023年12月9日
  • 腾讯云CVM服务器Windows Server 系统激活

    腾讯云云服务器使用 KMS 方式对 Windows 服务器进行授权。注意此文档只针对腾讯云提供的 Windows Server 公共镜像,自定义镜像或外部导入镜像不能采用本文的激活方式。Windows Server 2008 和 Windows Server 2012 需要进行此方式的授权,Windows Server 2016 及以上公共镜像中默认配置的 …

    2023年12月9日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 视觉智能平台有将视频肿的人物实时转成动漫脸视频的api吗?-云小二-阿里云

    有将视频肿的人物实时转成动漫脸视频的api吗 以下为热心网友提供的参考意见 没有,视觉智能开放平台提供的是视频人像卡通化是异步处理接口,需要排队处理,无法做到实时的转化。 以下为热心网友提供的参考意见 有.https://vision.aliyun.com/experience/detail?spm=a2cvz.27717767.J_7524944390.3…

    2023年12月11日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。