详情页标题前

腾讯云容器服务P2P 说明同尘科技

详情页1

简介

组件介绍

P2P Addon 是容器镜像服务 TCR 推出的基于 P2P 技术的容器镜像加速分发插件,可应用于大规模容器服务 TKE 集群快速拉取 GB 级容器镜像,支持上千节点的并发拉取。该组件由 p2p-agentp2p-proxyp2p-tracker 组成:p2p-agent:部署在集群中每个节点上,代理每个节点的镜像拉取请求,并转发至 P2P 网络的各个 peer(node 节点)间。p2p-proxy:部署在集群部分节点上,作为原始种子连接被加速的镜像仓库。proxy 节点既需要做种,也需要从目标镜像仓库中拉取原始数据。p2p-tracker:部署在集群部分节点上,开源 bittorrent 协议的 tracker 服务。

部署在集群内的 Kubernetes 对象

Kubernetes 对象名称 类型 请求资源 所属 Namespace
p2p-agent DaemonSet 每个节点0.2核 CPU,0.2G内存 kube-system
p2p-proxy Deployment 每个节点0.5核 CPU,0.5G内存 kube-system
p2p-tracker Deployment 每个节点0.5核 CPU,0.5G内存 kube-system
p2p-proxy Service kube-system
p2p-tracker Service kube-system
agent Configmap kube-system
proxy Configmap kube-system
tracker Configmap kube-system

使用场景

应用于大规模 TKE 集群快速拉取 GB 级容器镜像,支持上千节点的并发拉取,推荐如下使用场景 :集群内具备节点500 – 1000台,使用本地盘存储拉取的容器镜像。此场景下,集群内节点最高可支持100MB/s的并发拉取速度。集群内具备节点500 – 1000台,使用 CBS 云盘存储拉取的容器镜像,且集群所在地域为广州、北京、上海等国内主要地域。此场景下,集群内节点最高可支持20MB/s的并发拉取速度。

限制条件

在大规模集群内启用 P2P Addon 拉取容器镜像时,将对节点数据盘造成较高读写压力,可能影响集群内已有业务。若集群内节点使用 CBS 云盘存储拉取的容器镜像,请按照集群所在地域选择合适的下载限速或联系您的售后/架构师,避免因镜像拉取时云盘读写负载过高造成集群内现网业务中断现象,甚至影响该地域内其他用户的正常使用。开启 P2P 插件需要预留一定的资源,P2P 组件在镜像加速拉取的过程中会占用节点的 CPU 和内存资源,加速结束后不再占用资源。其中:Proxy 的 limit 限制为:4核 CPU 和4G 内存。Agent 的 limit 限制为:4核 CPU 和2G 内存。Tracker 的 limit 限制为:2核 CPU 和4G 内存。需要根据集群的节点规模,估算启动的 Proxy 个数。Proxy 运行节点的最低配置为4C8G,内网带宽1.5GB/s,单个 Proxy 服务可支撑200个集群节点。需要主动为 Proxy 和 Tracker 组件选择部署节点,使用方式为手动为节点打 K8S 标签,详情请参见 使用方法。Proxy 和 Agent 所在的节点需要能够访问的仓库源站。Agent 组件将会占用节点的5004端口,以及 P2P 专用通信端口6881(Agent)和6882(Proxy)。Agent、Proxy 组件会分别创建本地工作目录 /p2p_agent_data/p2p_proxy_data 用于缓存容器镜像,请提前确认节点已预留足够的存储空间。

使用方法

1. 选取合适的节点部署运行 Proxy 组件。n可通过 kubectl label nodes XXXX proxy=p2p-proxy 命令标记节点,插件安装时将自动在这些节点中部署该组件。安装后如果需要调整 Proxy 组件的个数,可在指定节点上添加或者删除该 label 后,修改集群中 kube-system 命名空间下 p2p-proxy 工作负载的副本个数。2. 选取合适的节点部署运行 Tracker 组件。n可通过 kubectl label nodes XXXX tracker=p2p-tracker 命令标记节点,插件安装时将自动在这些节点中部署该组件。安装后如果需要调整 Tracker 的个数,可在指定节点上添加或者删除该 label 后,修改集群中 kube-system 命名空间下 p2p-tracker 工作负载的副本个数。3. 节点安全组需要添加的配置为:入站规则放通 TCP 和 UDP 的30000 – 32768 端口、以及 VPC 内 IP 全放通。出站规则放通全部(TKE 集群 work 节点默认安全组已满足要求)。4. 选择指定集群 开启 P2P Addon 插件。填写需要加速的镜像仓库域名,节点拉取限速、Proxy 个数,Tracker 个数。安装后如果需要重新调整下载的最高速度,可修改 p2p-agent configmap 中的 downloadRate 和 uploadRate。5. 在业务命名空间内创建拉取镜像所需的 dockercfg,其中仓库域名为 localhost:5004,用户名及密码即为目标镜像仓库的原有访问凭证。6. 修改业务 YAML,将需要加速的镜像仓库域名地址修改为 localhost:5004,如 localhost:5004/p2p-test/test:1.0,并使用新建的 dockercfg 作为 ImagePullSecret。7. 使用业务 YAML 部署更新工作负载,并实时观察镜像拉取速度及节点磁盘读写负载,及时调整节点的下载限速以达到最好加速效果。

操作步骤

1. 登录 容器服务控制台,选择左侧导航栏中的集群。2. 在“集群管理”页面单击目标集群 ID,进入集群详情页。3. 选择左侧菜单栏中的组件管理,进入“组件列表”页面。4. 在“组件列表”页面中选择新建,并在“新建组件”页面中勾选 P2P。5. 选择“参数配置”,在弹出的“P2P组件参数设置”窗口中,填写需要加速的镜像仓库域名、节点拉取限速、Proxy 个数及 Tracker 个数。如下图所示:n

腾讯云容器服务P2P 说明同尘科技


容器服务官网1折活动,限时活动,即将结束,速速收藏
同尘科技腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利。同意关联立享优惠

转转请注明出处:https://www.yunxiaoer.com/147614.html

(0)
上一篇 2023年12月9日 下午12:42
下一篇 2023年12月9日 下午12:42
详情页2

相关推荐

  • 腾讯云CVM服务器云服务器网络访问丢包

    本文主要介绍可能引起云服务器网络访问丢包问题的可能原因及对应解决方法。 可能原因 引起云服务器网络访问丢包问题的可能原因如下: 可能原因 处理措施 触发限速导致 TCP 丢包 检查是否触发限速导致 TCP 丢包 触发限速导致 UDP 丢包 检查是否触发限速导致 UDP 丢包 触发软中断丢包 检查是否触发软中断丢包 UDP 发送缓冲区满导致丢包 …

    腾讯云 2023年12月9日
  • 腾讯云负载均衡域名化负载均衡升级指南

    您可以对存量的公网负载均衡实例升级为域名化负载均衡实例。升级后负载均衡将以域名的方式提供服务,产品控制台将不再展示 VIP 信息。随着业务请求的增加,VIP 随业务请求而动态变化。 升级前后负载均衡服务对比 对比项 升级后 升级前 SLA 99.99% 99.95% 是否支持域名 是 否 是否支持自动扩展 VIP 支持 不支持 VIP 是否会变化 随着业务请…

    2023年12月9日
  • 视觉智能平台是否支持导入视频文件(比如上传Oss)然后识别行人入侵?-云小二-阿里云

    视觉智能平台是否支持导入视频文件(比如上传Oss)然后识别行人入侵? 以下为热心网友提供的参考意见 是的,阿里云视觉智能平台支持处理视频文件并识别行人入侵。你可以将视频文件上传到OSS,然后通过调用视觉智能平台的视频处理接口进行相关操作。此外,该平台还提供了视频压缩功能,以优化你的存储和传输效率。 然而,需要注意的是,在处理过程中可能会遇到一些错误,比如无法…

    阿里云 2023年12月6日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 腾讯云对象存储图片文字识别(OCR)

    简介 本文档提供关于通用文字识别的 API 概览以及 SDK 示例代码。 API 说明 通用文字识别 通用文字识别功能(Optical Character Recognition,OCR)基于行业前沿的深度学习技术,将图片上的文字内容,智能识别为可编辑的文本,可应用于随手拍扫描、纸质文档电子化、电商广告审核等多种场景,大幅提升信息处理效率。 通用文字识别 功…

    腾讯云 2023年12月9日
  • 阿里云日志服务SLS配置多账号采集-云淘科技

    日志审计服务支持跨账号采集云产品日志(除K8s相关日志外)到当前账号下的Logstore中。本文介绍配置多账号采集的操作步骤。 前提条件 资源目录管理模式 (推荐) 已创建或邀请成员。具体操作,请参见创建成员或邀请阿里云账号加入资源目录。 已开启日志采集功能。具体操作,请参见开启日志采集功能。 自定义鉴权模式 已开启日志采集功能。具体操作,请参见开启日志采集…

    阿里云日志服务SLS 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。