详情页标题前

阿里云日志服务SLS从OSS获取IP2Location库进行IP地址数据富化-云淘科技

详情页1

日志服务数据加工功能支持从OSS获取IP2Location库数据,对日志中的IP地址进行富化,补充IP地址所属的国家、省、市等信息。

前提条件

  • 已创建访问密钥(AccessKey),用于访问OSS Bucket。具体操作,请参见创建AccessKey。

    推荐创建一个只读权限的AccessKey,用于从OSS获取文件;一个只写权限的AccessKey,用于上传文件到OSS。授权策略详情请参见RAM Policy概述。

  • 已从IP2Location官网下载IP地址文件,并上传到OSS。更多信息,请参见控制台上传文件。

    使用只写权限的AccessKey进行上传。

背景信息

IP2Location提供全球IP地址数据库,可以帮助您精确查找、确定全球范围内IP地址的地理位置。您可以从IP2Location官网下载IP地址文件,上传至OSS。在数据加工过程中,如果您希望根据日志中的IP地址获取国家、省、市等信息,您可以通过res_oss_file函数从OSS上获取IP2Location库数据,然后使用geo_parse函数解析IP地址,最后使用e_set函数将解析结果中的新字段添加到日志中,实现数据富化。

实践案例

  • 原始日志
    ip: 192.0.2.1
  • 加工规则
    e_set("geo", geo_parse(v("ip"), ip_db=res_oss_file(endpoint='http://oss-cn-hangzhou.aliyuncs.com',                                                    ak_id=res_local("AK_ID"),                                                    ak_key=res_local("AK_KEY"),                                                    bucket='test',                                                     file='your ip2location bin file',                                                     format='binary', change_detect_interval=20),                        provider="ip2location"))e_json("geo")

    res_oss_file函数重要字段说明如下表所示。

    字段 说明
    endpoint OSS访问域名。更多信息,请参见访问域名和数据中心。
    ak_id 具备只读OSS权限的AccessKey ID。出于安全考虑,建议配置为res_local(“AK_ID”),表示从高级参数配置中获取。高级参数配置操作步骤请参见创建数据加工任务。阿里云日志服务SLS从OSS获取IP2Location库进行IP地址数据富化-云淘科技
    ak_key 具备只读OSS权限的AccessKey Secret。

    出于安全考虑,建议配置为res_local(“AK_KEY”)表示从高级参数配置中获取。

    bucket 用于存储IP地址文件的OSS Bucket。
    file 您已上传的IP地址文件的名称。
    format 使用res_oss_file函数从OSS获取IP2Location库数据时,文件输出格式需设置为format=’binary’。
  • 加工结果
    ip: 192.0.2.1
    city: Dearborn
    province: Michigan
    country: United States

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/163488.html

(0)
上一篇 2023年12月10日 上午5:23
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLS从RDS MySQL数据库获取数据进行数据富化-云淘科技

    日志服务数据加工功能支持从阿里云RDS MySQL数据库获取数据,结合数据加工规则,进行数据富化。 背景信息 在数据存储场景中,您可能经常遇到数据分散存储的问题,例如用户操作、行为等相关数据存储在日志服务中,用户属性、注册信息等相关数据存储在RDS MySQL数据库中。面对类似问题,您可以通过日志服务数据加工功能从RDS MySQL数据库获取数据,存储到日志…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云RDS数据库通过DMS登录RDS数据库-云淘科技

    您可以通过阿里云的数据管理服务DMS登录RDS实例的数据库。 背景信息 数据管理DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。 操作步骤 访问RDS实例列表,在上方选择地域,然后单击目标实例ID。 单击页面上方的登录数据库。 在DMS的登录实例页面,输入实例数据库的账号密码,单…

    2023年12月9日
  • 阿里云日志服务SLS对接Jaeger-云淘科技

    本文介绍如何使用Jaeger客户端对接日志服务。 背景信息 容器、Serverless编程方式提升了软件交付与部署的效率。在架构的演化过程中,可以看到以下变化。 应用架构从单体系统逐步转变为微服务,其中业务逻辑变为微服务之间的调用与请求。 资源角度来看,传统服务器这个物理单位逐渐淡化,变为了虚拟资源模式。 从以上两个变化可以看到这种弹性、标准化的架构背后,原…

    2023年12月10日
  • 阿里云对象存储OSSJava管理文件元信息-云淘科技

    文件元信息是对文件的属性描述,包括HTTP标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。您可以通过设置文件HTTP头来自定义HTTP请求的策略,例如文件(Object)缓存策略、强制下载策略等。您还可以通过设置用户自定义元数据来标识Object的用途或属性等。 注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希…

    阿里云对象存储 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云云原生大数据计算服务 MaxComputeLateral View-云淘科技

    MaxCompute支持通过Lateral View与UDTF(表生成函数)结合,将单行数据拆成多行数据。本文为您介绍如何使用Lateral View拆分行数据,并执行聚合操作。 功能介绍 直接在select语句中使用UDTF会存在限制,为解决此问题,您可以通过MaxCompute的Lateral View与UDTF结合使用,将一行数据拆成多行数据,并对拆分…

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。