详情页标题前

阿里云日志服务SLS目标Logstore有多余数据怎么处理?-云淘科技

详情页1

您将数据加工结果分发至目标Logstore后,如果目标Logstore中有多余数据,可参见本文解决。

名为website_log的Logstore中有5000条数据,其中SourceIP为192.0.2.54的数据有1000条,SourceIP为192.0.2.28的数据有1000条,SourceIP为192.0.2.136的数据有1000条,SourceIP为其他值的数据有2000条。现对这些数据进行加工,分发到不同的目标Logstore中。

  • 加工需求
    • 将SourceIP为192.0.2.54的数据分发至名为54_log的Logstore中。
    • 将SourceIP为192.0.2.28的数据分发至名为28_log的Logstore中。
    • 将SourceIP为192.0.2.136的数据分发至名为136_log的Logstore中。
  • 预期结果
    • 名为54_log的Logstore中有1000条数据,其中SourceIP为192.0.2.54。
    • 名为28_log的Logstore中有1000条数据,其中SourceIP为192.0.2.28。
    • 名为136_log的Logstore中有1000条数据,其中SourceIP为192.0.2.136。
  • 加工语句
    e_if(e_search("SourceIP==192.0.2.54"),    
      e_output(name="54-target",
                 project="sls-test",
                 logstore="54_log"))
    e_if(e_search("SourceIP==192.0.2.28"),
        e_output(name="28-target",
                 project="sls-test",
                 logstore="28_log"))
    e_if(e_search("SourceIP==192.0.2.136"),
        e_output(name="136-target",
                 project="sls-test",
                 logstore="136_log"))
  • 存储目标阿里云日志服务SLS目标Logstore有多余数据怎么处理?-云淘科技
  • 加工结果
    • (不符合预期)名为54_log的Logstore中有3000条数据,除SourceIP为192.0.2.54的数据外,还有SourceIP为其他值的数据。
    • (符合预期)名为28_log的Logstore中有1000条数据,其中SourceIP为192.0.2.28。
    • (符合预期)名为136_log的Logstore中有1000条数据,其中SourceIP为192.0.2.136。
  • 原因分析

    日志服务在分发数据加工结果时,符合e_output函数加工规则的数据被分别分发到对应的目标Logstore中。其他在加工过程中通过DSL(加工语句)处理且未被丢弃的数据将被分发到存储目标1的Logstore中(本案例中为54_log
    Logstore)。日志服务以存储目标1为默认存储目标。

  • 解决方法
    在加工语句中加上e_drop()语句,丢弃不符合加工规则的数据。

    e_if(e_search("SourceIP==192.0.2.54"),    
      e_output(name="54-target",
                 project="sls-test",
                 logstore="54_log"))
    e_if(e_search("SourceIP==192.0.2.28"),
        e_output(name="28-target",
                 project="sls-test",
                 logstore="28_log"))
    e_if(e_search("SourceIP==192.0.2.136"),
        e_output(name="136-target",
                 project="sls-test",
                 logstore="136_log"))
    e_drop()

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/165998.html

(0)
上一篇 2023年12月10日 上午8:22
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLS使用前须知-云淘科技

    网络质量分析器是一款针对真实终端用户网络质量性能进行分析的SaaS服务。您可以将网络质量分析器的SDK插件集成到App中,实时感知所有App真实用户在线情况、访问互联网的网络质量情况。网络质量分析器提供从在线终端设备发起到您目标服务器的网络质量探测分析,帮助终端用户进行网络问题排查诊断。 应用场景 全局用户网络质量概览 通过网络质量分析器,您可以了解分布在全…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云日志服务SLS关联Logstore与OSS外表进行查询和分析-云淘科技

    在进行日志数据查询和分析时,经常需要结合外部表格对日志数据进行分析。本文介绍如何在日志服务中联合OSS外表进行数据分析。 前提条件 持续采集日志。具体操作,请参见数据采集。 已创建索引。具体操作,请参见创建索引。 已创建OSS Bucket。具体操作,请参见控制台创建存储空间。 背景信息 某支付公司,想要分析用户年龄、地域、性别等因素对支付习惯的影响。该公司…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云对象存储OSS敏感数据安全防护方案-云淘科技

    本文介绍如何将阿里云对象存储OSS与阿里云数据安全中心DSC(Data Security Center)结合,对敏感数据进行识别、分类、分级和保护。 前提条件 已开通DSC 开通步骤请参见快速入门。 已开通OSS 开通步骤请参见开通OSS服务。 背景信息 敏感数据主要包括个人隐私信息、密码/密钥、敏感图片等高价值数据,这些数据通常会以不同的格式存储在您的各类…

    阿里云对象存储 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云日志服务SLS最佳实践-云淘科技

    本文罗列了日志服务相关的最佳实践。 数据采集 IoT/嵌入式日志 通过WebTracking采集日志 搭建移动端日志直传服务 采集公网数据 多渠道数据 通过Logtail采集Zabbix数据 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 投递CDN实时日志到SLS来分析用户访问数据 时序存储 使用Prometheus采集…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云云原生大数据计算服务 MaxCompute事务管理-云淘科技

    对DTT(Delta Transactional Table)的所有数据修改操作,都会由MetaService统一进行事务管理,满足ACID特性,应用MVCC模型来保障读写快照隔离,采用OCC模型进行乐观事务并发控制。 冲突检测规则 下表为作业并发提交场景下,对同一个非分区表或分区的并发数据操作先后结束的冲突规则说明。 作业类型 INSERT OVERWRI…

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。