相关函数
以下为使用字段提取模式mode参数的函数列表及其参数默认值。
| 分类 | 函数 | mode的默认值 |
|---|---|---|
| 字段值赋值函数 | e_set | overwrite |
| 字段值提取函数 | e_regex | fill-auto |
| e_json | fill-auto | |
| e_kv | fill-auto | |
| e_csv、e_psv、e_tsv | fill-auto | |
| e_kv_delimit | fill-auto | |
| e_anchor | overwrite | |
| e_syslogrfc | overwrite | |
| 映射富化函数 | e_dict_map | fill-auto |
| e_table_map | fill-auto | |
| e_search_dict_map | overwrite | |
| e_search_table_map | fill-auto |
字段提取检查与覆盖模式
下表介绍字段提取模式mode参数的不同取值以及说明。
| 参数值 | 说明 |
|---|---|
| fill | 当目标字段不存在或者值为空时，设置目标字段。 |
| fill-auto | 当新值非空，且目标字段不存在或者值为空时，设置目标字段。 |
| add | 当目标字段不存在时，设置目标字段。 |
| add-auto | 当新值非空，且目标字段不存在时，设置目标字段。 |
| overwrite | 总是设置目标字段。 |
| overwrite-auto | 当新值非空，设置目标字段。 |
以下通过示例的方式对不同模式进行说明：
- 原始日志
a: # 空值 b: 100 - 加工示例
模式 示例 加工结果 add e_set("c", "123", mode='add')a:# 空值 b: 100 c: 123e_set("c", "", mode='add')a:# 空值 b: 100 c:e_set("a", "123", mode='add')a:# 空值 b: 100add-auto e_set("c", "", mode='add-auto')不添加字段 c，原始日志不变。fill e_set("c", "123", mode='fill')a:# 空值 b: 100 c: 123e_set("c", "", mode='fill')a:# 空值 b: 100 c:e_set("a", "123", mode='fill')a: 123 b: 100e_set("b", "123", mode='fill')目标字段不变，仍为 b: 100。fill-auto e_set("c", "", mode='fill-auto')不添加字段 c，原始日志不变。overwrite e_set("c", "123", mode='overwrite')a:# 空值 b: 100 c: 123e_set("c", "", mode='overwrite')a:# 空值 b: 100 c:e_set("b", "200", mode='overwrite')a:# 空值 b: 200e_set("b", "", mode='overwrite')a:# 空值 b:overwrite-auto e_set("b", "", mode='overwrite-auto')目标字段不变，仍为 b: 100。
字段名提取约束
适用于e_json、e_kv，e_kv_delimit、e_regex等函数。
提取的字段名必须满足字符条件，否则会被丢弃。不支持正则表达式u'_*[一-龥ࠀ-一a-zA-Z][一-龥ࠀ-一\w\.\-]*'。例如123=abc __1__:100 1k=200 {"123": "456"}等字段名会被丢弃。
示例：使用默认的字段约束名。
- 原始日志
data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } - 加工规则
e_json( "data", fmt="parent", sep="@", prefix="__", suffix="__", include_node=r"[一-龥ࠀ-一a-zA-Z][\w\-\.]*", mode="fill-auto", ) - 加工结果
data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data@__k1__：100 k2@__k3__：200 k4@__k5__：300
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
阿里云企业补贴进行中： 马上申请
腾讯云限时活动1折起，即将结束： 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠
转转请注明出处：https://www.yunxiaoer.com/164351.html
