阿里云人工智能平台PAI特征异常平滑-云淘科技

背景信息

平滑方法如下：

• ZScore平滑

  如果特征分布遵循正态分布，则噪音一般集中在-3×alpha和3×alpha之外，ZScore是将该范围的数据平滑到[-3×alpha,3×alpha]之间。

  例如，某个特征遵循正态分布，均值为0，标准差为3。因此，-10的特征值会被识别为异常而修正为-3×3+0，即为-9。同理10会被修正为3×3+0，即为9。

• 百分位平滑

  用于将分布不在[minPer, maxPer]的数据平滑到minPer和maxPer这两个分位点。

  例如，age特征取值0～200，设置minPer为0，maxPer为50%，则不在0～100的特征取值都会被修正成0或100。

• 阈值平滑

  用于将分布不在[minThresh, maxThresh]的数据平滑到minThresh和maxThresh这两个数据点。

  例如，age特征取值0～200，设置minThresh为10，maxThresh为80，则不在0～80的特征取值都会被修正成0或80。

• 箱线图平滑

  通过数据的4分位线构造光滑的上下界阈值，构造方式为：minThresh=q1-1.5(q3-q1)，maxThresh=q3+1.5(q3-q1)。

说明

特征平滑算法组件只是将异常取值的特征值修正为正常值，本身不过滤或删除任何记录，输入数据维度和条数均不变。

组件配置

您可以使用以下任意一种方式，配置特征异常平滑组件参数。

方式一：可视化方式

在Designer（原PAI-Studio）工作流页面配置组件参数。

方式二：PAI命令方式

使用PAI命令方式，配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用，详情请参见SQL脚本。

PAI -name fe_soften_runner -project algo_public
    -DminThresh=5000
    -Dlifecycle=28
    -DsoftenMethod=min-max-thresh
    -DsoftenCols=nr_employed
    -DmaxThresh=6000
    -DinputTable=pai_dense_10_1
    -DoutputTable=pai_temp_2262_20381_1;

示例

• 输入数据

  create table if not exists pai_dense_10_1 as
  select
      nr_employed
  from bank_data limit 10;

  nr_employed
  5228.1
  5195.8
  4991.6
  5099.1
  5076.2
  5228.1
  5099.1
  5099.1
  5076.2
  5099.1

• 参数配置

  平滑特征选择nr_employed，参数设置中平滑方法选择阈值平滑，阈值下限为5000，阈值上限为6000，如下图所示。

• 运行结果

  nr_employed
  5228.1
  5195.8
  5000.0
  5099.1
  5076.2
  5228.1
  5099.1
  5099.1
  5076.2
  5099.1