详情页标题前

阿里云云原生大数据计算服务 MaxComputePERCENTILE_APPROX-云淘科技

详情页1

计算近似百分位数,适用于大数据量。先对指定列升序排列,然后取第p位百分数对应的值。此函数为MaxCompute 2.0扩展函数。

注意事项

升级到MaxCompute 2.0后,产品扩展了部分函数。如果您用到的函数涉及新数据类型(TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY),在使用扩展函数时,需要执行如下语句开启新数据类型开关:

  • Session级别:如果使用新数据类型,您需要在SQL语句前加上语句set odps.sql.type.system.odps2=true;,并与SQL语句一起提交执行。

  • Project级别:Project Owner可根据需要对Project进行设置,等待10~15分钟后才会生效。命令如下。

    setproject odps.sql.type.system.odps2=true;

    setproject的详细说明请参见项目空间操作。关于开启Project级别数据类型的注意事项,请参见数据类型版本说明。

在同一条SQL语句中同时使用多个聚合函数时,如果项目资源不足,会出现内存溢出问题,请您根据实际业务情况优化SQL或购买计算资源。

命令格式

double percentile_approx (double [, double ], 

[, ]))--以数组形式返回多个百分位近似计算结果。array percentile_approx (double [, double ], array( [, ...]) [, ])

命令说明

percentile_approx是从编号1开始计算,例如某列数据为100、200、300,列数据的编号顺序为1、2、3,计算该列的0.6百分位点,percentile_approx结果是3×0.6=1.8,即值位于编号1和2之间,结果为100+(200-100)×0.8=180

说明

percentile_approx与percentile的区别如下:

percentile_approx用于计算近似的百分位数,percentile用于计算精确的百分位数。在数据量较大时,percentile可能会因内存限制而执行失败,而percentile_approx无此问题。

参数说明

  • colname:必填。值为DOUBLE类型的列。

  • weight:可选。权重值,可以指定每行数据对应的权重,值为DOUBLE类型的列。

  • p:必填。需要近似的百分位数。取值为[0.0,1.0]

  • B:精度参数。精度越高产生的近似值误差越小。如果不设置该参数,默认值为10000。

返回值说明

返回DOUBLE或ARRAY类型。返回规则如下:

  • colname值为NULL时,该行不参与计算。

  • p或B值为NULL时,返回报错。

示例数据

为便于理解各函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表emp,并添加数据,命令示例如下:

create table if not exists emp
   (empno bigint,
    ename string,
    job string,
    mgr bigint,
    hiredate datetime,
    sal bigint,
    comm bigint,
    deptno bigint);
tunnel upload emp.txt emp;   --请根据您上传数据文件的实际path(路径以及名称)替换emp.txt

emp.txt中的数据如下:

7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02 00:00:00,2975,,20
7654,MARTIN,SALESMAN,7698,1981-09-28 00:00:00,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01 00:00:00,2850,,30
7782,CLARK,MANAGER,7839,1981-06-09 00:00:00,2450,,10
7788,SCOTT,ANALYST,7566,1987-04-19 00:00:00,3000,,20
7839,KING,PRESIDENT,,1981-11-17 00:00:00,5000,,10
7844,TURNER,SALESMAN,7698,1981-09-08 00:00:00,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23 00:00:00,1100,,20
7900,JAMES,CLERK,7698,1981-12-03 00:00:00,950,,30
7902,FORD,ANALYST,7566,1981-12-03 00:00:00,3000,,20
7934,MILLER,CLERK,7782,1982-01-23 00:00:00,1300,,10
7948,JACCKA,CLERK,7782,1981-04-12 00:00:00,5000,,10
7956,WELAN,CLERK,7649,1982-07-20 00:00:00,2450,,10
7956,TEBAGE,CLERK,7748,1982-12-30 00:00:00,1300,,10

示例

  • 示例1:计算0.3百分位的薪资(sal)。命令示例如下:

    select percentile_approx(sal, 0.3) from emp;

    返回结果如下:

    +------------+
    | _c0        |
    +------------+
    | 1300.0     |
    +------------+
  • 示例2:与group by配合使用,对所有职工按照部门(deptno)进行分组,并计算同组职工0.3百分位的薪资(sal)。命令示例如下:

    select deptno, percentile_approx(sal, 0.3) from emp group by deptno;

    返回结果如下:

    +------------+------------+
    | deptno     | _c1        |
    +------------+------------+
    | 10         | 1300.0     |
    | 20         | 1100.0     |
    | 30         | 1250.0     |
    +------------+------------+
  • 示例3:与group by配合使用,对所有职工按照部门(deptno)进行分组,并计算同组职工0.3、0.5、0.8百分位的薪资(sal)。命令示例如下:

    set odps.sql.type.system.odps2=true;
    select deptno, percentile_approx(sal, array(0.3, 0.5, 0.8), 1000) from emp group by deptno;

    返回结果如下:

    +------------+------+
    | deptno     | _c1  |
    +------------+------+
    | 10         | [1300, 2450, 5000] |
    | 20         | [1100, 2975, 3000] |
    | 30         | [1250, 1375, 1600] |
    +------------+------+
  • 示例4:带权重接口示例:与group by配合使用,对所有职工按照部门(deptno)进行分组,并计算同组职工0.3、0.5、0.8百分位的薪资(sal),emp表中的cnt代表拥有该薪资的人数。命令示例如下:

    select deptno, percentile_approx(sal, deptno, array(0.3, 0.5, 0.8), 1000)
      from emp group by deptno;

    返回结果如下:

    +------------+------+
    | deptno     | _c1  |
    +------------+------+
    | 10         | [1645, 2450, 5000] |
    | 20         | [1100, 2975, 3000] |
    | 30         | [1250, 1375, 1975] |
    +------------+------+

相关函数

PERCENTILE_APPROX函数属于聚合函数,更多将多条输入记录进行求平均值、参数聚合的相关函数请参见聚合函数。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:http://www.yunxiaoer.com/159820.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云人工智能平台PAI产品架构-云淘科技

    本文为您介绍PAI的产品架构。 如上图所示,PAI的业务架构分为五层: 基础设施层:包括CPU、GPU、FPGA及NPU。 计算引擎和容器服务层:包括MaxCompute、EMR、实时计算等计算引擎及容器服务ACK。 计算框架层:包括Alink、TensorFlow、PyTorch、Caffe、MapReduce、SQL及MPI等计算框架,用于执行分布式计算…

    阿里云人工智能平台PAI 2023年12月10日
  • 阿里云云原生大数据计算服务 MaxCompute分组取出每组数据的前N条-云淘科技

    本文将为您介绍如何对数据进行分组,取出每组数据的前 N 条数据。 示例数据 目前的数据,如下表所示。 empno ename job sal 7369 SMITH CLERK 800.0 7876 SMITH CLERK 1100.0 7900 JAMES CLERK 950.0 7934 MILLER CLERK 1300.0 7499 ALLEN SAL…

  • 阿里云日志服务SLS数据压缩-云淘科技

    lz4是一种无损压缩算法,具有高速解码与压缩能力。日志服务部分API接口支持lz4压缩算法,使用lz4压缩算法可以减少网络传输流量,降低流量费用,提升接口访问速度。 压缩请求数据 日志服务如下API接口支持在HTTP请求体中传输lz4压缩格式的数据。 PutLogs(PutLogStoreLogs) PutWebtracking 其使用方法主要分为如下几个步…

    阿里云日志服务SLS 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云日志服务SLS分析概述-云淘科技

    日志服务提供分析功能,该功能结合了查询功能和SQL计算功能。本文介绍分析功能的基本语法、使用限制和SQL函数等信息。 重要 如果您要分析日志,则必须将日志采集到Standard Logstore中,且在配置索引时打开对应字段的开启统计开关。更多信息,请参见Logstore类型对比、创建索引。 日志服务默认存在保留字段。如果您要分析保留字段,请参见保留字段。 …

    阿里云日志服务SLS 2023年12月10日
  • 阿里云RDS数据库高效向量检索(PASE)-云淘科技

    本文介绍RDS PostgreSQL如何通过PASE插件(基于IVFFlat或HNSW算法)实现高效向量检索。 前提条件 实例为RDS PostgreSQL 11或以上版本。 背景信息 近年来,深度学习领域内的表示学习技术,作为人工智能的代表性技术,取得了长足性进展,在工业界中已经被大量应用,例如广告投放、人脸支付、图像识别、语音识别等场景。数据被嵌入至高维…

    2023年12月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。