阿里云云原生大数据计算服务 MaxCompute表-云淘科技

背景信息

PyODPS提供对MaxCompute表的基本操作方法。

说明

更多PyODPS方法说明，请参见Python SDK方法说明。

前提条件：准备运行环境

PyODPS支持在DataWorks的PyODPS节点或本地PC环境中运行，运行前您需先选择运行工具并准备好运行环境。

• 使用DataWorks：创建好PyODPS 2节点或PyODPS 3节点，详情请参见通过DataWorks使用PyODPS。
• 使用本地PC环境：安装好PyODPS并初始化ODPS入口对象。

基本操作

当前项目内的表操作

• 列出项目空间下的所有表：

  o.list_tables()方法可以列出项目空间下的所有表。

  # 列出项目空间下的所有表。
  for table in o.list_tables():
      print(table)

• 判断表是否存在：

  o.exist_table()方法可以判断表是否存在。

  print(o.exist_table('pyodps_iris'))
  # 返回True表示表pyodps_iris存在。

• 获取表：

  入口对象的o.get_table()方法可以获取表。

  • 获取表的schema信息。

    t = o.get_table('pyodps_iris')
    print(t.schema)  # 获取表pyodps_iris的schema

    返回值示例如下。

    odps.Schema {
      sepallength           double      # 片长度(cm)
      sepalwidth            double      # 片宽度(cm)
      petallength           double      # 瓣长度(cm)
      petalwidth            double      # 瓣宽度(cm)
      name                  string      # 种类
    }

  • 获取表列信息。

    t = o.get_table('pyodps_iris')
    print(t.schema.columns)  # 获取表pyodps_iris的schema中的列信息

    返回值示例如下。

    [,
     ,
     ,
     ,
     ]

  • 获取表的某个列信息。

    t = o.get_table('pyodps_iris')
    print(t.schema['sepallength'])  # 获取表pyodps_iris的sepallength列信息

    返回值示例如下。

  • 获取表的某个列的备注信息。

    t = o.get_table('pyodps_iris')
    print(t.schema['sepallength'].comment)  # 获取表pyodps_iris的sepallength列的备注信息

    返回示例如下。

    片长度(cm)

  • 获取表的生命周期。

    t = o.get_table('pyodps_iris')
    print(t.lifecycle)  # 获取表pyodps_iris的生命周期

    返回值示例如下。

    -1

  • 获取表的创建时间。

    t = o.get_table('pyodps_iris')
    print(t.creation_time)  # 获取表pyodps_iris的创建时间

  • 获取表是否是虚拟视图。

    t = o.get_table('pyodps_iris')
    print(t.is_virtual_view)  # 获取表pyodps_iris是否是虚拟视图，返回False，表示不是。

  与上述示例类似，您也可以通过t.size、t.comment来获取表的大小、表备注等信息。

  跨项目的表操作

  您可以通过project参数，跨项目获取表。

  t = o.get_table('table_name', project='other_project')

  其中other_project为所跨的项目，table_name为跨项目获取的表名称。

创建表的Schema

初始化方法有如下两种：

• 通过表的列以及可选的分区进行初始化。

  from odps.models import Schema, Column, Partition
  columns = [
      Column(name='num', type='bigint', comment='the column'),
      Column(name='num2', type='double', comment='the column2'),
  ]
  partitions = [Partition(name='pt', type='string', comment='the partition')]
  schema = Schema(columns=columns, partitions=partitions)

  初始化后，您可获取字段信息、分区信息等。

  • 获取所有字段信息。

    print(schema.columns)

    返回示例如下。

    [,
     ,
     ]

  • 获取分区字段。

    print(schema.partitions)

    返回示例如下。

    []

  • 获取非分区字段名称。

    print(schema.names)

    返回示例如下。

    ['num', 'num2']

  • 获取非分区字段类型。

    print(schema.types)

    返回示例如下。

    [bigint, double]

• 使用Schema.from_lists()方法。该方法更容易调用，但无法直接设置列和分区的注释。

  from odps.models import Schema
  schema = Schema.from_lists(['num', 'num2'], ['bigint', 'double'], ['pt'], ['string'])
  print(schema.columns)

  返回值示例如下。

  [,
   ,
   ]

创建表

您可以使用o.create_table()方法创建表，使用方式有两种：使用表Schema方式、使用字段名和字段类型方式。同时创建表时表字段的数据类型有一定的限制条件，详情如下。

使用表Schema创建表

使用表Schema创建表时，您需要先创建表的Schema，然后通过Schema创建表。

#创建表的schema
from odps.models import Schema
schema = Schema.from_lists(['num', 'num2'], ['bigint', 'double'], ['pt'], ['string'])

#通过schema创建表
table = o.create_table('my_new_table', schema)

#只有不存在表时，才创建表。
table = o.create_table('my_new_table', schema, if_not_exists=True)

#设置生命周期。
table = o.create_table('my_new_table', schema, lifecycle=7)

表创建完成后，您可以通过print(o.exist_table('my_new_table'))验证表是否创建成功，返回True表示表创建成功。

使用字段名及字段类型创建表

#创建分区表my_new_table，可传入（表字段列表，分区字段列表）。
table = o.create_table('my_new_table', ('num bigint, num2 double', 'pt string'), if_not_exists=True)

#创建非分区表my_new_table02。
table = o.create_table('my_new_table02', 'num bigint, num2 double', if_not_exists=True)

表创建完成后，您可以通过print(o.exist_table('my_new_table'))验证表是否创建成功，返回True表示表创建成功。

使用字段名及字段类型创建表：新数据类型

未打开新数据类型开关时（默认关闭），创建表的数据类型只允许为BIGINT、DOUBLE、DECIMAL、STRING、DATETIME、BOOLEAN、MAP和ARRAY类型。如果您需要创建TINYINT和STRUCT等新数据类型字段的表，可以打开options.sql.use_odps2_extension = True开关，示例如下。

from odps import options
options.sql.use_odps2_extension = True
table = o.create_table('my_new_table', 'cat smallint, content struct