本文为您介绍PAI-TF数据转换方法。
trans_csv_id2sparse Python接口
trans_csv_id2sparse(records, max_id, id_as_value=True, field_delim=”,”)- 输入以下参数：
参数 是否必选 描述 records 是 类型STRING数组待解析CSV字符串数组（列表），以CSV格式由分隔符分隔。 max_id 是 类型INT64稀疏矩阵的最大列数，用于设定输出中的dense_shape值。如果实际ID大于或等于dense_shape值，则报错。 id_as_value 否 类型BOOL，默认为True，将Index编号作为稀疏矩阵中有效点的值，类型为INT64。无特殊情况不建议更改为False。 field_delim 否 类型STRING，默认为英文逗号（,）。CSV格式数据的分隔符。不支持数字、正负号、字母e和E、小数点（.）和多字节分隔符。当使用空格作为分隔符时，多个连续空格将被视作一个分隔符。 - 输出：由Index CSV序列转换而得的Sparse Tensor，Value类型为INT64。
示例：将一个batch的存有Index数据的STRING转换成一个sparse tensor。
- 输入：
[“2,10”,“7”,“0,8”] - 需求：
矩阵列宽度为20，有效点填入原Index。
- 代码：
outsparse = tf.trans_csv_id2sparse([“2,10”,“7”,“0,8”], 20) - 返回结果：
SparseTensor( indices=[[0,2],[0,10],[1,7],[2,0],[2,8]], values=[2, 10, 7, 0, 8], dense_shape=[3,20])
trans_csv_kv2dense Python接口
将以Key/Value形式标记有效位置和值的CSV字符串集合转换成为稠密矩阵。
trans_csv_kv2dense(records, max_id, field_delim=”,”)- 输入以下参数：
参数 是否必选 描述 records 是 类型STRING数组待解析CSV字符串数组（列表），以CSV格式由分隔符分隔。每一个数据项均为以冒号（:）分隔的Key/Value形式数据，否则报错。 max_id 是 类型INT64输出的稠密矩阵的列数。如果实际ID大于或等于列数，则报错。 field_delim 否 类型STRING，默认为英文逗号（,）。CSV格式数据的分隔符。不支持数字、正负号、字母e和E、小数点（.）和多字节分隔符。当使用空格作为分隔符时，多个连续空格将被视作一个分隔符。 - 输出：由Key/Value形式CSV序列转换而得的稠密矩阵，默认输出类型为FLOAT，空白处以0.0填充。
示例：将一个batch以Key/Value形式Index: Value存储的STRING转换成为一个稠密矩阵。
- 输入：
[“1:0.1,2:0.2,4:0.4,10:1.0”, “0:0.22,3:0.33,9:0.99”, “2:0.24,7:0.84,8:0.96” ] - 需求：
列宽设置为12。
- 代码：
outmatrix = tf.trans_csv_kv2dense( [“1:0.1,2:0.2,4:0.4,10:1.0”, “0:0.22,3:0.33,9:0.99”, “2:0.24,7:0.84,8:0.96” ] , 12) - 返回结果：
[[0.0, 0.1, 0.2, 0.0, 0.4, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0] [0.22, 0.0, 0.0, 0.33, 0.0, 0.0, 0.0, 0.0, 0.0, 0.99, 0.0, 0.0] [0.0, 0.0, 0.24, 0.0, 0.0, 0.0, 0.0, 0.84, 0.96, 0.0, 0.0, 0.0]]
trans_csv_kv2sparse Python接口
将以Key/Value形式标记有效位置和值的CSV字符串集合转换成为稀疏矩阵。
trans_csv_kv2sparse(records, max_id, field_delim=”,”)- 输入以下参数：
参数 是否必选 描述 records 是 类型STRING数组待解析CSV字符串数组（列表），以CSV格式由分隔符分隔。每一个数据项均为以冒号（:）分隔的Key/Value形式数据，否则报错。当使用空格作为分隔符时，多个连续空格将被视作一个分隔符。 max_id 是 类型INT64稀疏矩阵的最大列数，用于设定输出中的dense_shape值。如果实际ID大于或等于dense_shape值，则报错。 field_delim 否 类型STRING，默认为英文逗号（,）。CSV格式数据的分隔符。不支持数字、正负号、字母e和E、小数点（.）和多字节分隔符。当使用空格作为分隔符时，多个连续空格将被视作一个分隔符。 - 输出：由Key/Value形式CSV序列转换而得的稀疏矩阵，默认输出类型为FLOAT。
示例：将一个batch以Key/Value形式Index: Value存储的STRING转换成为一个稀疏矩阵。
- 输入：
[“1:0.1,2:0.2,4:0.4,10:1.0”, “0:0.22,3:0.33,9:0.99”, “2:0.24,7:0.84,8:0.96” ] - 需求：
列宽设置为20，生成稀疏矩阵Tensor。
- 代码：
outsparse = tf.trans_csv_kv2sparse( [“1:0.1,2:0.2,4:0.4,10:1.0”, “0:0.22,3:0.33,9:0.99”, “2:0.24,7:0.84,8:0.96” ] , 20) - 返回结果：
SparseTensor( indices=[[0,1],[0,2],[0,4],[0,10],[1,0],[1,3],[1,9],[2,0],[2,7],[2,8]], values=[0.1, 0.2, 0.4, 1.0, 0.22, 0.33, 0.99, 0.24, 0.84, 0.96], dense_shape=[3,20])
trans_csv_id2dense Python接口
将标记有效位置的CSV字符串集合转换成为稠密矩阵。
trans_csv_id2dense(records, max_id, id_as_value=False, field_delim=”,”)- 输入以下参数：
参数 是否必选 描述 records 是 类型STRING数组待解析CSV字符串数组（列表），以CSV格式由分隔符分隔。 max_id 是 类型INT64输出的稠密矩阵的列数。如果实际ID大于或等于列数，则报错。 id_as_value 否 类型BOOL，默认为False，稀疏矩阵中有效点的值将会填入int64(1)。 field_delim 否 类型STRING，默认为英文逗号（,）。CSV格式数据的分隔符。不支持数字、正负号、字母e和E、小数点（.）和多字节分隔符。当使用空格作为分隔符时，多个连续空格将被视作一个分隔符。 - 输出：由Index CSV序列转换而得的稠密矩阵，类型为INT64，空白处以0值填充。
示例：将一个batch的存有Index数据的STRING转换成一个稠密矩阵：
- 输入：
[“2,10”,“7”,“0,8”] - 需求：
需求：列宽设置为12，有效点填入1。
- 代码：
outmatrix = tf.trans_csv_id2dense( [“2,10”,“7”,“0,8”], 12) - 返回结果：
[[0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0] [0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0] [1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0]]
trans_csv_to_dense Python接口
将由数值组成的CSV字符串集合转换成为稠密矩阵。
trans_csv_to_dense(records, max_id, field_delim=”,”)- 输入以下参数：
参数 是否必选 描述 records 是 类型STRING数组待解析CSV字符串数组（列表），以CSV格式由分隔符分隔。 max_id 是 类型INT64输出的稠密矩阵的列数。如果实际CSV字符串的列数大于或等于列数，则报错。 field_delim 否 类型STRING，默认为英文逗号（,）。CSV格式数据的分隔符。不支持数字、正负号、字母e和E、小数点（.）和多字节分隔符。当使用空格作为分隔符时，多个连续空格将被视作一个分隔符。 - 输出：由Key/Value形式CSV序列转换而得的稠密矩阵，默认输出类型为FLOAT，空白处以0.0填充。
示例：将一个batch的CSV格式STRING转换成为一个稠密矩阵。
- 输入：
[“0.1,0.2,0.4,1.0”, “0.22,0.33,0.99”, “0.24,0.84,0.96” ] - 需求：
列宽设置为6。
- 代码：
outmatrix = tf.trans_csv_to_dense( [“0.1,0.2,0.4,1.0”, “0.22,0.33,0.99”, “0.24,0.84,0.96” ] , 6) - 返回结果：
[[0.1, 0.2, 0.4, 1.0, 0.0, 0.0] [0.22, 0.33, 0.99, 0.0, 0.0, 0.0] [0.24, 0.84, 0.96, 0.0, 0.0, 0.0]]
代码实例
以下代码通过TensorFlow从存放在ODPS的数据表中读取数据。数据共有6列，第1列为ID，第2列为Key/Value格式的CSV数据，后4列为Index格式的CSV数据。数据读取后调用TransCSV的ODPS，将这5列数据分别转换为1个稠密矩阵和4个稀疏矩阵，用于模型训练。
import tensorflow as tf
import numpy as np
def read_table(filename_queue):
batch_size = 128
reader = tf.TableRecordReader(csv_delimiter=';', num_threads=8, capacity=8*batch_size)
key, value = reader.read_up_to(filename_queue, batch_size)
values = tf.train.batch([value], batch_size=batch_size, capacity=8*capacity, enqueue_many=True, num_threads=8)
record_defaults = [[1.0], [""], [""], [""], [""], [""]]
feature_size = [1322,30185604,43239874,5758226,41900998]
col1, col2, col3, col4, col5, col6 = tf.decode_csv(values, record_defaults=record_defaults, field_delim=';')
col2 = tf.trans_csv_kv2dense(col2, feature_size[0])
col3 = tf.trans_csv_id2sparse(col3, feature_size[1])
col4 = tf.trans_csv_id2sparse(col4, feature_size[2])
col5 = tf.trans_csv_id2sparse(col5, feature_size[3])
col6 = tf.trans_csv_id2sparse(col6, feature_size[4])
return [col1, col2, col3, col4, col5, col6]
if __name__ == '__main__':
tf.app.flags.DEFINE_string("tables", "", "tables")
tf.app.flags.DEFINE_integer("num_epochs", 1000, "number of epoches")
FLAGS = tf.app.flags.FLAGS
table_pattern = FLAGS.tables
num_epochs = FLAGS.num_epochs
filename_queue = tf.train.string_input_producer(table_pattern, num_epochs)
train_data = read_table(filename_queue)
init_global = tf.global_variables_initializer()
init_local = tf.local_variables_initializer()
with tf.Session() as sess:
sess.run(init_global)
sess.run(init_local)
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)
for i in range(1000):
sess.run(train_data)
coord.request_stop()
coord.join(threads)内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
阿里云企业补贴进行中： 马上申请
腾讯云限时活动1折起，即将结束： 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠
转转请注明出处：https://www.yunxiaoer.com/164505.html
