对于如何*实际*读取TensorFlow中的CSV数据？感兴趣的读者，本文将会是一篇不错的选择，我们将详细介绍tensorflow读取csv文件，并为您提供关于CSV数据集不适合使用Tensorflo

对于如何*实际*读取TensorFlow中的CSV数据？感兴趣的读者，本文将会是一篇不错的选择，我们将详细介绍tensorflow读取csv文件，并为您提供关于CSV数据集不适合使用Tensorflow的内存、Effective TensorFlow Chapter 4: TensorFlow中的广播Broadcast机制【转】、Tensorflow 2.0：从 CSV 文件加载数据、tensorflow for R中的警告-您的CPU支持该TensorFlow二进制文件未编译为使用的指令：AVX2的有用信息。

• 如何*实际*读取TensorFlow中的CSV数据？（tensorflow读取csv文件）
• CSV数据集不适合使用Tensorflow的内存
• Effective TensorFlow Chapter 4: TensorFlow中的广播Broadcast机制【转】
• Tensorflow 2.0：从 CSV 文件加载数据
• tensorflow for R中的警告-您的CPU支持该TensorFlow二进制文件未编译为使用的指令：AVX2

如何*实际*读取TensorFlow中的CSV数据？（tensorflow读取csv文件）

我在TensorFlow领域相对较新，对您如何 实际
将CSV数据读取到TensorFlow中可用的示例/标签张量中感到困惑。TensorFlow教程中有关读取CSV数据的示例相当分散，仅使您成为能够训练CSV数据的一部分。

这是我根据CSV教程整理而成的代码：

from __future__ import print_functionimport tensorflow as tfdef file_len(fname):    with open(fname) as f:        for i, l in enumerate(f):            pass    return i + 1filename = "csv_test_data.csv"# setup text readerfile_length = file_len(filename)filename_queue = tf.train.string_input_producer([filename])reader = tf.TextLineReader(skip_header_lines=1)_, csv_row = reader.read(filename_queue)# setup CSV decodingrecord_defaults = [[0],[0],[0],[0],[0]]col1,col2,col3,col4,col5 = tf.decode_csv(csv_row, record_defaults=record_defaults)# turn features back into a tensorfeatures = tf.stack([col1,col2,col3,col4])print("loading, " + str(file_length) + " line(s)\n")with tf.Session() as sess:  tf.initialize_all_variables().run()  # start populating filename queue  coord = tf.train.Coordinator()  threads = tf.train.start_queue_runners(coord=coord)  for i in range(file_length):    # retrieve a single instance    example, label = sess.run([features, col5])    print(example, label)  coord.request_stop()  coord.join(threads)  print("\ndone loading")

这是我正在加载的CSV文件中的一个简短示例-基本数据-4个功能列和1个标签列：

0,0,0,0,00,15,0,0,00,30,0,0,00,45,0,0,0

上面的所有代码都是 从CSV文件中逐个打印每个示例 ，虽然不错，但对于培训来说却毫无用处。

我在这里遇到的困难是如何将这些单独的示例（一个接一个地加载）变成训练数据集。例如，这是我在Udacity深度学习课程中正在使用的笔记本。我基本上想获取要加载的CSV数据，然后将其放入
train_dataset 和 train_labels之类的内容中 ：

def reformat(dataset, labels):  dataset = dataset.reshape((-1, image_size * image_size)).astype(np.float32)  # Map 2 to [0.0, 1.0, 0.0 ...], 3 to [0.0, 0.0, 1.0 ...]  labels = (np.arange(num_labels) == labels[:,None]).astype(np.float32)  return dataset, labelstrain_dataset, train_labels = reformat(train_dataset, train_labels)valid_dataset, valid_labels = reformat(valid_dataset, valid_labels)test_dataset, test_labels = reformat(test_dataset, test_labels)print(''Training set'', train_dataset.shape, train_labels.shape)print(''Validation set'', valid_dataset.shape, valid_labels.shape)print(''Test set'', test_dataset.shape, test_labels.shape)

我已经尝试过使用tf.train.shuffle_batch，就像这样，但它莫名其妙地挂起了：

  for i in range(file_length):    # retrieve a single instance    example, label = sess.run([features, colRelevant])    example_batch, label_batch = tf.train.shuffle_batch([example, label], batch_size=file_length, capacity=file_length, min_after_dequeue=10000)    print(example, label)

综上所述，这是我的问题：

• 我对这个过程缺少什么？
  • 感觉到缺少一些关于如何正确构建输入管道的关键直觉。
• 有没有一种方法可以避免必须知道CSV文件的长度？
  • 必须知道要处理的for i in range(file_length)行数（上面的代码行）感觉很不好

编辑：
雅罗斯拉夫（Yaroslav）指出我很可能在这里混合了命令性和图形构造部分后，它变得越来越清晰。我能够整理以下代码，我认为这与从CSV训练模型时通常会执行的代码更接近（不包括任何模型训练代码）：

from __future__ import print_functionimport numpy as npimport tensorflow as tfimport math as mathimport argparseparser = argparse.ArgumentParser()parser.add_argument(''dataset'')args = parser.parse_args()def file_len(fname):    with open(fname) as f:        for i, l in enumerate(f):            pass    return i + 1def read_from_csv(filename_queue):  reader = tf.TextLineReader(skip_header_lines=1)  _, csv_row = reader.read(filename_queue)  record_defaults = [[0],[0],[0],[0],[0]]  colHour,colQuarter,colAction,colUser,colLabel = tf.decode_csv(csv_row, record_defaults=record_defaults)  features = tf.stack([colHour,colQuarter,colAction,colUser])    label = tf.stack([colLabel])    return features, labeldef input_pipeline(batch_size, num_epochs=None):  filename_queue = tf.train.string_input_producer([args.dataset], num_epochs=num_epochs, shuffle=True)    example, label = read_from_csv(filename_queue)  min_after_dequeue = 10000  capacity = min_after_dequeue + 3 * batch_size  example_batch, label_batch = tf.train.shuffle_batch(      [example, label], batch_size=batch_size, capacity=capacity,      min_after_dequeue=min_after_dequeue)  return example_batch, label_batchfile_length = file_len(args.dataset) - 1examples, labels = input_pipeline(file_length, 1)with tf.Session() as sess:  tf.initialize_all_variables().run()  # start populating filename queue  coord = tf.train.Coordinator()  threads = tf.train.start_queue_runners(coord=coord)  try:    while not coord.should_stop():      example_batch, label_batch = sess.run([examples, labels])      print(example_batch)  except tf.errors.OutOfRangeError:    print(''Done training, epoch reached'')  finally:    coord.request_stop()  coord.join(threads)

答案1

我认为您在这里混淆了命令性和图形构造部分。该操作将tf.train.shuffle_batch创建一个新的队列节点，并且可以使用一个节点来处理整个数据集。因此，我认为您之所以绞尽脑汁，是因为您shuffle_batch在for循环中创建了一堆队列，而没有为其启动队列运行器。

正常的输入管道用法如下所示：

1. 添加喜欢的节点shuffle_batch到输入管道
2. （可选，以防止意外修改图）完成图

-–图形构造结束，命令式编程开始-

1. tf.start_queue_runners
2. while(True): session.run()

为了更具可扩展性（避免使用Python
GIL），您可以使用TensorFlow管道生成所有数据。但是，如果性能不是很关键，则可以使用slice_input_producer.以下示例将一个numpy数组连接到输入管道：这是一个带有一些Print节点的示例，以查看发生了什么（Print运行节点时进入stdout的消息）

tf.reset_default_graph()num_examples = 5num_features = 2data = np.reshape(np.arange(num_examples*num_features), (num_examples, num_features))print data(data_node,) = tf.slice_input_producer([tf.constant(data)], num_epochs=1, shuffle=False)data_node_debug = tf.Print(data_node, [data_node], "Dequeueing from data_node ")data_batch = tf.batch([data_node_debug], batch_size=2)data_batch_debug = tf.Print(data_batch, [data_batch], "Dequeueing from data_batch ")sess = tf.InteractiveSession()sess.run(tf.initialize_all_variables())tf.get_default_graph().finalize()tf.start_queue_runners()try:  while True:    print sess.run(data_batch_debug)except tf.errors.OutOfRangeError as e:  print "No more inputs."

你应该看到这样的东西

[[0 1] [2 3] [4 5] [6 7] [8 9]][[0 1] [2 3]][[4 5] [6 7]]No more inputs.

“ 8、9”数字没有填满整个批次，因此没有得到生产。还tf.Print可以打印到sys.stdout，因此它们对我来说分别显示在Terminal中。

PS：连接batch到手动初始化的队列的最低要求在github问题2193中

另外，出于调试目的，您可能需要timeout在会话上进行设置，以使IPython Notebook不挂在空队列出队中。我在会话中使用此帮助器功能

def create_session():  config = tf.ConfigProto(log_device_placement=True)  config.gpu_options.per_process_gpu_memory_fraction=0.3 # don''t hog all vRAM  config.operation_timeout_in_ms=60000   # terminate on long hangs  # create interactive session to register a default session  sess = tf.InteractiveSession("", config=config)  return sess

可伸缩性注意事项：

1. tf.constant将您的数据副本内联到Graph中。Graph定义的大小有2GB的基本限制，因此这是数据大小的上限
2. 你可以避开这一限制使用v=tf.Variable和保存数据到那里通过运行v.assign_op一个tf.placeholder在右侧和喂养numpy的阵列到占位符（feed_dict）
3. 这样仍然会创建两个数据副本，因此，为了节省内存，您可以使自己的版本slice_input_producer在numpy数组上运行，并使用feed_dict

CSV数据集不适合使用Tensorflow的内存

import tensorflow as tf

a = tf.constant([[1., 2.], [3., 4.]]) b = tf.constant([[1.], [2.]]) # c = a + tf.tile(b, [1, 2]) c = a + b

a = tf.random_uniform([5, 3, 5])
b = tf.random_uniform([5, 1, 6]) # concat a and b and apply nonlinearity tiled_b = tf.tile(b, [1, 3, 1]) c = tf.concat([a, tiled_b], 2) d = tf.layers.dense(c, 10, activation=tf.nn.relu)

pa = tf.layers.dense(a, 10, activation=None)
pb = tf.layers.dense(b, 10, activation=None)
d = tf.nn.relu(pa + pb)

def merge(a, b, units, activation=tf.nn.relu):
    pa = tf.layers.dense(a, units, activation=None) pb = tf.layers.dense(b, units, activation=None) c = pa + pb if activation is not None: c = activation(c) return c

a = tf.constant([[1.], [2.]])
b = tf.constant([1., 2.])
c = tf.reduce_sum(a + b)

a = tf.constant([[1.], [2.]])
b = tf.constant([1., 2.])
c = tf.reduce_sum(a + b, 0)

I tensorflow/core/platform/cpu_feature_guard.cc:141] Your cpu supports instructions that this TensorFlow binary was not compiled to use: AVX2