在 Hadoop 平台上生成 TFRecord 文件通常涉及使用 Hadoop Streaming 或 MapReduce 作业。以下是一个基本的步骤指南，以及如何在 Hadoop 上生成 TFRecord 文件的示例。

  1. 准备数据：确保你的数据已经存储在 HDFS（Hadoop Distributed File System）上。

  2. 编写 MapReduce 作业：

  3. Map 阶段：读取输入数据，可能是文本文件、CSV 文件或其他格式，然后为每条记录生成一个随机数（用于后续的 shuffle），并输出键值对。

  4. Reduce 阶段：使用 TensorFlow 的 Python API 来创建 tf.train.Example 对象，并将它们序列化为字符串，然后写入到 TFRecord 文件中。

  5. 配置和运行作业：使用 Hadoop Streaming 提交你的 MapReduce 作业，并指定 Mapper 和 Reducer 的脚本路径。

  6. 结果存储：生成的 TFRecord 文件将存储在 HDFS 的指定位置。

以下是一个简单的 MapReduce 作业示例，用于生成 TFRecord 文件：

Map 阶段脚本 (map.py): 

import sys
import random

# 读取输入数据，生成随机数作为键，以便后续 shuffle
for line in sys.stdin:
    line = line.strip()
    print(f"{random.random()}\t{line}")

Reduce 阶段脚本 (reduce.py): 

import sys
import tensorflow as tf

def _int64_feature(value):
    return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

def _bytes_feature(value):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

# 定义如何创建一个 tf.train.Example
def create_example(features):
    feature = {
        'feature1': _int64_feature(features[0]),
        'feature2': _bytes_feature(features[1].encode('utf-8')),
    }
    return tf.train.Example(features=tf.train.Features(feature=feature))

# 读取 shuffle 后的数据，并生成 TFRecord
for line in sys.stdin:
    line = line.strip().split('\t')
    if len(line) != 2:
        continue
    random_number, features = line
    example = create_example(features)
    tf_example = example.SerializeToString()
    print(tf_example)

运行作业： 

hadoop jar /path/to/hadoop-streaming.jar \
    -file map.py    -mapper map.py \
    -file reduce.py  -reducer reduce.py \
    -input /input/data/path -output /output/tfrecord/path

请确保你的环境中已经安装了 TensorFlow，并且你的 Hadoop 集群配置正确。这个例子只是一个起点，你可能需要根据你的具体数据格式和需求来调整 Map 和 Reduce 脚本。此外，你可能需要在 Hadoop 集群上安装 TensorFlow 或者使用其他方法来确保 TensorFlow 库在作业执行时可用。

参考