TFRecord文件查看包含的所有Features代码
TFRecord作为tensorflow中广泛使用的数据格式，它跨平台，省空间，效率高。因为Tensorflow开发者众多，统一训练时数据的文件格式是一件很有意义的事情，也有助于降低学习成本和迁移成本。
但是TFRecord数据是二进制格式，没法直接查看。因此，如何能够方便的查看TFRecord格式和数据，就显得尤为重要了。
为什么需要查看TFReocrd数据？首先我们先看下常规的写入和读取TFRecord数据的关键过程。
#1.写入过程
#一张图片，我写入了其内容，label，长和宽几个信息
tf_example=tf.train.Example(
features=tf.train.Features(feature={
'encoded':bytes_feature(encoded_jpg),
'label':int64_feature(label),
'height':int64_feature(height),
'width':int64_feature(width)}))
#2.读取过程
#定义解析的TFRecord数据格式
def_parse_image(example_proto):
features={'encoded':tf.FixedLenFeature((),tf.string),
'label':tf.FixedLenFeature((),tf.int64),
'height':tf.FixedLenFeature((),tf.int64),
'width':tf.FixedLenFeature((),tf.int64)
}
returntf.parse_single_example(example_proto,features)
#TFRecord数据按照Feature解析出对应的真实数据
ds=ds.map(lambdax:_parse_image(x),num_parallel_calls=4)
上面是一个标准的TFRecord数据的写入和读取部分过程，大家应该发现了，读取TFRecord数据的时候，得知道TFRecord数据保存的属性名和类型，任何一项不匹配，都会导致无法获取数据。
如果数据的写入和读取都是自己一个人完成，那就没问题。但是如果写入和读取是跨团队合作时候，如果每次读取数据都得让对方给完整的属性名和属性类型，那效率就太低了。毕竟TFRecord数据已经包含了一切，自己动手丰衣足食。
那么怎么查看TFRecord数据呢？使用pythontf.train.Example.FromString(serialized_example)方法，方法的入参是TFRecord包含的数据字符串。
然后，我直接将上诉查看的过程写成了一个py脚本，需要自取。
#!/usr/bin/python
#-*-coding:utf-8-*-
importsys
importtensorflowastf
#用法：pythontrackTFRecord.pyTruefile1file2
#trackTFRecord.py就是当前这个py文件
#True表示是否输出具体的数据
#file1file2表示的是需要查看的TFRecord文件的绝对路径
#输出说明：tf.float32对应TFRecord的FloatList，tf.int64对应Int64List，tf.string对应BytesList
defmain():
print('TFRecord文件个数为{0}个'.format(len(sys.argv)-2))
foriinrange(2,len(sys.argv)):
filepath=sys.argv[i]
withtf.Session()assess:
filenames=[filepath]
#加载TFRecord数据
ds=tf.data.TFRecordDataset(filenames)
ds=ds.batch(10)
ds=ds.prefetch(buffer_size=tf.contrib.data.AUTOTUNE)
iterator=ds.make_one_shot_iterator()
#为了加快速度，仅仅简单拿一组数据看下结构
batch_data=iterator.get_next()
res=sess.run(batch_data)
serialized_example=res[0]
example_proto=tf.train.Example.FromString(serialized_example)
features=example_proto.features
print('{0}信息如下：'.format(filepath))
forkeyinfeatures.feature:
feature=features.feature[key]
ftype=None
fvalue=None
iflen(feature.bytes_list.value)>0:
ftype='bytes_list'
fvalue=feature.bytes_list.value
iflen(feature.float_list.value)>0:
ftype='float_list'
fvalue=feature.float_list.value
iflen(feature.int64_list.value)>0:
ftype='int64_list'
fvalue=feature.int64_list.value
result='{0}:{1}'.format(key,ftype)
if'True'==sys.argv[1]:
result='{0}:{1}'.format(result,fvalue)
print(result)
if__name__=="__main__":
main()
下面给大家实例演示，首先先随便找个图片，写入到TFRecord数据
importtensorflowastf
filename="/Users/zhanhaitao/Desktop/1.png"
#使用tf.read_file读进图片数据
image=tf.read_file(filename)
#主要是为了获取图片的宽高
image_jpeg=tf.image.decode_jpeg(image,channels=3,name="decode_jpeg_picture")
#reshape图片到原始大小2500x2000x3
image_jpeg=tf.reshape(image_jpeg,shape=(2500,2000,3))
#获取图片shape数据
img_shape=image_jpeg.shape
width=img_shape[0]
height=img_shape[1]
#将原图片tensor生成bytes对象，image将保存到tfrecord
sess=tf.Session()
image=sess.run(image)
sess.close()
#定义TFRecords文件的保存路径及其文件名
path_none="/Users/zhanhaitao/Desktop/a.tfrecord"
#定义不同压缩选项的TFRecordWriter
writer_none=tf.python_io.TFRecordWriter(path_none,options=None)
#将外层features生成特定格式的example
example_none=tf.train.Example(features=tf.train.Features(feature={
"float_val":tf.train.Feature(float_list=tf.train.FloatList(value=[9.99])),
"width":tf.train.Feature(int64_list=tf.train.Int64List(value=[width])),
"height":tf.train.Feature(int64_list=tf.train.Int64List(value=[height])),
"image_raw":tf.train.Feature(bytes_list=tf.train.BytesList(value=[image]))
}))
#example系列化字符串
example_str_none=example_none.SerializeToString()
#将系列化字符串写入协议缓冲区
writer_none.write(example_str_none)
#关闭TFRecords文件操作接口
writer_none.close()
print("finishtowritedatatotfrecordfile!")
然后，使用上面的脚本看下这个TFRecord数据定义了哪些属性，以及对应的格式，先进入到脚本的目录下，因为图像数据内容太大，影响阅读，就只看属性名和type了：
pythontrackTFRecord.pyFalse/Users/zhanhaitao/Desktop/a.tfrecord #结果，其中bytes_list对应tf.string，int64_list对应tf.int64float_list对应tf.float32 #image_raw:bytes_list #width:int64_list #float_val:float_list #height:int64_list
以上这篇TFRecord文件查看包含的所有Features代码就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。