## tensorflow 数据可视化 > tf.summary > 在TensorFlow中，最常用的可视化方法有三种途径，分别为TensorFlow与OpenCv的混合编程、利用Matpltlib进行可视化、利用TensorFlow自带的可视化工具TensorBoard进行可视化。 ### 原理介绍 tf.summary中相关的方法会输出一个含tensor的Summary protocol buffer，这是一种能够被tensorboard模块解析的结构化数据格式。 protocol buffer(protobuf)是谷歌专用的数据序列化工具。速度更快，但格式要求更严格，应用范围可能更小。 ### 用法详解 ##### 1. tf.summary.scalar 用来显示标量信息： ``` tf.summary.scalar(tags, values, collections=None, name=None) 例如：tf.summary.scalar('mean', mean) 一般在画loss,accuary时会用到这个函数。 ``` 参数说明： * name:生成节点的名字，也会作为TensorBoard中的系列的名字。 * tensor:包含一个值的实数Tensor。 * collection：图的集合键值的可选列表。新的求和op被添加到这个集合中。缺省为[GraphKeys.SUMMARIES] * family:可选项；设置时用作求和标签名称的前缀，这影响着TensorBoard所显示的标签名。 主要用途： * 将【计算图】中的【标量数据】写入TensorFlow中的【日志文件】，以便为将来tensorboard的可视化做准备。 * 一般在画loss曲线和accuary曲线时会用到这个函数。 ##### 2. tf.summary.histogram 用来显示直方图信息，其格式为： ``` tf.summary.histogram(tags, values, collections=None, name=None) 例如： tf.summary.histogram('histogram', var) 一般用来显示训练过程中变量的分布情况 ``` 参数说明： * name :一个节点的名字，如下图红色矩形框所示 * values:要可视化的数据，可以是任意形状和大小的数据 主要用途： * 将【计算图】中的【数据的分布/数据直方图】写入TensorFlow中的【日志文件】，以便为将来tensorboard的可视化做准备 * 一般用来显示训练过程中变量的分布情况 ##### 3. tf.summary.distribution 分布图，一般用于显示weights分布 ##### 4. tf.summary.text 可以将文本类型的数据转换为tensor写入summary中： ``` text = """/a/b/c\\_d/f\\_g\\_h\\_2017""" summary_op0 = tf.summary.text('text', tf.convert_to_tensor(text)) ``` ##### 5. tf.summary.image 输出带图像的probuf，汇总数据的图像的的形式如下： ' tag /image/0', ' tag /image/1'...，如：input/image/0等。 ``` tf.summary.image(tag, tensor, max_images=3, collections=None, name=None) ``` 参数说明： * name :一个节点的名字，如下图红色矩形框所示 * tensor:要可视化的图像数据，一个四维的张量，元素类型为uint8或者float32，维度为[batch_size, height,width, channels] * max_outputs:输出的通道数量，可以结合下面的示例代码进行理解 主要用途： * 将【计算图】中的【图像数据】写入TensorFlow中的【日志文件】，以便为将来tensorboard的可视化做准备 * 输出一个包含图像的summary,这个图像是通过一个4维张量构建的，这个张量的四个维度如下所示：[batch_size,height, width, channels] * 其中参数channels有三种取值： 1: tensor is interpreted as Grayscale,如果为1，那么这个张量被解释为灰度图像 3: tensor is interpreted as RGB,如果为3，那么这个张量被解释为RGB彩色图像 4: tensor is interpreted as Grayscale,如果为4，那么这个张量被解释为RGBA四通道图 ##### 6. tf.summary.audio 展示训练过程中记录的音频 ##### 7. tf.summary.merge_all merge_all 可以将所有summary全部保存到磁盘，以便tensorboard显示。如果没有特殊要求，一般用这一句就可一显示训练时的各种信息了。 ``` tf.summaries.merge_all(key='summaries') ``` 参数说明： * key : 用于收集summaries的GraphKey，默认的为GraphKeys.SUMMARIES * scope：可选参数 函数说明： * 将之前定义的所有summary整合在一起 * 和TensorFlow中的其他操作类似，tf.summary.scalar、tf.summary.histogram、tf.summary.image函数也是一个op，它们在定义的时候，也不会立即执行，需要通过sess.run来明确调用这些函数。因为，在一个程序中定义的写日志操作比较多，如果一一调用，将会十分麻烦，所以Tensorflow提供了tf.summary.merge_all()函数将所有的summary整理在一起。在TensorFlow程序执行的时候，只需要运行这一个操作就可以将代码中定义的所有【写日志操作】执行一次，从而将所有的日志写入【日志文件】。 ##### 8. tf.summary.FileWriter 指定一个文件用来保存图。可以调用其add_summary（）方法将训练过程数据保存在filewriter指定的文件中 ``` tf.summary.FileWritter(path,sess.graph) ``` Tensorflow Summary 用法示例: ``` tf.summary.scalar('accuracy',acc) #生成准确率标量图 merge_summary = tf.summary.merge_all() train_writer = tf.summary.FileWriter(dir,sess.graph)#定义一个写入summary的目标文件，dir为写入文件地址 ......(交叉熵、优化器等定义) for step in xrange(training_step): #训练循环 train_summary = sess.run(merge_summary,feed_dict = {...})#调用sess.run运行图，生成一步的训练过程数据 train_writer.add_summary(train_summary,step)#调用train_writer的add_summary方法将训练过程以及训练步数保存 ``` 此时开启tensorborad： ``` tensorboard --logdir=/summary_dir ``` 便能看见accuracy曲线了。 ##### 9. tf.summary.merge 可以调用其add_summary（）方法将训练过程数据保存在filewriter指定的文件中 ``` tf.summary.merge(inputs, collections=None, name=None) ``` 一般选择要保存的信息还需要用到tf.get_collection()函数 ``` tf.summary.scalar('accuracy',acc) #生成准确率标量图 merge_summary = tf.summary.merge([tf.get_collection(tf.GraphKeys.SUMMARIES,'accuracy'),...(其他要显示的信息)]) train_writer = tf.summary.FileWriter(dir,sess.graph)#定义一个写入summary的目标文件，dir为写入文件地址 ......(交叉熵、优化器等定义) for step in xrange(training_step): #训练循环 train_summary = sess.run(merge_summary,feed_dict = {...})#调用sess.run运行图，生成一步的训练过程数据 train_writer.add_summary(train_summary,step)#调用train_writer的add_summary方法将训练过程以及训练步数保存 ``` 使用tf.get_collection函数筛选图中summary信息中的accuracy信息，这里的 tf.GraphKeys.SUMMARIES 是summary在collection中的标志。 当然，也可以直接： ``` acc_summary = tf.summary.scalar('accuracy',acc) #生成准确率标量图 merge_summary = tf.summary.merge([acc_summary ,...(其他要显示的信息)]) #这里的[]不可省 ``` 如果要在tensorboard中画多个数据图，需定义多个tf.summary.FileWriter并重复上述过程。 ### 步骤说明 * summary记录的tensor * 使用merge_all或者merge函数收集所有的summary * 定制summary的存储对象 * 运行summary，按照训练步骤，传入测试数据，提取summary的值 * 最后将summary的结果添加到日志当中 > 如果目标网址不行可以尝试localhost:6006 ### 代码示例 ``` import tensorflow as tf import tensorflow.examples.tutorials.mnist.input_data as input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) # 也能成功运行了 x_data = tf.placeholder("float32",[None,784]) # x_data = tf.placeholder("float32",[100,784]) weight = tf.Variable(tf.ones([784,10])) bias = tf.Variable(tf.ones([10])) y_model = tf.nn.softmax(tf.matmul(x_data,weight)+bias) y_data = tf.placeholder("float32",[None,10]) # y_data = tf.placeholder("float32",[100,10]) loss = tf.reduce_sum(tf.pow((y_model-y_data),2)) train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss) init = tf.initialize_all_variables() sess = tf.Session() sess.run(fetches=init) # 用来显示loss tf.summary.scalar("loss",loss) # 用来计算准确度 correct_prediction = tf.equal(tf.argmax(y_model, 1), tf.argmax(y_data, 1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float")) summary_acc = tf.summary.scalar("acc", accuracy) # 用来显示weight的训练过程 tf.summary.histogram("weight",weight) # 用来显示bias的训练过程 tf.summary.histogram("bias",bias) # 用来将所有的summary收集起来 summary_merge = tf.summary.merge_all() # 定义了一个文件读写对象，用来写入summary的probuf到文件当中 summary_writer = tf.summary.FileWriter('mnist_logs', sess.graph) for _ in range(100): batch_xs, batch_ys = mnist.train.next_batch(100) sess.run(train_step,feed_dict={x_data:batch_xs,y_data:batch_ys}) # 调用sess.run运行图，生成一步的训练过程数据 summary_trian = sess.run(summary_merge, feed_dict={x_data:mnist.test.images,y_data:mnist.test.labels}) # 调用train_writer的add_summary方法将训练过程以及训练步数保存 summary_writer.add_summary(summary_trian, _) ``` # 网上的一份不错的代码 ``` 1 import tensorflow as tf 2 import numpy as np 3 4 ## prepare the original data 5 with tf.name_scope('data'): 6 x_data = np.random.rand(100).astype(np.float32) 7 y_data = 0.3*x_data+0.1 8 ##creat parameters 9 with tf.name_scope('parameters'): 10 with tf.name_scope('weights'): 11 weight = tf.Variable(tf.random_uniform([1],-1.0,1.0)) 12 tf.summary.histogram('weight',weight) 13 with tf.name_scope('biases'): 14 bias = tf.Variable(tf.zeros([1])) 15 tf.summary.histogram('bias',bias) 16 ##get y_prediction 17 with tf.name_scope('y_prediction'): 18 y_prediction = weight*x_data+bias 19 ##compute the loss 20 with tf.name_scope('loss'): 21 loss = tf.reduce_mean(tf.square(y_data-y_prediction)) 22 tf.summary.scalar('loss',loss) 23 ##creat optimizer 24 optimizer = tf.train.GradientDescentOptimizer(0.5) 25 #creat train ,minimize the loss 26 with tf.name_scope('train'): 27 train = optimizer.minimize(loss) 28 #creat init 29 with tf.name_scope('init'): 30 init = tf.global_variables_initializer() 31 ##creat a Session 32 sess = tf.Session() 33 #merged 34 merged = tf.summary.merge_all() 35 ##initialize 36 writer = tf.summary.FileWriter("logs/", sess.graph) 37 sess.run(init) 38 ## Loop 39 for step in range(101): 40 sess.run(train) 41 rs=sess.run(merged) 42 writer.add_summary(rs, step) ```