Tensorflow和预训练模型如何用于微调?
Tensorflow是Google提供的一种机器学习框架。它是一个开放源代码框架,可与Python结合使用,以实现算法,深度学习应用程序等等。它用于研究和生产目的。
可以使用下面的代码行在Windows上安装'tensorflow'软件包-
pip install tensorflow
Tensor是TensorFlow中使用的数据结构。它有助于连接流程图中的边缘。该流程图称为“数据流程图”。张量不过是多维数组或列表。
Keras在希腊语中的意思是“号角”。Keras被开发为ONEIROS(开放式神经电子智能机器人操作系统)项目研究的一部分。Keras是使用Python编写的深度学习API。它是一个高级API,具有可帮助解决机器学习问题的高效接口。
它在Tensorflow框架之上运行。它旨在帮助快速进行实验。它提供了在开发和封装机器学习解决方案中必不可少的基本抽象和构建块。
它具有高度的可扩展性,并具有跨平台功能。这意味着Keras可以在TPU或GPU集群上运行。Keras模型也可以导出为在Web浏览器或手机中运行。
Keras已经存在于Tensorflow软件包中。可以使用下面的代码行进行访问。
import tensorflow from tensorflow import keras
我们将使用KerasSequentialAPI,它有助于构建用于与简单的层堆栈配合使用的顺序模型,其中每一层都具有一个输入张量和一个输出张量。
包含至少一层的神经网络称为卷积层。卷积神经网络通常由以下提到的层的某种组合组成-
卷积层
汇聚层
致密层
卷积神经网络已用于为特定类型的问题(例如图像识别)产生出色的结果。
我们正在使用Google合作实验室来运行以下代码。GoogleColab或Colaboratory可以帮助通过浏览器运行Python代码,并且需要零配置和对GPU(图形处理单元)的免费访问。合作已建立在JupyterNotebook的基础上。
我们将了解如何借助来自预训练网络的转移学习对猫和狗的图像进行分类。
预先训练的模型是一个保存的网络,该网络先前会在大型数据集上进行训练。这个大数据集将是大规模的图像分类任务。可以按需使用预训练的模型,也可以根据需求和模型对它进行定制,并进行迁移学习。
用于图像分类的转移学习背后的直觉是,如果在大型通用数据集上训练模型,则该模型可以有效地用作视觉世界的通用模型。它将学习到功能图,这意味着用户不必通过在大型数据集上训练大型模型而从头开始。
定制模型可以通过两种方式进行预训练-
特征提取:以前的网络学习到的表示可用于从新样本中提取有意义的特征。可以添加一个新分类器,该分类器将从头开始进行训练,该分类器将位于预训练模型的顶部。这可用于重新调整先前为数据集学习的特征图的用途。
整个模型不需要重新训练。基本卷积网络将已经具有通常用于对图片进行分类的功能。
但是预训练模型的最终分类部分是针对原始分类任务的。这意味着它特定于训练模型的一组课程。
微调-取消冻结已冻结模型基础的某些顶层,并将新添加的分类器层以及基础模型的最后层一起训练。这将允许用户“微调”基本模型中的高阶特征表示。这有助于使模型与特定任务更加相关。
示例
base_model.trainable = True print("基本模型中的层数为: ", len(base_model.layers)) print("Fine tuning begins") fine_tune_at = 100 print("Layers are frozen before 'fine_tune_at' layer") for layer in base_model.layers[:fine_tune_at]: layer.trainable = False
代码信用-https://www.tensorflow.org/tutorials/images/transfer_learning
输出结果
基本模型中的层数为: 154 Fine tuning begins Layers are frozen before 'fine_tune_at' layer
解释
一种提高性能的方法是对预训练模型顶层的权重进行微调/训练,以及对添加的分类器的训练。
训练过程将迫使权重从通用特征图调整为与该特定数据集相关联的特征。
必须微调少量顶层,而不是整个MobileNet模型。
微调的目的是适应特殊功能,以便可以将其用于新数据集,而不是覆盖常规学习。
base_model需要解冻,底层必须设置为不可训练。
重新编译该模型,必须重新进行培训。