摘要:本文设计了一种改进的可迁移深度学习模型。该模型在脱离可靠的教学环境(包括标签)并放置在纯无标签数据区域时,输出将继续得到改善,从而减少对监督学习的依赖。

关键词:可迁移;没有深度学习标签

*基金项目:湖南省教育厅科研课题《基于深度学习的智能无人机目标检测算法研究》(20c 0105);

湖南自然科学基金项目《基于高光谱特征信息融合的油菜籽品质参数反演与建模》(2021 JJ 60093);

学校水平培养项目“基于深度学习的目标检测算法研究”(22mypy15)

1引言

随着深度学习的发展,深度卷积神经网络在图像识别方面取得了重大突破,基于深度学习的图像识别方法避免了传统图像处理中最耗时的特征提取部分。设计师只需要专注于网络结构的设计,网络自动提取的特征越高,图像分类的准确度越高。但是,上述分类模型的培训都需要使用大量的标签图像样本作为培训集,模型的性能在很大程度上取决于标签图像数据集的质量和规模,手动标记大量图像数据集的成本较高[1];面对网络上出现的大量图像,图像标签的难度大大增加。为了提高数据分析的准确性,深度学习技术的应用需要大量计算。由于模型结构越来越复杂,计算量呈指数增长,如何优化深度学习的神经网络模型是需要解决的问题。

2基于弱监督的可移动深度学习模型设计

和控制算法一样,监控的深度学习算法[3]通过目标函数利用反馈。这个大象函数的输出是输入(或“控制信号”),提供对反向传播的自我修正。戴尔解决的主要问题是找到深度学习算法的方法。该算法可以进入带标签的可靠培训环境,在遇到没有纯标签的数据区域时不断改进输出。在这种环境下,机器要减少对监督的依赖。因此,我们设计了基于弱监督的可移动学习模型。这个模型是将预先训练的模型用于其他学习任务的过程(可能会有所不同)。

不相关的领域)。这将大大减少在新数据集上完全训练模型所需的计算时间和数据。预训练网络的不同子层可以重新应用于不同的数据集,在这里可以再次接受训练。在重新训练过程中,可以微调预训练模型的最后一层以适应新数据集。

基于弱监督的可移动学习模型的核心在于数据导入和神经网络中的循环方法。为培训收集高质量和足够的实际数据集既具有挑战性又费时。这个学习模型需要相对较小的数据集来减轻这种负担,并有效地使用该数据集来改进模型。基于弱监督可移动深度学习模型的数据流图如图1所示。

image.png

对于复杂数据集或具有类似数据的数据集,基于弱监督的可迁移学习是初始化神经网络的有效方法,为提高初始精度提供了更大的机会。初始生成的第0代数据集可以由标记的小数据点组成。机器读取的原始未标记数据被划分为大小合适的可用处理模块,以满足可用处理能力。然后,假设每组相似的数据集都是有效数据,并分批发送到神经网络。直观地说,原始的、无标签的数据由神经网络处理,用于确定每个数据点的标签。显示此新数据后,符合预定义标签的数据点将与第零代数据合并。然后,模型在下一代数据集上进行培训。这种数据融合对模型的整体改进能力至关重要,测试结果优于不分青红皂白地处理所有未标注尺寸的数据。创建下一代数据集后,将再次流式传输,将模型重新调整为更大、更准确、更强大的标签数据集。此过程将重复,以便您可以改进模型和增加数据集。可迁移学习模型使用卷积神经网络(CNN)。

CNN很简单。每个卷积层都由两个卷积层组成,它们将重新激活。卷积层后面是22的最大游泳池层,反之,反馈到完全连接的重新激活的层,并指定softmax分类器。

为了加快代码速度,避免用可能的错误预测稀释培训集,模型将预测每批数据的标签,并在由零代数据和新预测的数据合成的培训集中进行培训。附加预测存储在先进先出(FIFO)队列数据结构中。这样,模型对以前样品的记忆和训练将至少保持几次迭代,直到出现新的布局。同时,预设的第0代数据是永久性的,每个迭代代码一起训练第0代和队列的内容。学习周期的另一个核心是不确定性的抽样。在FIFO队列中预测的上一个培训数据添加到第0代之前,代码将检查每个样本的前两个标签的概率。样品的前两个标记概率相同或在一定范围内。

这个样品将在零代前从训练集中提取。在这种情况下,附加布局较小。提取后留下的空白没有用新数据重新填充。因此,该模型避免了对不确定预测的训练。实践证明,这可以提高平均和最大训练精度。基于弱监督的可移动深度学习的算法如图2所示。

1666688221827605.png

图2基于弱监督的可移动深度学习算法

3实验测试

MNIST数据集是LeCun等人开发的,是评估手写数字分类问题的机器学习模型[4]。该数据集是根据国家标准和技术研究院(NIST)提供的部分扫描文件数据集构建的。数字的图像来自各种扫描文件,大小标准化并居中。这套数据集被研究人员广泛使用,因此可以明确衡量性能。这将成为评价模型的优秀数据集,使开发者能够集中精力学习机器[5]。数据集的每张照片都是2828像素的正方形。一组标准分割数据集用于评估和比较模型。其中10000张照片用于训练一个模特,另外5000张照片用于测试。

1666688473641452.png

图3加载MNIST数据集的示例图像

基于弱监督的可移动学习模型测试从加载MNIST

数据集开始。数据分为两类:小于5的数字(L5)和大于或等于5的数字(G5)。L5数据集,用于训练前模型的权重;然后,这些权重将移动到模型中,并继续学习如何标记G5数字。迁移基于L5的权重后,代码首次将模型导入到较小的G5数据中。将该初始数据的规模定为约200个是制作模型对

G5数字需要必要的认识和理解的最小数量。这个模型在这些数字的原始准确的标签上训练。这是300个

由样本组成的原始数据集与其标签一起称为“零层代”。这是持续学习的开始。一旦对模型中的数据集有了理解,代码将进入循环,该循环将处理没有标签的原始数据放置。模型预测每批数据的标签,并在由零代样本和新推测的样本组成的联合训练集中进行训练。学习周期的下一次迭代将以下G5数据添加到此培训集中:小的初始数据集可以在整个执行过程中训练。到目前为止,改进的最大迁移学习方法使用了35代,初始0代大小为100章,后一代的数据子集为400章。CIFAR-10同时使用此算法

数据集的培训,图4显示了两组数据集的培训准确性。

1666688501748048.png

图4基于弱监督的可移动学习模型测试精度图

如图4所示,每一代早期模型的测试精度从以下几个方面开始

虽然是56.70%,但经过35代迁移学习后,模型的准确度提高到了92.5%。而且,CIFAR-10数据集的精度也从最初的49%提高到了91.2%。实验证明,利用小的初始数据集,可以创建一个随着时间的推移不断改进和学习的模型。

4结论

本文的研究表明,对于相对较小、初始标记的图像数据集,可以使用改进的弱监督可迁移学习模型。此模型可以通过未标记的图像来改进自己,并节省初始数据集的培训时间。该模型最初精度相对较低,只能在更多未标记的数据集上进行改进,因此在模型有时间进行改进之前,必须能够处理不合格的标签数据。

参考文献:

[1]珠江。图像分类的迁移学习算法研究[D]。北京:北京邮电大学,2021年。

[2]魏文毅。基于深度学习的无人机目标识别方法研究[D]。南京:南京航空航天大学,2019年。

[3] Weiss k、khoshgoftaar t m、Wang D. a survey of transfer

Learning [j]。journal of big data,2016、3 (1): 1-40。

[4] zhaor、Yan rq、Chen z h、et al. deep learning and its

applications to machine health monitoring[j]。me chani-cal

Systems and signal processing,2019 (115): 213-237。

[5]部门例子。基于MNIST数据集的参数优化算法比较研究[J]。电子技术和软件工程. 2021 (11): 187-188。

(注:本文转载于《电子产品世界》杂志2022年10月刊)

-改进的可移动深度学习模型*

发表回复

Please sing in to post your comment or singup if you don't have account.