CN113570056A - 容错神经网络结构的优化方法、系统、介质及电子设备 - Google Patents

容错神经网络结构的优化方法、系统、介质及电子设备 Download PDF

Info

Publication number
CN113570056A
CN113570056A CN202110699334.2A CN202110699334A CN113570056A CN 113570056 A CN113570056 A CN 113570056A CN 202110699334 A CN202110699334 A CN 202110699334A CN 113570056 A CN113570056 A CN 113570056A
Authority
CN
China
Prior art keywords
neural network
network model
parameters
training
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110699334.2A
Other languages
English (en)
Inventor
叶南阳
方志成
梅竞标
梁晓峣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiao Tong University
Original Assignee
Shanghai Jiao Tong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiao Tong University filed Critical Shanghai Jiao Tong University
Priority to CN202110699334.2A priority Critical patent/CN113570056A/zh
Publication of CN113570056A publication Critical patent/CN113570056A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供一种容错神经网络结构的优化方法、系统、介质及电子设备,所述方法包括:S1,训练初始的神经网络模型,得到所述神经网络模型的量化指标;S2,评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图;S3,初始化调优参数;S4,基于所述调优参数训练所述神经网络模型,并评估所述神经网络模型在预设权重偏移下的量化指标;S5,基于评估的所述量化指标调节所述调优参数;S6,重复执行S4和S5,获取最大量化指标对应的神经网络模型,并将该神经网络模型作为最佳神经网络模型。本发明所实现的针对容错神经网络的优化方法,借助自动调整参数,可以提高神经网络在权重偏移下的鲁棒性。

Description

容错神经网络结构的优化方法、系统、介质及电子设备
技术领域
本发明涉及深度学习技术领域,特别是涉及神经网络技术领域。
背景技术
深度学习在图像分类、目标检测、自然语言处理、自动驾驶等各个领域都取得了突破性进展。为了将深度学习算法应用于物联网等资源有限的场景,大量研究将深度学习算法集成到DNN加速器(如FPGA和ASIC)中。但这些方法存在一些缺陷:一方面,数字电路为了区分两种状态,需要足够高的触发电压,这会产生较高的能耗;另一方面,与人脑神经元同时具有计算和存储能力这一特性不同,在这些方法中,为了更新DNN,信息需要在计算单元和内存之间反复传输。
为了解决这个问题,提出了用存算一体的模拟电路来进行深度学习方法。其中以忆阻器(ReRAM)系统为例,DNN的一个普通操作(如内积)可以通过模拟计算有效实现,而无需将数据从内存移动到计算单元。这使ReRAM的行为与其他DNN加速器相比更类似于人脑。然而,ReRAM不能很好地兼容现有的为确定性电路行为设计的深度学习范式。由于ReRAM的模拟特性,其稳定性在很大程度上受到热噪声、电噪声、工艺变化和编程错误的影响。以忆阻器单元的忆阻度表示的DNN的权重很容易被扭曲,这在很大程度上危及了ReRAM深度学习系统的实用性。
为了减轻忆阻失真的负面影响,已有几种方法被提出,而其中大多数是以额外的硬件成本为代价的。例如,Liu等在2017年Design Automation Conference发表的Rescuingmemristor-based neuromorphic design with high defects(基于忆阻器的高缺陷神经形态设计抢救)中首先阐明了神经网络权值的重要性,然后对被扭曲的重要权值进行了微调。Chen等在2017年Proceedings of the Conference on Design,Automation&Test inEurope发表的Accelerator-friendly neural-network training:learning variationsand defects in RRAM Crossbar(加速器友好型神经网络训练:学习RRAM Crossbar中的变体与缺陷)中提出了一种在对每个ReRAM设备进行诊断后将DNN重新写入ReRAM的方法。虽然已经观察到了改进,但这些方法忽略了编程错误和权重漂移等因素,且对于大规模生产ReRAM设备来说是不可扩展的。最近,Liu等在2019 56th ACM/IEEE Design AutomationConference发表的A faulttolerant neural network architecture(一种容错神经网络结构)中用一种新的DNN结构来缓解这个问题,通过替代常用Softmax层的纠错码方案来输出图像分类任务的预测。虽然该方法不需要每次重新训练DNN,但前一层的权值漂移所引起的误差会传播到后一层,导致最后一层产生码的错误纠缠度很高。此外,针对图像分类任务设计的纠错方案不能在对于自动驾驶来说至关重要的目标检测任务中实现。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种容错神经网络结构的优化方法、系统、介质及电子设备,用于提高神经网络在权重偏移下的鲁棒性。
为实现上述目的及其他相关目的,本发明提供一种容错神经网络结构的优化方法,包括:S1,训练初始的神经网络模型,得到所述神经网络模型的量化指标;S2,评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图;S3,初始化调优参数;S4,基于所述调优参数训练所述神经网络模型,并评估所述神经网络模型在预设权重偏移下的量化指标;S5,基于评估的所述量化指标调节所述调优参数;S6,重复执行S4和S5,获取最大量化指标对应的神经网络模型,并将该神经网络模型作为最佳神经网络模型。
于本发明的一实施例中,所述训练初始的神经网络模型,得到所述神经网络模型的量化指标包括:获取用于训练初始的神经网络模型的测试集;配置用于训练初始的神经网络模型的轮次、学习率、动量、梯度衰减中的一个或多个参数;基于所述测试集和配置的所述参数训练初始的神经网络模型,得到所述神经网络模型的量化指标。
于本发明的一实施例中,所述评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图包括:S21,对所述初始的神经网络模型的所有参数添加达到权重偏移的效果的分布的噪声;S22,基于所述测试集对所述初始的神经网络模型进行评估,得到所述神经网络模型的量化指标;S23,调整所有参数中的一个分布的参数,并重复S21至S23,得到所述神经网络模型的多个量化指标;S24,基于所述神经网络模型的多个量化指标生成随参数变化的第一评估结果曲线图。
于本发明的一实施例中,所述初始化调优参数包括:用于决定是否需要添加分布的第一调优参数和用于决定是否添加的概率的第二调优参数。
于本发明的一实施例中,所述基于所述调优参数训练所述神经网络模型,并评估所述神经网络模型在预设权重偏移下的量化指标包括:配置用于训练所述神经网络模型的轮次、学习率、动量、梯度衰减中的一个或多个参数;基于所述测试集和配置的所述参数训练所述神经网络模型,得到所述神经网络模型的量化指标;配置噪声参数,将配置的所述噪声参数作为预设权重偏移,并计算获取所述神经网络模型在所述预设权重偏移的量化指标。
于本发明的一实施例中,还包括:S71,对所述最佳神经网络模型的所有参数添加达到权重偏移的效果的分布的噪声;S72,基于所述测试集对所述最佳神经网络模型进行评估,得到所述最佳神经网络模型的量化指标;S73,调整所述最佳神经网络模型的所有参数中的一个分布的参数,并重复S71至S73,得到所述最佳神经网络模型的多个量化指标;S74,基于所述最佳神经网络模型的多个量化指标生成随参数变化的第二评估结果曲线图。
于本发明的一实施例中,还包括将所述第一评估结果曲线图和所述第二评估结果曲线图进行对比分析。
本发明还提供一种容错神经网络结构的优化系统,包括:初始训练模块,用于训练初始的神经网络模型,得到所述神经网络模型的量化指标,评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图,并初始化调优参数;调节模块,基于所述调优参数训练所述神经网络模型,评估所述神经网络模型在预设权重偏移下的量化指标,并基于评估的所述量化指标调节所述调优参数;最佳模型获取模块,基于不同调优参数获取不同的量化指标,并将最大量化指标对应的神经网络模型作为最佳神经网络模型。
为实现上述目的及其他相关目的,本发明还提供一种存储介质,存储有程序指令,其中,所述程序指令被执行时实现如上所述的容错神经网络结构的优化方法的步骤。
为实现上述目的及其他相关目的,本发明还提供一种电子设备,包括存储器,用于存储计算机程序;处理器,用于运行所述计算机程序以实现如上所述的容错神经网络结构的优化方法的步骤。
如上所述,本发明的容错神经网络结构的优化方法、系统、介质及电子设备具有以下有益效果:
1、本发明所实现的针对容错神经网络的优化方法,借助自动调整参数,可以提高神经网络在权重偏移下的鲁棒性。
2、本发明对各种模型具有较好的适用性,在交通标志、图像分类和物体检测上可将鲁棒性提高10倍到100倍。
3、本发明所需的计算成本较小,工程设计架构简单。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1显示为本申请一实施例中的容错神经网络结构的优化方法的整体流程示意图。
图2显示为本申请一实施例中的容错神经网络结构的优化方法中具体执行过程示意图。
图3显示为本申请一实施例中的容错神经网络结构的优化方法中得到第一评估结果曲线图的流程示意图。
图4显示为本申请一实施例中的容错神经网络结构的优化方法中得到第二评估结果曲线图的流程示意图。
图5显示为本申请一实施例中的容错神经网络结构的优化方法应用在交通标志分类,数据集为GTSRB的测试结果。
图6显示为本申请一实施例中的容错神经网络结构的优化系统的原理结构示意图。
图7显示为本申请一实施例中的电子设备的原理框图。
元件标号说明
100 容错神经网络结构的优化系统
110 初始训练模块
120 调节模块
130 最佳模型获取模块
101 电子设备
1001 处理器
1002 存储器
S1~S6 步骤
S21~S24 步骤
S71~S74 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
本实施例的目的在于提供一种容错神经网络结构的优化方法、系统、介质及电子设备,用于提高神经网络在权重偏移下的鲁棒性,本实施例的一种容错神经网络结构的优化方法与模拟神经网络的硬件实现无关,在神经网络训练算法层面提高神经网络的鲁棒性。
以下将详细阐述本发明的容错神经网络结构的优化方法、系统、介质及电子设备的原理及实施方式,使本领域技术人员不需要创造性劳动即可理解本发明的容错神经网络结构的优化方法、系统、介质及电子设备。
实施例1
具体地,如图1所示,本实施例提供一种容错神经网络结构的优化方法,所述容错神经网络结构的优化方法包括:
步骤S1,训练初始的神经网络模型,得到所述神经网络模型的量化指标;
步骤S2,评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图;
步骤S3,初始化调优参数;
步骤S4,基于所述调优参数训练所述神经网络模型,并评估所述神经网络模型在预设权重偏移下的量化指标;
步骤S5,基于评估的所述量化指标调节所述调优参数;
步骤S6,重复执行S4和S5,获取最大量化指标对应的神经网络模型,并将该神经网络模型作为最佳神经网络模型。
以下结合图2对本实施例的容错神经网络结构的优化方法的步骤S1至步骤S6进行详细说明。
步骤S1,训练初始的神经网络模型,得到所述神经网络模型的量化指标。
于本实施例中,所述训练初始的神经网络模型,得到所述神经网络模型的量化指标包括:
1)获取用于训练初始的神经网络模型的测试集;
2)配置用于训练初始的神经网络模型的轮次、学习率、动量、梯度衰减中的一个或多个参数;
3)基于所述测试集和配置的所述参数训练初始的神经网络模型,得到所述神经网络模型的量化指标。
即本实施例中,对原始模型进行训练,划分数据集,并且设定训练的轮次、学习率、动量、梯度衰减等参数,训练并得到模型的量化指标。
步骤S2,评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图。
具体地,于本实施例中,如图3所示,所述评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图包括:
S21,对所述初始的神经网络模型的所有参数添加达到权重偏移的效果的分布的噪声;
S22,基于所述测试集对所述初始的神经网络模型进行评估,得到所述神经网络模型的量化指标;
S23,调整所有参数中的一个分布的参数,并重复S21至S23,得到所述神经网络模型的多个量化指标;
S24,基于所述神经网络模型的多个量化指标生成随参数变化的第一评估结果曲线图。
即本实施例中,对原始模型做权重偏移的评估。对模型的所有参数,添加某种分布的噪声,以达到权重偏移的效果,将模型置于测试集上评估,然后例如从0到一定范围内改变某种分布的参数值,重复测试得到模型在不同噪声下的量化指标,将所得的量化结果绘制成一张随参数变化的曲线图。
步骤S3,初始化调优参数。
于本实施例中,所述初始化调优参数包括:用于决定是否需要添加分布的第一调优参数和用于决定是否添加的概率的第二调优参数。
即本实施例中,初始化调优参数(参数决定是否添加某种分布以及其概率)。初始化参数参数可分为两部分,一部分参数决定是否需要加某种分布,另一部分参数决定添加的概率。
步骤S4,基于所述调优参数训练所述神经网络模型,并评估所述神经网络模型在预设权重偏移下的量化指标。
具体地,于本实施例中,所述基于所述调优参数训练所述神经网络模型,并评估所述神经网络模型在预设权重偏移下的量化指标包括:
1)配置用于训练所述神经网络模型的轮次、学习率、动量、梯度衰减中的一个或多个参数;
2)基于所述测试集和配置的所述参数训练所述神经网络模型,得到所述神经网络模型的量化指标;
3)配置噪声参数,将配置的所述噪声参数作为预设权重偏移,并计算获取所述神经网络模型在所述预设权重偏移的量化指标。
即本实施例中,训练,并评估模型在一定权重偏移下的准确率(或其他量化指标)。设定训练的轮次、学习率、动量、梯度衰减等参数,训练并得到其量化指标;设定噪声的参数为一个合适值(该参数下的原始模型量化指标在最优与最差之间),并计算模型在此权重偏移的量化指标,作为每一轮的返回值。
步骤S5,基于评估的所述量化指标调节所述调优参数。
即本实施例中,所得量化指标返回给神经网络模型中的优化器,优化器自动调参。优化器收到返回之后,会据此作为先验知识,建立后验分布,从而自动调整上一步中的参数,并进入下一轮训练。
步骤S6,重复执行步骤S4和步骤S5,获取最大量化指标对应的神经网络模型,并将该神经网络模型作为最佳神经网络模型。
即循环进行步骤S4和步骤S5,记录性能最好的神经网络模型,在步骤S4和步骤S5的不断交替中,记录模型获得最大量化指标的模型结构。
此外,于本实施例中,如图4所示,所述容错神经网络结构的优化方法还包括:
S71,对所述最佳神经网络模型的所有参数添加达到权重偏移的效果的分布的噪声;
S72,基于所述测试集对所述最佳神经网络模型进行评估,得到所述最佳神经网络模型的量化指标;
S73,调整所述最佳神经网络模型的所有参数中的一个分布的参数,并重复S71至S73,得到所述最佳神经网络模型的多个量化指标;
S74,基于所述最佳神经网络模型的多个量化指标生成随参数变化的第二评估结果曲线图。
其中,于本实施例中,还包括将所述第一评估结果曲线图和所述第二评估结果曲线图进行对比分析。
即本实施例中,对最佳模型的所有参数,添加某种分布的噪声,以达到权重偏移的效果;将最佳模型置于测试集上评估;从0到一定范围内改变某种分布的参数值,重复测试得到模型在不同噪声下的量化指标,将所得的量化结果绘制成一张随参数变化的曲线图,并与先前得到的曲线比对。
图5展示的是本实施例的容错神经网络结构的优化方法应用在交通标志GTSRB数据集上,网络模型准确率随某种分布偏移的变化情况。从图5可以发现,相比于目前的方法,本专利提出的方法可以显著提高神经网络网络的鲁棒性。
实施例2
如图6所示,本实施例提供一种容错神经网络结构的优化系统100,所述容错神经网络结构的优化系统100包括:初始训练模块110,调节模块120以及最佳模型获取模块130。
于本实施例中,所述初始训练模块110用于训练初始的神经网络模型,得到所述神经网络模型的量化指标,评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图,并初始化调优参数。
于本实施例中,所述调节模块120基于所述调优参数训练所述神经网络模型,评估所述神经网络模型在预设权重偏移下的量化指标,并基于评估的所述量化指标调节所述调优参数。
于本实施例中,所述最佳模型获取模块130基于不同调优参数获取不同的量化指标,并将最大量化指标对应的神经网络模型作为最佳神经网络模型。
本实施例的容错神经网络结构的优化系统100具体实现的技术特征与前述实施例1中的桥吊与容错神经网络结构的优化方法基本相同,实施例间可以通用的技术内容不作重复赘述。
需要说明的是,应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,某一模块可以为单独设立的处理元件,也可以集成在电子终端的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述终端的存储器中,由上述终端的某一个处理元件调用并执行以上模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
实施例3
如图7所示,本实施例提供一种电子设备101,所述电子设备101包括:处理器1001及存储器1002;所述存储器1002用于存储计算机程序;所述处理器1001用于执行所述存储器1002存储的计算机程序,以使所述电子设备101执行如实施例1中容错神经网络结构的优化方法的步骤。由于容错神经网络结构的优化方法的步骤的具体实施过程已经在实施例1中进行了详细说明,在此不再赘述。
处理器1001为(Central Processing Unit,中央处理器)。存储器1002通过系统总线与处理器1001连接并完成相互间的通信,存储器1002用于存储计算机程序,处理器1001用于运行计算机程序,以使所述处理器1001执行所述的容错神经网络结构的优化方法。存储器1002可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
此外,本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器1001执行时实现实施例1中所述的容错神经网络结构的优化方法中的步骤。实施例1已经对所述容错神经网络结构的优化方法进行了详细说明,在此不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本发明所实现的针对容错神经网络的优化方法,借助自动调整参数,可以提高神经网络在权重偏移下的鲁棒性;本发明对各种模型具有较好的适用性,在交通标志、图像分类和物体检测上可将鲁棒性提高10倍到100倍;本发明所需的计算成本较小,工程设计架构简单。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种容错神经网络结构的优化方法,其特征在于:包括:
S1,训练初始的神经网络模型,得到所述神经网络模型的量化指标;
S2,评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图;
S3,初始化调优参数;
S4,基于所述调优参数训练所述神经网络模型,并评估所述神经网络模型在预设权重偏移下的量化指标;
S5,基于评估的所述量化指标调节所述调优参数;
S6,重复执行S4和S5,获取最大量化指标对应的神经网络模型,并将该神经网络模型作为最佳神经网络模型。
2.根据权利要求1所述的容错神经网络结构的优化方法,其特征在于:所述训练初始的神经网络模型,得到所述神经网络模型的量化指标包括:
获取用于训练初始的神经网络模型的测试集;
配置用于训练初始的神经网络模型的轮次、学习率、动量、梯度衰减中的一个或多个参数;
基于所述测试集和配置的所述参数训练初始的神经网络模型,得到所述神经网络模型的量化指标。
3.根据权利要求2所述的容错神经网络结构的优化方法,其特征在于:所述评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图包括:
S21,对所述初始的神经网络模型的所有参数添加达到权重偏移的效果的分布的噪声;
S22,基于所述测试集对所述初始的神经网络模型进行评估,得到所述神经网络模型的量化指标;
S23,调整所有参数中的一个分布的参数,并重复S21至S23,得到所述神经网络模型的多个量化指标;
S24,基于所述神经网络模型的多个量化指标生成随参数变化的第一评估结果曲线图。
4.根据权利要求1所述的容错神经网络结构的优化方法,其特征在于:所述初始化调优参数包括:用于决定是否需要添加分布的第一调优参数和用于决定是否添加的概率的第二调优参数。
5.根据权利要求2所述的容错神经网络结构的优化方法,其特征在于:所述基于所述调优参数训练所述神经网络模型,并评估所述神经网络模型在预设权重偏移下的量化指标包括:
配置用于训练所述神经网络模型的轮次、学习率、动量、梯度衰减中的一个或多个参数;
基于所述测试集和配置的所述参数训练所述神经网络模型,得到所述神经网络模型的量化指标;
配置噪声参数,将配置的所述噪声参数作为预设权重偏移,并计算获取所述神经网络模型在所述预设权重偏移的量化指标。
6.根据权利要求3所述的容错神经网络结构的优化方法,其特征在于:还包括:
S71,对所述最佳神经网络模型的所有参数添加达到权重偏移的效果的分布的噪声;
S72,基于所述测试集对所述最佳神经网络模型进行评估,得到所述最佳神经网络模型的量化指标;
S73,调整所述最佳神经网络模型的所有参数中的一个分布的参数,并重复S71至S73,得到所述最佳神经网络模型的多个量化指标;
S74,基于所述最佳神经网络模型的多个量化指标生成随参数变化的第二评估结果曲线图。
7.根据权利要求6所述的容错神经网络结构的优化方法,其特征在于:还包括将所述第一评估结果曲线图和所述第二评估结果曲线图进行对比分析。
8.一种容错神经网络结构的优化系统,其特征在于:包括:
初始训练模块,用于训练初始的神经网络模型,得到所述神经网络模型的量化指标,评估所述初始的神经网络模型的权重偏移,并获取对应的评估结果曲线图,并初始化调优参数;
调节模块,基于所述调优参数训练所述神经网络模型,评估所述神经网络模型在预设权重偏移下的量化指标,并基于评估的所述量化指标调节所述调优参数;
最佳模型获取模块,基于不同调优参数获取不同的量化指标,并将最大量化指标对应的神经网络模型作为最佳神经网络模型。
9.一种存储介质,存储有程序指令,其中,所述程序指令被执行时实现如权利要求1至权利要求7任一项所述的容错神经网络结构的优化方法的步骤。
10.一种电子设备,其特征在于:包括存储器,用于存储计算机程序;处理器,用于运行所述计算机程序以实现如权利要求1至权利要求7任一权利要求所述的容错神经网络结构的优化方法的步骤。
CN202110699334.2A 2021-06-23 2021-06-23 容错神经网络结构的优化方法、系统、介质及电子设备 Pending CN113570056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110699334.2A CN113570056A (zh) 2021-06-23 2021-06-23 容错神经网络结构的优化方法、系统、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110699334.2A CN113570056A (zh) 2021-06-23 2021-06-23 容错神经网络结构的优化方法、系统、介质及电子设备

Publications (1)

Publication Number Publication Date
CN113570056A true CN113570056A (zh) 2021-10-29

Family

ID=78162725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110699334.2A Pending CN113570056A (zh) 2021-06-23 2021-06-23 容错神经网络结构的优化方法、系统、介质及电子设备

Country Status (1)

Country Link
CN (1) CN113570056A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119047521A (zh) * 2024-10-30 2024-11-29 济南大学 基于npu的神经网络量化评估方法、系统和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021022685A1 (zh) * 2019-08-08 2021-02-11 合肥图鸭信息科技有限公司 一种神经网络训练方法、装置及终端设备
CN112580807A (zh) * 2020-12-29 2021-03-30 中国科学院空天信息创新研究院 一种基于效能评估的神经网络改进需求自动生成方法及装置
WO2021073152A1 (zh) * 2019-10-14 2021-04-22 平安科技(深圳)有限公司 基于神经网络的数据标签生成方法、装置、终端及介质
CN113011575A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 神经网络模型更新方法、图像处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021022685A1 (zh) * 2019-08-08 2021-02-11 合肥图鸭信息科技有限公司 一种神经网络训练方法、装置及终端设备
WO2021073152A1 (zh) * 2019-10-14 2021-04-22 平安科技(深圳)有限公司 基于神经网络的数据标签生成方法、装置、终端及介质
CN113011575A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 神经网络模型更新方法、图像处理方法及装置
CN112580807A (zh) * 2020-12-29 2021-03-30 中国科学院空天信息创新研究院 一种基于效能评估的神经网络改进需求自动生成方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONGXIAN WU ET AL.,: ""Adversarial Weight Perturbation Helps Robust Generalization"", 《34TH CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NEURIPS 2020)》, pages 3 - 5 *
马克西姆•拉潘 著: "《深度强化学习:入门与实践指南》", 28 February 2021, 机械工业出版社, pages: 323 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119047521A (zh) * 2024-10-30 2024-11-29 济南大学 基于npu的神经网络量化评估方法、系统和介质

Similar Documents

Publication Publication Date Title
CN114387486B (zh) 基于持续学习的图像分类方法以及装置
TWI922556B (zh) 用以最佳化邊緣網路中的資源之方法、系統、非暫態電腦可讀儲存媒體及設備
CN106575377B (zh) 共同特征上的分类器更新
CN115879533B (zh) 一种基于类比学习的类增量学习方法及系统
CN112508186A (zh) 训练用于图像识别的神经网络的方法和神经网络设备
WO2019240911A1 (en) System and method for implementing a neural network
CN113609337B (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
Bajpai et al. Transfer of deep reactive policies for mdp planning
CN112086144B (zh) 分子生成方法、装置、电子设备及存储介质
CN107783998A (zh) 一种数据处理的方法以及装置
CN120522598A (zh) 基于个性化联邦迁移学习的锂离子电池健康状态估计方法
CN108171010A (zh) 基于半监督网络嵌入模型的蛋白质复合体检测方法与装置
CN108304926A (zh) 一种适用于神经网络的池化计算装置及方法
Kartashov et al. SpikeFit: Towards Optimal Deployment of Spiking Networks on Neuromorphic Hardware
CN117744805A (zh) 基于特征归因的图像分类解释及纠偏方法与系统
CN111832693B (zh) 神经网络层运算、模型训练方法、装置及设备
CN121125771A (zh) 基于图神经网络的电力通信网络关键节点识别方法
CN119578591A (zh) 模型生成方法、装置、计算机设备和存储介质
CN117077726B (zh) 一种生成存内计算神经网络模型的方法、装置及介质
CN118643887A (zh) 一种神经网络架构搜索方法、系统、装置及存储介质
Zheng et al. Variation-tolerant circuit design and online learning framework for memristor-based trace-STDP SNN
CN115392542A (zh) 一种基于aeemd和lstm的风功率预测方法及装置
Deutel et al. Recent Trends in Edge AI: Efficient Design, Training and Deployment of Machine Learning Models
CN113837441A (zh) 考虑eemd分解后重构准确性的电力负荷预测方法及系统
CN112669270A (zh) 视频质量的预测方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211029

RJ01 Rejection of invention patent application after publication