利用可变结构自动机优化循环神经网络

DOI:

EDN:

评审日期

出版日期

注解: 本研究的主题是确定循环神经网络和随机自动机固有的一组常见结构属性，其特征是动态环境中的有目的行为。
与此同时，属性的必要共性在其功能的过程中以及在其训练（调整）的过程中都被揭示出来。
作者详细考虑了该主题的这些方面：有目的行为的形式化，对自动机设计的考虑，提供这种行为，以及对所考虑的自动机设计的比较分析。从揭示的功能的共性和建立的一个完全连接的循环神经网络的神经元和具有可变结构的概率自动机的状态的一对一对应关系，可以认为调谐随机自动机的结构可以作为一组循环神经网络连接的参考。 即使在设置阶段，这也会导致基于相应自动机的参数去除冗余状态（神经元）和它们之间的连接。所进行的研究的方法是在完全连接的循环神经网络的神经元和具有可变结构的自动机的内部状态之间建立一对一的对应关系，以及在调谐过程之后相关的它们之间的转换概率。 通过一对一的对应关系，自动机转换的概率对应于最优配置神经元之间连接的权重。 该研究的主要结论：
1。 将循环神经网络和具有可变结构的自动机的结构进行比较，可以利用具有可变结构的自动机来解决动态环境中适当行为的问题，并在此基础上构建循环 循环神经网络的内部结构与具有可变结构的自动机的对应关系允许已经在训练阶段将训练的循环神经网络从其结构中的冗余神经元和冗余连接中释 由于具有可变结构的自动机以学习率的非线性值接近这些条件的线性策略的最优自动机的事实，这允许对最终循环神经网络的结构进行逻辑分析。

出版日期: