说过要做读书笔记的，说话要算话，从今天开始一天至少看一节；

神经网络的拓扑结构随着时间的变化也在不断的发生着变化，但是我们可以使用一种统一的范式进行描述，我们可以将神经网络简单的描述为神经一个有限元的集合 $N={u_1,u_2…,}$ 被称为节点或神经元和以及有限元的集合 $H\subseteq N \times N$ 被称为边，相互按照一定的方向连接组成的网络。神经网络的表现由一系列变量决定，这些变量我们称之为权重，由于神经网络是一个复杂的网络，整体分析比较麻烦，另外各个层的网络存在相似性，因此我们目前只分析单个有限元的的一次处理，并不涉及到权重的变化过程。对于 $x_t (t=1,…,T)$ 其中每一个 $x_t$ 表示某一层神经元，我们称之为event，实际上对于任意的一个 $x_t (t=1,…,T)$ 它的值的来源方式存在两种情况，直接由环境输入，或者有前一个event的生成，我们考虑由前一个event生成的情况 $event_k->event_t$ 则 $x_t = f(net_k)$ 而 $net_k$ 为生成网络，而 $f$ 称为响应函数，生成的网络可能有多种情况，如线性网络，或者乘性网络，也可能有更加复杂的多项式网络。响应函数也有多种选择。实际上在神经网络的计算过程中不管是采用哪种网络类型，随着传递的层次的增加，权重参数的数目会以指数的形式增加，由此造成参数过于复杂的情况，在此情况下发展了共享参数的神经网络，权重参数的共享极大的减少了参数的数目，降低的我网络的复杂度。另外对于监督学习的情况，一般来说都是假设判断结果和实际结果的误差最小，由误差最小的原则对神经网络的权重进行调整，由此得到最佳判别的神经网络，另外监督学习的网络认为输入的event与上一次的event是相互独立的。这个假设在序列决策和增强学习中存在着问题，针对此问题发展了增强学习的方法，增强学习的方法假设下一次的evnet能够回推到输入的event，而权重的调整目标在于使得经过计算后的event能够最好的恢复输入数据。

今天的学习就记录到这里了，文章的开始主要是对深度神经网络进行了概述，阐述了神经网络的形式和特点以及不同的学习方式和不同学习方式的不同特点。