偏差
偏差度量了网络的训练集误差和贝叶斯误差（即能达到的最优误差）的差距。高偏差的网络有很高的训练集误差，说明网络对数据中隐含的一般规律还没有学好。
当网络处于高偏差时，通常有以下几种解决方案。
- 训练更大的网络 。网络越大，对数据潜在规律的拟合能力越强。
- 更多的训练轮数 。通常训练时间越久，对训练集的拟合能力越强。
- 改变网络结构 。不同的网络结构对训练集的拟合能力有所不同。
方差
方差度量了网络的验证集误差和训练集误差的差距。高方差的网络学习能力太强，把训练集中自身独有的一些特点也当作一般规律学得，使网络不能很好的泛化（generalize）到验证集。当网络处于高方差时，通常有以下几种解决方案。
- 更多的数据 。这是对高方差问题最行之有效的解决方案。
- 正则化 。
- 改变网络结构 。不同的网络结构对方差也会有影响。