所谓数值微分，其实说白了就是求导，求导有直接求导和求偏导，在神经网络中用到的一般都是求偏导，从而得到每一个权值的误差。这次准备用Python来研究一波数值微分。直接求导具体求导公式，学过高数应该知道有一个叫“向前差分”的玩意儿，他的公式长这样：然而在Python中其实并不好实现，因为在这个定义中，向前差分的步长越小越好，但是在Pyhton中小数点并不会保留那么多。所以在小到一定程度的时候就变成了0

- 阅读全文 -