计算梯度的三种方法： 数值法，解析法，反向传播法

# coding=gbk

"""

function : f(x,y,z) = (x+y)z

"""

# first method 解析法

def grad1(x,y,z):

dx = z

dy = z

dz = (x+y)

return (dx,dy,dz)

# second method 数值法

def grad2(x,y,z,epi):

# dx

fx1 = (x+epi+y)*z

fx2 = (x-epi+y)*z

dx = (fx1-fx2)/(2*epi)

# dy

fy1 = (x+y+epi)*z

fy2 = (x+y-epi)*z

dy = (fy1-fy2)/(2*epi)

# dz

fz1 = (x+y)*(z+epi)

fz2 = (x+y)*(z-epi)

dz = (fz1-fz2)/(2*epi)

return (dx,dy,dz)

# third method 反向传播法

def grad3(x,y,z):

# forward

p = x+y;

f = p*z;

# backward

dp = z

dz = p

dx = 1 * dp

dy = 1 * dp

return (dx,dy,dz)

print (": %.2f %.2f %.2f"%(grad1(1,2,3)))

print (": %.2f %.2f %.2f"%(grad2(1,2,3,1e-5)))

print (": %.2f %.2f %.2f"%(grad3(1,2,3)))

三种方法的区别：

数值法，通过对自变量的微小变动，来计算其导数；

解析法，计算出导数的表达式；

梯度下降法，已知当前的导数表达式，并计算出当前的导数；

提问1：为何要用梯度下降法，而不是直接使用解析表达式，使其为0？

答：得到解析表达式很容易，使得导数为0 ，这就变成了一个方程式求解问题，计算机并不擅长，而且非常复杂，计算量大，且不好计算，而且会出现无解；而使用梯度下降法，就非常简单，而且计算机是非常擅长优化的；

提问2：为何不使用数值分析法？

答：在参数比较少的情况下，可以使用，但参数极多的情况下，计算量就非常大的；运行效率极差；

提问3：数值分析法有神经网络训练中是否有其地位呢？

答：当自己写梯度计算时，可以用来检验