反向傳播的目的是計(jì)算成本函數(shù)C對(duì)網(wǎng)絡(luò)中任意w或b的偏導(dǎo)數(shù)。一旦我們有了這些偏導(dǎo)數(shù)，我們將通過一些常數(shù) α的乘積和該數(shù)量相對(duì)于成本函數(shù)的偏導(dǎo)數(shù)來更新網(wǎng)絡(luò)中的權(quán)重和偏差。這是流行的梯度下降算法。而偏導(dǎo)數(shù)給出了最大上升的方向。因此，關(guān)于反向傳播算法，我們繼續(xù)查看下文。

　　我們向相反的方向邁出了一小步——最大下降的方向，也就是將我們帶到成本函數(shù)的局部最小值的方向。

　　反向傳播算法中Sigmoid函數(shù)代碼演示：

　　1

　　2

　　3

　　4

　　5

　　# 實(shí)現(xiàn) sigmoid 函數(shù)

　　return 1 / (1 + np.exp(-x))

　　def sigmoid_derivative(x):

　　# sigmoid 導(dǎo)數(shù)的計(jì)算

　　return sigmoid(x)*(1-sigmoid(x))

　　反向傳播算法中ReLU 函數(shù)導(dǎo)數(shù)函數(shù)代碼演示：

　　1

　　2

　　3

　　4

　　5

　　def relu_derivative(x): # ReLU 函數(shù)的導(dǎo)數(shù)

　　d = np.array(x, copy=True) # 用于保存梯度的張量

　　d[x < 0] = 0 # 元素為負(fù)的導(dǎo)數(shù)為 0

　　d[x >= 0] = 1 # 元素為正的導(dǎo)數(shù)為 1

　　return d

　　以上內(nèi)容，相信可以讓我們更好地了解了反向傳播的實(shí)際效果。既然現(xiàn)在我們已經(jīng)了解了反向傳播實(shí)際上在做什么，那就進(jìn)行實(shí)際的應(yīng)用吧~