scikit-learn 神經(jīng)網(wǎng)絡(luò)模型（無(wú)監(jiān)督）

2.9.1. 受限波爾茲曼機(jī)

受限玻爾茲曼機(jī)(RBM)是一種基于概率模型的無(wú)監(jiān)督非線性特征學(xué)習(xí)器。當(dāng)饋入線性分類器（如線性支持向量機(jī)或感知機(jī)）時(shí)，用 RBM 或多層次結(jié)構(gòu)的RBM提取的特征時(shí)通常會(huì)獲得良好的結(jié)果。

該模型對(duì)輸入的分布做出假設(shè)。目前，scikit-learn 只提供了 BernoulliRBM，它假定輸入是二值的，或是 0 到 1 之間的值，每個(gè)值都編碼了特定特征被激活的可能性。

RBM嘗試使用特定的圖形模型來(lái)最大化數(shù)據(jù)的可似然。所使用的參數(shù)學(xué)習(xí)算法（隨機(jī)最大似然）可防止特征偏離輸入數(shù)據(jù)，從而使它們捕獲到特征有趣的規(guī)律性，但使模型對(duì)小型數(shù)據(jù)集的用處不大，通常不適用于密度估計(jì)。

該方法以初始化具有獨(dú)立RBM權(quán)重的深度神經(jīng)網(wǎng)絡(luò)而廣受歡迎。這種方法稱為無(wú)監(jiān)督預(yù)訓(xùn)練。

示例：

• [Restricted Boltzmann Machine features for digit classification](

2.9.1.1. 圖形模型和參數(shù)化

RBM 的圖形模型是一個(gè)全連接的二分圖。

節(jié)點(diǎn)是隨機(jī)變量，其狀態(tài)取決于它們連接到的其他節(jié)點(diǎn)的狀態(tài)。因此，通過連接的權(quán)重以及每個(gè)可見和隱藏單元的一個(gè)偏置項(xiàng)（截距）對(duì)模型進(jìn)行參數(shù)化，為簡(jiǎn)單起見，圖像中將其省略。

用能量函數(shù)衡量聯(lián)合概率分布的質(zhì)量：

在上面的公式中 b 和 c分別是可見層和隱藏層的截距向量。該模型的聯(lián)合概率是根據(jù)能量定義的：

“限制”是指模型的二分圖結(jié)構(gòu)，它禁止隱藏單元或可見單元之間的直接交互。這意味著假定以下條件獨(dú)立：

二分圖結(jié)構(gòu)允許使用高效的塊Gibbs采樣進(jìn)行推斷。

2.9.1.2. 伯努利受限玻爾茲曼機(jī)

在 BernoulliRBM 中，所有單位都是二進(jìn)制隨機(jī)單元。這意味著輸入的數(shù)據(jù)應(yīng)該是二值，或者是介于 0 和 1 之間的實(shí)數(shù)值，其表示可見單元將打開或關(guān)閉的可能性。這對(duì)于字符識(shí)別是一個(gè)很好的模型，因?yàn)槲覀兏信d趣的是哪些像素處于活動(dòng)狀態(tài)，哪些像素未處于活動(dòng)狀態(tài)。 對(duì)于自然場(chǎng)景的圖像，由于背景、深度和相鄰像素趨向于取相同的值，它不再適合。

每個(gè)單位的條件概率分布由其接收的輸入的 logistic sigmoid函數(shù)給出：

其中 是 logistic sigmoid函數(shù)：

2.9.1.3. 隨機(jī)最大似然學(xué)習(xí)

在 BernoulliRBM 函數(shù)中實(shí)現(xiàn)的訓(xùn)練算法被稱為隨機(jī)最大似然（SML）或持續(xù)對(duì)比發(fā)散（PCD）。由于數(shù)據(jù)的似然函數(shù)的形式，直接優(yōu)化最大似然是不可行的：

為簡(jiǎn)單起見，上面的公式是針對(duì)單個(gè)訓(xùn)練樣本編寫的相對(duì)于權(quán)重的梯度由與上述相對(duì)應(yīng)的兩項(xiàng)構(gòu)成。對(duì)應(yīng)它們各自的符號(hào)，通常被稱為正梯度和負(fù)梯度。在該實(shí)施方式中，梯度是在樣本的小批量上估計(jì)的。

在最大化對(duì)數(shù)似然度的過程中，正梯度使得模型更傾向于與觀測(cè)到的訓(xùn)練數(shù)據(jù)相容的隱藏狀態(tài)。由于RBMs 的二分體結(jié)構(gòu)可以使它被高效地計(jì)算。然而，負(fù)梯度是棘手的。它的目標(biāo)是降低模型偏好的聯(lián)合狀態(tài)的能量，從而使其與數(shù)據(jù)保持一致。它可以使用馬爾可夫鏈蒙特卡羅來(lái)通過Gibbs采樣粗略估計(jì)，它通過迭代地對(duì)每個(gè) 和 進(jìn)行交互采樣，直到鏈混合。以這種方式產(chǎn)生的樣本有時(shí)被稱為幻想粒子。這是低效的，并且很難確定馬可夫鏈?zhǔn)欠窕旌稀?/p>

對(duì)比發(fā)散方法建議在經(jīng)過少量迭代后停止鏈，迭代數(shù) 通常是 1。該方法速度快、方差小，但樣本遠(yuǎn)離模型分布。

持續(xù)對(duì)比發(fā)散解決了這個(gè)問題。在 PCD 中，我們保留了多個(gè)鏈（幻想粒子）來(lái)在每個(gè)權(quán)重更新之后更新 個(gè)Gibbs采樣步驟，而不是每次需要梯度時(shí)都啟動(dòng)一個(gè)新的鏈，并且只執(zhí)行一個(gè)吉比斯采樣步驟。這使得粒子能更徹底地探索空間。

參考文獻(xiàn);

• “A fast learning algorithm for deep belief nets” G. Hinton, S. Osindero, Y.-W. Teh, 2006
• “Training Restricted Boltzmann Machines using Approximations to the Likelihood Gradient” T. Tieleman, 2008