基于稀疏貝葉斯的半監(jiān)督超限學(xué)習(xí)機分類算法研究.pdf

1、如何有效地挖掘和學(xué)習(xí)海量的無標(biāo)記數(shù)據(jù)中的規(guī)律，讓用戶快速找到需要的信息，是當(dāng)前機器學(xué)習(xí)領(lǐng)域的一個研究熱點。半監(jiān)督學(xué)習(xí)利用少量標(biāo)記數(shù)據(jù)和大量無標(biāo)記數(shù)據(jù)的綜合信息來提高分類算法的準確率，引起了學(xué)術(shù)界的廣泛關(guān)注。然而傳統(tǒng)半監(jiān)督分類算法的計算復(fù)雜度較高，通常為O(N3)，N為輸入樣本的個數(shù)，如拉普拉斯支持向量機。超限學(xué)習(xí)機是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，具有較低的計算復(fù)雜度。為了提高半監(jiān)督算法的計算效率，人們將半監(jiān)督學(xué)習(xí)引入到超限學(xué)習(xí)機框架中，提出了

2、半監(jiān)督超限學(xué)習(xí)機。半監(jiān)督超限學(xué)習(xí)機繼承了傳統(tǒng)超限學(xué)習(xí)機的速度優(yōu)勢，又能充分利用無標(biāo)記樣本信息。但是，半監(jiān)督超限學(xué)習(xí)機的分類準確率對隱層節(jié)點的數(shù)目比較敏感，在特定問題上為取得較好的分類準確率通常需要使用大量的冗余隱層節(jié)點，增加了模型的復(fù)雜度。
　　本文針對半監(jiān)督超限學(xué)習(xí)機在稀疏性和分類準確率上的不足，在稀疏貝葉斯和半監(jiān)督超限學(xué)習(xí)機框架的基礎(chǔ)上，提出一種基于稀疏貝葉斯的半監(jiān)督超限學(xué)習(xí)機分類算法。為了利用無標(biāo)記樣本數(shù)據(jù)的流形(Manif

3、old)信息，同時使模型更加稀疏，該算法在網(wǎng)絡(luò)輸出層的權(quán)值參數(shù)上定義稀疏流形先驗。模型在訓(xùn)練階段自適應(yīng)地剔除冗余的隱層節(jié)點，該算法降低了模型的復(fù)雜度和分類準確率對隱層節(jié)點數(shù)量的敏感性。在多個數(shù)據(jù)集上的實驗結(jié)果表明:與當(dāng)前主流的半監(jiān)督分類器相比，本文提出的算法可以取得較好的分類性能，同時彌補了半監(jiān)督超限學(xué)習(xí)機在稀疏性和穩(wěn)定性方面的缺陷。
　　綜上，本文的工作和貢獻主要體現(xiàn)在以下幾個方面:
　　(1)針對基于半監(jiān)督超限學(xué)習(xí)機框架

4、的分類算法在稀疏性和穩(wěn)定性上表現(xiàn)不足的問題，本文通過稀疏貝葉斯學(xué)習(xí)方法來學(xué)習(xí)模型參數(shù)，在學(xué)習(xí)階段自動剔除冗余隱層節(jié)點，增強半監(jiān)督超限學(xué)習(xí)機模型的稀疏性和穩(wěn)定性。因此，本文算法既具有半監(jiān)督超限學(xué)習(xí)機的速度優(yōu)勢，又具有稀疏貝葉斯學(xué)習(xí)算法的稀疏性。
　　(2)傳統(tǒng)半監(jiān)督超限學(xué)習(xí)機采用最小二乘求解模型參數(shù)，容易導(dǎo)致過擬合，本文算法通過最大化模型的邊際似然概率可以在一定程度上降低模型過擬合的可能性，增強模型的表達力，模型具有更好的魯棒性。<

5、br>　　(3)本文算法相比半監(jiān)督超限學(xué)習(xí)機具有較低的計算復(fù)雜度。本文算法的時間復(fù)雜度為O(L3+N log N)，其中L為隱層節(jié)點的個數(shù)，N為樣本數(shù)據(jù)的個數(shù)，N log N是構(gòu)造圖的拉普拉斯矩陣的時間復(fù)雜度，L3是計算權(quán)值參數(shù)w的時間復(fù)雜度。因此，相比半監(jiān)督超限學(xué)習(xí)機中O(N3)的時間復(fù)雜度，本文算法訓(xùn)練時間更短。
　　(4)在UCI1標(biāo)準數(shù)據(jù)集上的實驗結(jié)果表明，相對對比算法，本文基于稀疏貝葉斯的半監(jiān)督超限學(xué)習(xí)機分類算法具有較好