神經(jīng)網(wǎng)絡中的若干問題研究.pdf

1、上世紀八十年代初，由于美國著名生物物理學家J．J．Hopfield教授的杰出工作，人工神經(jīng)網(wǎng)絡研究獲得了復蘇并很快推向高潮．此后，人工神經(jīng)網(wǎng)絡一直是科學和工程上的一個研究熱點．20多年來，人工神經(jīng)網(wǎng)絡研究取得了豐碩的成果，其應用已經(jīng)深入到經(jīng)濟、軍事、工程、醫(yī)學、保險、娛樂、以及科學的許多領域．由于人工神經(jīng)網(wǎng)絡固有的模擬大腦智能的屬性以及強大的計算能力，人工神經(jīng)網(wǎng)絡研究深深地吸引了國際上許多優(yōu)秀的科學家和一流的學術研究機構．在Harvar

2、d大學，MIT，Boston大學等都有科學家從事神經(jīng)網(wǎng)絡方面的研究．另一方面，人工神經(jīng)網(wǎng)絡的研究成果不斷在許多國際一流學術刊物，如《Science》，《Nature》，《IEEE Trans．Neural Networks》等上發(fā)表．所有這些均表明了人工神經(jīng)網(wǎng)絡具有十分重要的科學地位． 本論文研究人工神經(jīng)網(wǎng)絡中十分重要和具有廣泛應用的三個方面的問題：1．主分量分析(PCA)神經(jīng)網(wǎng)絡學習算法；2．支持向量機(SVM)；3．一類回復

3、式神經(jīng)網(wǎng)絡的輸出收斂性．全文共分三個部分． 第一部分研究PCA神經(jīng)網(wǎng)絡學習算法．PCA是一種統(tǒng)計學習方法，在信號處理，模式識別，數(shù)字圖像處理等領域具有非常廣泛的應用．傳統(tǒng)的數(shù)學方法如QR分解和SVD應用于PCA肘遇到的主要困難在于需要大量的計算而且不能用于在線計算．PCA神經(jīng)網(wǎng)絡方法克服了傳統(tǒng)方法所具有的缺點，特別適合于在線計算，從而具有廣泛的應用領域． PCA神經(jīng)網(wǎng)絡學習算法是PCA神經(jīng)網(wǎng)絡最重要的組成部分．迄今，科學

4、工作們已提出了多種PCA神經(jīng)網(wǎng)絡學習算法，其中Oja的PCA學習算法，Xu的LMSER PCA學習算法，推廣的Hebbiaa PCA學習算法(GHA)等尤其影響深遠．在PCA神經(jīng)網(wǎng)絡學習算法中，收斂性是算法的最重要的性質之一，它決定了算法能否真正在實際中獲得應用．較長時間來，確定性連續(xù)時間方法(DCT)一直是分析PCA神經(jīng)網(wǎng)絡學習算法的重要工具．近些年的研究表明，DCT方法獲得的結果是不適用的．最近提出的確定性離散時間方法，即DDT方法

5、，被認為是一種分析PCA神經(jīng)網(wǎng)絡學習算法的更有效但也是更難的方法．本部分采用DDT方法對PCA神經(jīng)網(wǎng)絡學習算法的收斂性進行深入研究．主要研究內(nèi)容有：(1)應用確定性離散時間(DDT)方法，分析了Xu的LMSER PCA學習算法的收斂性．建立了該算法的一個不變集和最終界，并嚴格證明了其局部收斂性．(2)提出了一種自適應的學習速率，保證了Oja的PCA學習算法的全局收斂性，加速了算法的學習過程．并應用DDT方法嚴格證明了其全局收斂性．(3)

6、GHA算法是被廣泛使用的計算多個主分量方向的算法．然而，離散的GHA算法的收斂性分析是比較困難的．通過用DDT方法，嚴格證明了GHA在自適應性學習速率下的離散算法的全局收斂性．(4)通過自適應性地逼近數(shù)據(jù)集的實質維，提出了一種改進的GHA算法．原有的GHA算法必須事先確定要計算的主分量方向的數(shù)量，這在實際中是不現(xiàn)實的，對于在線計算尤其如此．使用改進的算法，主分量方向數(shù)量能根據(jù)要求的精度自適應的收斂到數(shù)據(jù)集的實質維．因此，這個算法特別適合

7、于在線計算．(5)分析了PCA，MCA算法的混沌現(xiàn)象，獲得了產(chǎn)生混沌的條件．(6)應用PCA神經(jīng)網(wǎng)絡于醫(yī)學圖像配準．提出了通過簡單地對齊圖像的第一主分量方向和質心來實現(xiàn)圖像快速配準的方法． 第二部分研究支持向量機(SVM)所面臨的大數(shù)據(jù)樣本問題和對噪聲的敏感性問題．SVM在解決小樣本，非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢．因而，SVM獲得了廣泛的應用．然而在處理大數(shù)據(jù)樣本的時候，因為計算的復雜性，不但傳統(tǒng)的優(yōu)化方法不能

8、使用，而且SVM學習過程非常緩慢．本部分提出兩種方法來解決這個問題．一是改進了序列最小優(yōu)化(SMO)分解算法，簡化了其最小化過程，并分析了其收斂性．二是提出了用脈沖耦合神經(jīng)網(wǎng)絡(PCNN)研究SVM的新方法．通過PCNN來選擇一個幾乎包括所有支持向量的樣本子集作為候選的支持向量子集，把原始問題轉化成一個小的優(yōu)化問題，從而減少計算量，加快了SVM的學習過程．更重要的是，這種方法沒有損失原有SVM的泛化能力．另外，SVM對噪聲非常敏感，有噪

9、聲的輸入樣本會使決策面嚴重偏離最優(yōu)超平面．模糊SVM(FSVM)被提出來解決這個問題．在這一部分，對FSVM提出了一個新的從屬關系計算函數(shù)，可以計算樣本在輸入空間或者特征空間中對決策面的貢獻．進而，提高SVM的抗干擾能力，有效地改進SVM的分類準確性． 第三部分研究一類回復式神經(jīng)網(wǎng)絡(RNN)的輸出收斂性問題．因為RNN具有反饋的拓撲結構和時間性的行為特征，較前饋神經(jīng)網(wǎng)絡有更強的逼近，自適應能力．也因為RNN重要的理論意義和實際