離群檢測及離群釋義空間查找算法研究.pdf

1、數(shù)據集中的離群點是指那些偏離常規(guī)數(shù)據對象的數(shù)據點，它們表現(xiàn)為與常規(guī)數(shù)據的產生機制完全不同。離群點可能蘊含著重要的信息，如在信用卡欺詐行為、通信盜用行為、網絡入侵行為等領域中離群點是數(shù)據分析的主要對象；在疾病診斷、天文觀察等研究領域，離群對象可能給予我們新的視角，導致新理論或新應用的出現(xiàn)。離群挖掘就是利用統(tǒng)計學、機器學習、智能計算、可視化等技術來發(fā)現(xiàn)數(shù)據集中的離群點，供用戶進行分析和研究。
　　離群挖掘具有重要的學術意義和廣泛的應用

2、前景。面對日益復雜的大型高維數(shù)據集，如何迅速有效地發(fā)現(xiàn)并處理異常行為是一個具有挑戰(zhàn)性的問題。
　　聚類結構是數(shù)據在形成過程中所體現(xiàn)出來的一種常見形式，數(shù)據不同類別之間具有較明顯的特征差異。與傳統(tǒng)的聚類算法相比，譜聚類具有能在任意形狀的樣本空間上聚類，且收斂于全局最優(yōu)解的特點，因此近年來得到了廣泛應用。
　　云模型是在概率論和模糊數(shù)學理論兩者的基礎之上形成的定性概念和其定量表示之間相互轉換的模型。其中的正態(tài)云模型將實際應用中不

3、符合正態(tài)分布嚴格定義的分布納入泛正態(tài)分布的范疇。
　　數(shù)據集中的離群點之所以會有離群行為的產生，是因為體現(xiàn)該離群點的各個屬性字段或者屬性字段的組合的取值和常規(guī)數(shù)據不同。在檢測到這些離群點之后，分析其離群的行為以及對其離群行為作出解釋，不僅有助于加深我們對數(shù)據集的理解，還可以幫助我們提高在新產生的數(shù)據集上檢測離群數(shù)據的效果和效率。
　　本論文將譜聚類方法和云模型理論用于發(fā)現(xiàn)數(shù)據集中的離群點，同時對離群點的離群行為進行分析和解釋

4、。主要研究工作和成果如下：
　?。?）針對復雜數(shù)據集的聚類問題，提出一種改進的譜聚類算法。該算法引入與密度有關的自適應鄰居規(guī)模參數(shù)更精確地計算對象間的相似性，實現(xiàn)更精確的聚類。基于該算法獲得的穩(wěn)定聚類能夠有效地檢測離群點。
　　（2）提出一種基于譜聚類的數(shù)據集聚類分析與離群檢測算法。該算法通過計算不同聚類數(shù)目下的動態(tài)有效性指標來自動確定數(shù)據集的最優(yōu)聚類數(shù)，然后計算“小聚類”的成員的局部離群因子，并根據該局部離群因子確定該成員

5、是否是離群點。
　　（3）將云模型中云滴對于云模型的隸屬度概念與數(shù)據點在數(shù)據集中的離群度相結合，提出一種基于云模型的離群數(shù)據檢測算法。該算法首先計算數(shù)據對象在各個屬性字段上的離群度，再計算數(shù)據對象在全屬性集上的離群度，最后根據離群度的大小查找出數(shù)據集中的離群數(shù)據。
　?。?）針對當前離群挖掘主要集中于如何檢測離群點，而忽視了對離群點產生原因和離群行為的分析，論文提出一種查找離群點的離群行為子空間和關鍵離群行為子空間的算法。引