粗糙集理論在數據約簡中的應用研究.pdf

1、數據挖掘面對的是大規(guī)模、超大規(guī)模的數據庫或數據倉庫,日益增長的海量數據,給數據挖掘提出了新的挑戰(zhàn).隨著數據挖掘技術研究的深入與成熟,在挖掘過程中挖掘算法的效率提高越來越不明顯,但是數據挖掘的預處理工作仍然沒有明顯的提高.于是數據預處理工作就顯得越來越重要. 數據預處理包括數據清理、數據集成和變換、數據約簡等操作把原始的數據庫或者數據倉庫變換成適合挖掘的模式,為進一步的數據挖掘做準備.已有一些比較成熟的數據預處理技術,但面對日益增

2、長的海量數據和日趨復雜的數據結構數據預處理還有很多工作要做. 粗糙理論是用來處理模糊和不確定性知識的數學工具,是一種有效的軟計算方法.其主要思想是在保持分類能力不變的前提下,通過知識約簡,導出問題的決策或分類規(guī)則,利用區(qū)分矩陣可以方便地求出數據約簡.面對大數據集、或復雜的數據結構;人們又提出了區(qū)分矩陣的改進算法,以及和其他學科相結合的算法,來提高數據預處理的效率. 屬性約簡是數據預處理的一個重要環(huán)節(jié),已經證明求所有屬性的

3、最小約簡是一個 NP 完全問題,所以,研究也只能從提高求約簡的效率上來著手.本文從基本的粗糙集理論、數據預處理的基本知識入手,詳細介紹了粗糙集約簡的基本算法、一種改進的算法,Jelonek 提出的基于屬性重要性的算法,Hu 提出的基于頻率函數的算法;以及與遺傳算法相結合的算法、粗糙集約簡的一種貪心算法,這些算法都在一定程度上改進了基本的基于區(qū)分矩陣的屬性約簡算法,也都有其適應的特定環(huán)境,合理地運用能夠有效地對數據進行處理,進而提高數據挖