數(shù)據(jù)挖掘中聚類(lèi)算法的并行優(yōu)化研究.pdf

1、數(shù)據(jù)挖掘是當(dāng)前知識(shí)信息處理和數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域的熱門(mén)研究課題，也是目前大數(shù)據(jù)時(shí)代計(jì)算機(jī)科學(xué)領(lǐng)域具有發(fā)展前景的技術(shù)之一。聚類(lèi)分析是數(shù)據(jù)挖掘中的一個(gè)重要研究領(lǐng)域。其中基于劃分方法的K-means聚類(lèi)算法和基于密度的DBSCAN聚類(lèi)算法都有著廣泛的應(yīng)用。與此同時(shí)，隨著GPU高性能計(jì)算的快速發(fā)展，使用GPU的高性能計(jì)算逐漸被推上歷史舞臺(tái)。大數(shù)據(jù)浪潮的來(lái)襲，使得越來(lái)越多的開(kāi)發(fā)者開(kāi)始選擇NVIDIA公司開(kāi)發(fā)的CUDA技術(shù)來(lái)更好地發(fā)揮GPU的并行計(jì)算能力

2、?；贑UDA的高性能并行計(jì)算已經(jīng)逐步成為研究的熱點(diǎn)。
　　本文分析了數(shù)據(jù)挖掘的概念以及相關(guān)背景知識(shí)，研究了聚類(lèi)分析技術(shù)及其常見(jiàn)的聚類(lèi)分析算法。分析了CUDA相關(guān)技術(shù)，給出了新的CUDA并行優(yōu)化方法。分析了聚類(lèi)算法中的K-means算法和DBSCAN算法的缺陷，并針對(duì)K-means算法中初始聚類(lèi)中心選擇難以及大數(shù)據(jù)算法效率低兩方面的缺陷，以及DBSCAN算法效率低等問(wèn)題，給出了對(duì)這兩個(gè)算法基于CUDA的并行優(yōu)化方案，并對(duì)其加速優(yōu)化

3、結(jié)果進(jìn)行分析。
　　論文第二章研究了數(shù)據(jù)挖掘、聚類(lèi)分析方法和CUDA平臺(tái)。在第三章中通過(guò)對(duì)天氣預(yù)報(bào)模式（The Weather Research and ForecastingModel）中WSM52D模組模塊的并行改寫(xiě)，闡述了CUDA加速技術(shù)及其優(yōu)化方法。
　　針對(duì)聚類(lèi)分析劃分方法中的經(jīng)典算法K-means算法，在選取初始聚類(lèi)中心以及算法效率上對(duì)該算法進(jìn)行了優(yōu)化。論文第四章給出了一種新的尋找初始聚類(lèi)中心的方法，該方法首先根

4、據(jù)隨機(jī)數(shù)據(jù)點(diǎn)之間的最長(zhǎng)距離選取出初始聚類(lèi)中心集合，并通過(guò)一次原始的K-means算法的，使用混合聚類(lèi)的方式選擇最終初始聚類(lèi)中心。通過(guò)實(shí)驗(yàn)進(jìn)行了驗(yàn)證，該方法和原始方法準(zhǔn)確率相似，聚類(lèi)結(jié)果更加平穩(wěn)準(zhǔn)確。然后給出了一種基于CUDA的并行執(zhí)行的K-means算法，并通過(guò)共享內(nèi)存優(yōu)化和數(shù)據(jù)預(yù)讀取的策略，獲得較高的計(jì)算與內(nèi)存訪問(wèn)比。實(shí)驗(yàn)結(jié)果表明，和原始K-means相比，改進(jìn)后的并行算法在不同樣本數(shù)和不同聚類(lèi)類(lèi)數(shù)的情況下最高取得了137倍的加速。<

5、br>　　針對(duì)聚類(lèi)分析基于密度方法中的DBSCAN算法，結(jié)合CUDA技術(shù)在計(jì)算方面的并行優(yōu)化能力，論文第五章給出了一種基于CUDA并行執(zhí)行的DBSCAN算法。該算法并行化改進(jìn)距離計(jì)算函數(shù)，并使用共享內(nèi)存和數(shù)據(jù)集合并讀取的技術(shù)對(duì)預(yù)讀取的數(shù)據(jù)進(jìn)行合并處理，減少數(shù)據(jù)的讀取次數(shù)，加快程序運(yùn)行速度。通過(guò)實(shí)驗(yàn)驗(yàn)證，相對(duì)傳統(tǒng)算法在實(shí)驗(yàn)環(huán)境下，改進(jìn)后的算法最高取得了23倍的加速。
　　論文將CUDA技術(shù)與傳統(tǒng)聚類(lèi)技術(shù)相結(jié)合，使用并行化的思想改寫(xiě)K