智能信息檢索系統(tǒng)的設計與實現(xiàn).pdf

1、搜索引擎是一種不可缺少的信息捕獲工具,為互聯(lián)網用戶提供搜索服務,極大提高了用戶從互聯(lián)網中獲取信息的速度。但是,在“大數(shù)據(jù)”時代帶來的信息量和信息資源多元化的沖擊下,搜索引擎在捕獲信息的速度和主題相關度等方面遇到了新的挑戰(zhàn)。因此,下一代搜索引擎是目前研究的一個熱點。
　　針對搜索引擎后臺網絡爬蟲從互聯(lián)網中抓取到信息資源時,隊列對URL字符串處理能力的不足,本文設計并實現(xiàn)一種快速處理存取數(shù)據(jù)的散列算法,它能夠在真實值和鍵值之間建立一一

2、對應的關系,快速把進入到爬蟲隊列中的字符串數(shù)據(jù)轉化為一種線性表結構,能夠改善隊列處理字符串的能力,提高爬蟲的性能。并搭建了搜索引擎的網絡環(huán)境,選擇Heritrix爬蟲作為網絡爬蟲框架,對在爬蟲中加入散列算法進行測試。實驗結果證明,在加入散列算法之后的網絡爬蟲,搜索效率提高,抓取速度得到明顯的提升。
　　針對搜索引擎反饋信息主題相關度低下的問題,從網絡爬蟲入手,提高網絡爬蟲捕獲到頁面的主題相關度。考慮向爬蟲中加入具備相關度判別的遺傳