農(nóng)產(chǎn)品信息采集與發(fā)布平臺(tái)的研究和實(shí)現(xiàn).pdf

1、從上世紀(jì)七十年代到現(xiàn)在，我國(guó)的農(nóng)產(chǎn)品價(jià)格一直處于波動(dòng)狀態(tài)，特別是在2008年以后，農(nóng)產(chǎn)品價(jià)格波動(dòng)周期持續(xù)縮短，波動(dòng)不對(duì)稱，上升幅度高于跌落幅度，處于暴漲暴跌的狀態(tài)。而農(nóng)產(chǎn)品價(jià)格波動(dòng)不僅會(huì)對(duì)農(nóng)民收入和農(nóng)民生產(chǎn)積極性產(chǎn)生直接影響，更關(guān)乎百姓的日常生活和切身利益。而信息不對(duì)稱被認(rèn)為是農(nóng)產(chǎn)品價(jià)格波動(dòng)的關(guān)鍵因素，尤其是農(nóng)民很難從市場(chǎng)得到實(shí)時(shí)準(zhǔn)確的價(jià)格和銷售信息。目前的網(wǎng)上農(nóng)產(chǎn)品網(wǎng)站良莠不齊，大多服務(wù)于政府而不是農(nóng)民。本文為農(nóng)民著想，及時(shí)、全面地掌

2、握農(nóng)產(chǎn)品市場(chǎng)價(jià)格，以權(quán)威的農(nóng)產(chǎn)品價(jià)格行情網(wǎng)站為對(duì)象進(jìn)行Web信息采集，同時(shí)探索利用歷史數(shù)據(jù)對(duì)其未來(lái)價(jià)格趨勢(shì)進(jìn)行預(yù)測(cè)。
　　論文的主要內(nèi)容:
　　第一，本文總結(jié)了網(wǎng)絡(luò)爬蟲(chóng)的相關(guān)技術(shù)(如開(kāi)源的爬蟲(chóng)工具Heritrix)、網(wǎng)絡(luò)信息抽取相關(guān)技術(shù);利用基于php/python的正則表達(dá)式采集全國(guó)農(nóng)商網(wǎng)的農(nóng)產(chǎn)品數(shù)據(jù)庫(kù)。得到農(nóng)產(chǎn)品分類信息:糧油類、蔬菜類、果品類、水產(chǎn)品類和畜產(chǎn)品類;各種農(nóng)產(chǎn)品名稱和對(duì)應(yīng)URL;農(nóng)產(chǎn)品價(jià)格行情:農(nóng)產(chǎn)品名稱、

3、農(nóng)產(chǎn)品所在市場(chǎng)、農(nóng)產(chǎn)品價(jià)格、農(nóng)產(chǎn)品價(jià)格發(fā)布日期等。經(jīng)過(guò)以上三級(jí)的爬取，農(nóng)產(chǎn)品價(jià)格行情獲取完整，目前已經(jīng)獲取50多萬(wàn)條數(shù)據(jù)，并且每天都在增加。
　　第二，比較基于Heritrix的Web信息采集過(guò)程和基于php/python代碼的web信息采集過(guò)程，介紹兩種方法各自的優(yōu)勢(shì)。
　　第三，以北京豐臺(tái)區(qū)新發(fā)地農(nóng)產(chǎn)品批發(fā)市場(chǎng)2006、2007、2008、2009、2010、2012、2013年6月份胡蘿卜價(jià)格數(shù)據(jù)（平均價(jià)格）為研究對(duì)象

4、，預(yù)測(cè)2014價(jià)格。使用的預(yù)測(cè)方法分別有平均數(shù)預(yù)測(cè)法、加權(quán)算術(shù)平均法、時(shí)間序列平均增長(zhǎng)量預(yù)測(cè)法、時(shí)間序列平均發(fā)展速度市場(chǎng)預(yù)測(cè)法、一次移動(dòng)平均預(yù)測(cè)法、二次移動(dòng)平均預(yù)測(cè)法。并通過(guò)誤差平方來(lái)判斷各種方法的優(yōu)劣，分析每種方法的適用情況。
　　第四，開(kāi)發(fā)了農(nóng)產(chǎn)品信息采集發(fā)布平臺(tái)。農(nóng)產(chǎn)品信息采集發(fā)布平臺(tái)按照功能需求可劃分為農(nóng)產(chǎn)品信息采集模塊，農(nóng)產(chǎn)品信息查詢、比對(duì)模塊，農(nóng)產(chǎn)品求購(gòu)模塊，登錄、注冊(cè)模塊，管理模塊。其中價(jià)格比對(duì)圖和價(jià)格月份走勢(shì)圖由開(kāi)