數(shù)據(jù)挖掘基礎(chǔ)知識(2)
數(shù)據(jù)挖掘基礎(chǔ)知識
4、 人工神經(jīng)網(wǎng)絡(luò)和遺傳基因算法
人工神經(jīng)網(wǎng)絡(luò)是一個迅速發(fā)展的前沿研究領(lǐng)域,對計算機(jī)科學(xué) 人工智能、認(rèn)知科學(xué)以及信息技術(shù)等產(chǎn)生了重要而深遠(yuǎn)的影響,而它在數(shù)據(jù)挖掘中也扮演著非常重要的角色。人工神經(jīng)網(wǎng)絡(luò)可通過示例學(xué)習(xí),形成描述復(fù)雜非線性系統(tǒng)的非線性函數(shù),這實際上是得到了客觀規(guī)律的定量描述,有了這個基礎(chǔ),預(yù)測的難題就會迎刃而解。目前在數(shù)據(jù)挖掘中,最常使用的兩種神經(jīng)網(wǎng)絡(luò)是BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò) 不過,由于人工神經(jīng)網(wǎng)絡(luò)還是一個新興學(xué)科,一些重要的理論問題尚未解決。
5、 規(guī)則歸納
規(guī)則歸納相對來講是數(shù)據(jù)挖掘特有的技術(shù)。它指的是在大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中搜索和挖掘以往不知道的規(guī)則和規(guī)律,這大致包括以下幾種形式:IF … THEN …
6、 可視化技術(shù)
可視化技術(shù)是數(shù)據(jù)挖掘不可忽視的輔助技術(shù)。數(shù)據(jù)挖掘通常會涉及較復(fù)雜的數(shù)學(xué)方法和信息技術(shù),為了方便用戶理解和使用這類技術(shù),必須借助圖形、圖象、動畫等手段形象地指導(dǎo)操作、引導(dǎo)挖掘和表達(dá)結(jié)果等,否則很難推廣普及數(shù)據(jù)挖掘技術(shù)。
四、數(shù)據(jù)挖掘技術(shù)實施的步驟
數(shù)據(jù)挖掘的過程可以分為6個步驟:
1) 理解業(yè)務(wù):從商業(yè)的角度理解項目目標(biāo)和需求,將其轉(zhuǎn)換成一種數(shù)據(jù)挖掘的問題定義,設(shè)計出達(dá)到目標(biāo)的一個初步計劃。
2) 理解數(shù)據(jù):收集初步的數(shù)據(jù),進(jìn)行各種熟悉數(shù)據(jù)的活動。包括數(shù)據(jù)描述,數(shù)據(jù)探索和數(shù)據(jù)質(zhì)量驗證等。
3) 準(zhǔn)備數(shù)據(jù):將最初的原始數(shù)據(jù)構(gòu)造成最終適合建模工具處理的數(shù)據(jù)集。包括表、記錄和屬性的選擇,數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)清理等。
4) 建模:選擇和應(yīng)用各種建模技術(shù),并對其參數(shù)進(jìn)行優(yōu)化。
5) 模型評估:對模型進(jìn)行較為徹底的評價,并檢查構(gòu)建模型的每個步驟,確認(rèn)其是否真正實現(xiàn)了預(yù)定的商業(yè)目的。
6) 模型部署:創(chuàng)建完模型并不意味著項目的結(jié)束,即使模型的目的是為了增進(jìn)對數(shù)據(jù)的了解,所獲得的知識也要用一種用戶可以使用的方式來組織和表示。通常要將活動模型應(yīng)用到?jīng)Q策制訂的過程中去。該階段可以簡單到只生成一份報告,也可以復(fù)雜到在企業(yè)內(nèi)實施一個可重復(fù)的數(shù)據(jù)挖掘過程。控制得到普遍承認(rèn)。
五、數(shù)據(jù)挖掘的應(yīng)用現(xiàn)狀
數(shù)據(jù)挖掘是一個新興的邊緣學(xué)科,它匯集了來自機(jī)器學(xué)習(xí)、模式識別、數(shù)據(jù)庫、統(tǒng)計學(xué)、人工智能以及管理信息系統(tǒng)等各學(xué)科的成果。多學(xué)科的相互交融和相互促進(jìn),使得這一新學(xué)科得以蓬勃發(fā)展,而且已初具規(guī)模。在美國國家科學(xué)基金會(NSF)的數(shù)據(jù)庫研究項目中,KDD被列為90年代最有價值的研究項目。人工智能研究領(lǐng)域的科學(xué)家也普遍認(rèn)為,下一個人工智能應(yīng)用的重要課題之一,將是以機(jī)器學(xué)習(xí)算法為主要工具的大規(guī)模的數(shù)據(jù)庫知識發(fā)現(xiàn)。盡管數(shù)據(jù)挖掘還是一個很新的研究課題,但它所固有的為企業(yè)創(chuàng)造巨大經(jīng)濟(jì)效益的潛力,已使其很快有了許多成功的應(yīng)用,具有代表性的應(yīng)用領(lǐng)域有市場預(yù)測、投資、制造業(yè)、銀行、通訊等。
美國鋼鐵公司和神戶鋼鐵公司利用基于數(shù)據(jù)挖掘技術(shù)的ISPA系統(tǒng),研究分析產(chǎn)品性能規(guī)律和進(jìn)行質(zhì)量控制,取得了顯著效果。通用電器公司(GE)與法國飛機(jī)發(fā)動機(jī)制造公司(sNEcMA),利用數(shù)據(jù)挖掘技術(shù)研制了CASSIOP、EE質(zhì)量控制系統(tǒng),被三家歐洲航空公司用于診斷和預(yù)測渡音737的故障,帶來了可觀的經(jīng)濟(jì)效益。該系統(tǒng)于1996年獲歐洲一等創(chuàng)造性應(yīng)用獎。
享有盛譽的市場研究公司,如美國的A、C、一Nielson和Information Resources,歐洲的GFK和ln、fratest Burk等紛紛開始使用數(shù)據(jù)挖掘工具來應(yīng)付迅速增長的銷售和市場信息數(shù)據(jù)。商家的激烈競爭導(dǎo)致了市場快速飽和,產(chǎn)品的迅速更新,使得經(jīng)營者對市場信息的需求格外強(qiáng)烈利用數(shù)據(jù)挖掘技術(shù)所形成的市場預(yù)測能力和服務(wù),使這些市場研究公司取得了巨大收益。
英國廣播公司(BBC)也應(yīng)用數(shù)據(jù)挖掘技術(shù)來預(yù)測電視收視率,以便合理安排電視節(jié)目時刻表。信用卡公司Alllelicall KxT,ress自采用數(shù)據(jù)挖掘技術(shù)后,信用卡使用率增加了10% 一15%。AT&T公司賃借數(shù)據(jù)挖掘技術(shù)技術(shù)偵探國際電話欺詐行為,可以盡快發(fā)現(xiàn)國際電話使用中的不正?,F(xiàn)象。
看過“數(shù)據(jù)挖掘基礎(chǔ)知識“的人還看了:
2.數(shù)據(jù)挖掘技術(shù)在經(jīng)濟(jì)統(tǒng)計中的應(yīng)用