人工智能與大數(shù)據(jù)論文(2)
人工智能與大數(shù)據(jù)論文
人工智能與大數(shù)據(jù)論文篇二
智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)
摘要：大數(shù)據(jù)是客觀現(xiàn)實(shí)的一種外在表現(xiàn)，在保障智能電網(wǎng)的安全穩(wěn)定運(yùn)行方面起到了重要的作用，闡述了目前智能電網(wǎng)中大數(shù)據(jù)處理技術(shù)的應(yīng)用現(xiàn)狀，指出了智能電網(wǎng)大數(shù)據(jù)處理中存在的問題，為智能電網(wǎng)大數(shù)據(jù)面向應(yīng)用的發(fā)展指明了方向。
關(guān)鍵詞：智能電網(wǎng);大數(shù)據(jù)處理;現(xiàn)狀;挑戰(zhàn)
1 引言
隨著電網(wǎng)信息化與智能化程度的不斷提升，由電網(wǎng)運(yùn)行和電網(wǎng)維修所產(chǎn)生的數(shù)量也呈現(xiàn)井噴式的增長(zhǎng)，使得智能電網(wǎng)的管理進(jìn)入到了大數(shù)據(jù)時(shí)代，大數(shù)據(jù)時(shí)代對(duì)數(shù)據(jù)的存儲(chǔ)以及數(shù)據(jù)處理提出了很高的要求。由于具有較大的數(shù)據(jù)量因而對(duì)于處理的效率有較高的要求，本文對(duì)目前智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的現(xiàn)狀進(jìn)行了綜述，研究了目前制約大數(shù)據(jù)應(yīng)用的瓶頸問題，從傳輸、存儲(chǔ)、集成、可靠性以及可視性等方面來(lái)具體闡述了智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的現(xiàn)狀與所面臨的挑戰(zhàn)。
2 智能電網(wǎng)中大數(shù)據(jù)處理技術(shù)現(xiàn)狀
2.1 并行數(shù)據(jù)庫(kù)
關(guān)系數(shù)據(jù)庫(kù)在結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、查詢以及處理等方面具有廣泛的應(yīng)用，采用關(guān)系數(shù)據(jù)庫(kù)可以靈活快捷的對(duì)數(shù)據(jù)進(jìn)行查詢分析以及邏輯操作等?？梢詫?duì)業(yè)務(wù)事項(xiàng)進(jìn)行高效的處理。
能承受一定數(shù)量用戶同時(shí)對(duì)數(shù)據(jù)庫(kù)的訪問。具有較為安全的數(shù)據(jù)保密機(jī)制。數(shù)據(jù)庫(kù)結(jié)構(gòu)化查詢語(yǔ)言能夠?qū)?shí)現(xiàn)嚴(yán)謹(jǐn)?shù)膶?duì)數(shù)據(jù)的查詢，能夠?qū)崿F(xiàn)高效率的數(shù)據(jù)分析，能脫離對(duì)程序的依賴性而獨(dú)立運(yùn)行等一系列的優(yōu)勢(shì)，因而關(guān)系數(shù)據(jù)庫(kù)得到了非常廣泛的應(yīng)用。但是近些年隨著電網(wǎng)信息化程度的不斷提升積累了大量的數(shù)據(jù)，關(guān)系數(shù)據(jù)庫(kù)的發(fā)展程度已經(jīng)遠(yuǎn)遠(yuǎn)跟不上電網(wǎng)信息化發(fā)展的速度，尤其是在非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)上存在的問題，使得很多類型的數(shù)據(jù)，包括地理信息數(shù)據(jù)，以及高清的視頻和圖像以及音頻數(shù)據(jù)等，都無(wú)法實(shí)現(xiàn)在該數(shù)據(jù)庫(kù)中的存儲(chǔ)，因而傳統(tǒng)的數(shù)據(jù)存儲(chǔ)的方式隨著數(shù)據(jù)的多樣化而面臨著嚴(yán)峻的挑戰(zhàn)。
2.2 云計(jì)算技術(shù)
云計(jì)算平臺(tái)為大數(shù)據(jù)的存儲(chǔ)以及處理提供了硬件資源，不僅能夠存儲(chǔ)海量的數(shù)據(jù)還能夠?yàn)橥ㄟ^并行處理的方式極大的提升數(shù)據(jù)處理的效率，在智能電網(wǎng)中電力設(shè)備為保證電網(wǎng)的安全正常運(yùn)行提供了大量的數(shù)據(jù)基礎(chǔ)。電網(wǎng)中實(shí)時(shí)的數(shù)據(jù)不僅種類繁多，且數(shù)據(jù)量龐大，具有較高的實(shí)時(shí)性和可靠性，目前云計(jì)算技術(shù)中海量數(shù)據(jù)的處理仍然處在起步階段，能較好保證監(jiān)控程序的延展和可靠性，但是目前在安全以及性能方面還存在問題，需要加以解決。
2.3 云計(jì)算在智能電網(wǎng)中的應(yīng)用
在智能電網(wǎng)中產(chǎn)生數(shù)據(jù)量最大的環(huán)節(jié)是各種電力設(shè)備的狀態(tài)數(shù)據(jù)積累。狀態(tài)監(jiān)測(cè)數(shù)據(jù)包括實(shí)時(shí)監(jiān)測(cè)的狀態(tài)數(shù)據(jù)包括數(shù)字、視頻等等，還包括設(shè)備的基本信息、實(shí)驗(yàn)數(shù)據(jù)以及缺陷記錄等，數(shù)據(jù)量較大，且對(duì)可靠性要求較高，實(shí)時(shí)性要求較高。
目前國(guó)外某些國(guó)家已經(jīng)將云計(jì)算應(yīng)用于海量數(shù)據(jù)的存儲(chǔ)和計(jì)算，且已經(jīng)開發(fā)出目前已經(jīng)在應(yīng)用的系統(tǒng)。在電力系統(tǒng)中有些用戶需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)查詢，進(jìn)而誕生了用于實(shí)時(shí)數(shù)據(jù)處理的智能電網(wǎng)云計(jì)算模型，該模型對(duì)于處理智能電網(wǎng)中的海量的流式數(shù)據(jù)具有優(yōu)勢(shì)，且在此基礎(chǔ)上已經(jīng)開發(fā)出了實(shí)時(shí)數(shù)據(jù)的測(cè)量與監(jiān)測(cè)系統(tǒng)。Cloudera公司承擔(dān)了以Hadoop為載體的智能電網(wǎng)監(jiān)測(cè)系統(tǒng)項(xiàng)目，幫助美國(guó)電網(wǎng)成功處理了上百TB的數(shù)據(jù)，Hadoop平臺(tái)的可靠性以及廉價(jià)性得到了充分的體現(xiàn);此外改項(xiàng)目組在此基礎(chǔ)上還開發(fā)了super PDC，且將開項(xiàng)目的源代碼進(jìn)行開源，此項(xiàng)舉措非常有利于推動(dòng)大規(guī)模數(shù)據(jù)的處理研究工作，研究人員可以不用開發(fā)底層的應(yīng)用程序，直接調(diào)用接口來(lái)獲取最基本的應(yīng)用。在日本，Kyushu電力公司同樣使用Hadoop平臺(tái)對(duì)海量的電力系統(tǒng)的消費(fèi)數(shù)據(jù)進(jìn)行了分析，在該平臺(tái)的基礎(chǔ)上開發(fā)了批量數(shù)據(jù)的處理軟件，極大的提高了數(shù)據(jù)處理的效率和速度。通過對(duì)智能電網(wǎng)中云計(jì)算平臺(tái)的應(yīng)用現(xiàn)狀研究，可以看出目前云計(jì)算平臺(tái)的技術(shù)已經(jīng)能夠滿足智能電網(wǎng)在數(shù)據(jù)存儲(chǔ)以及實(shí)時(shí)處理等方面的需求，但是實(shí)時(shí)性和安全性有待進(jìn)行進(jìn)一步的研究。
3 智能電網(wǎng)大數(shù)據(jù)處理技術(shù)面臨的挑戰(zhàn)
3.1 大數(shù)據(jù)傳輸及存儲(chǔ)技術(shù)
電網(wǎng)的信息化與智能化程度不斷的提升使得數(shù)據(jù)累積量越來(lái)越大給大數(shù)據(jù)的處理和分析帶來(lái)很大的困難，給智能電網(wǎng)數(shù)據(jù)的存儲(chǔ)、電網(wǎng)設(shè)備的監(jiān)控以及數(shù)據(jù)的分析等環(huán)節(jié)造成了很大的負(fù)擔(dān)。其中涉及到作為嚴(yán)峻的挑戰(zhàn)就是大數(shù)據(jù)的存儲(chǔ)以及大數(shù)據(jù)的傳輸問題。隨著電網(wǎng)智能化程度的不斷提高，各種類型傳感器所積累的非結(jié)構(gòu)化數(shù)據(jù)在智能電網(wǎng)中所占的比重會(huì)越來(lái)越大，如何將此類非結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)數(shù)據(jù)進(jìn)行存儲(chǔ)，是目前解決智能電網(wǎng)數(shù)據(jù)的存儲(chǔ)以及傳輸?shù)挠行Т胧┲弧?/p>
3.2 數(shù)據(jù)處理的時(shí)效性技術(shù)
大數(shù)據(jù)時(shí)代的關(guān)鍵在于數(shù)據(jù)處理的速度。在硬件與軟件資源一定的情況下數(shù)據(jù)處理的時(shí)間與數(shù)據(jù)處理的規(guī)模是成正比的，數(shù)據(jù)的規(guī)模越大數(shù)據(jù)處理的時(shí)間就越長(zhǎng)。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)的方案只能存儲(chǔ)一定量的數(shù)據(jù)，難以處理大批量的數(shù)據(jù)。隨著智能電網(wǎng)大數(shù)據(jù)應(yīng)用的深入挖掘，實(shí)時(shí)數(shù)據(jù)的處理會(huì)有效的在智能電網(wǎng)的各個(gè)環(huán)節(jié)得到廣泛的應(yīng)用，實(shí)時(shí)數(shù)據(jù)處理目前所面臨最大的挑戰(zhàn)就是數(shù)據(jù)處理的時(shí)效性問題，通過提高硬件性能，優(yōu)化軟件算法的方式是提高數(shù)據(jù)處理時(shí)效性的兩個(gè)重要方面。
3.3 異構(gòu)多數(shù)據(jù)源處理技術(shù)
未來(lái)智能電網(wǎng)將實(shí)現(xiàn)發(fā)電、調(diào)度、變電、輸電以及配電等整個(gè)環(huán)節(jié)的連接，能夠有效的采集到上述環(huán)節(jié)中的各種數(shù)據(jù)信息，能夠?qū)崿F(xiàn)數(shù)據(jù)的快速的傳輸與及時(shí)的處理，實(shí)現(xiàn)企業(yè)業(yè)務(wù)流、信息流與電力數(shù)據(jù)的統(tǒng)一于智能電網(wǎng)中。由于所涉及的領(lǐng)域不同因而會(huì)產(chǎn)生大量不同類型數(shù)據(jù)處理的問題，數(shù)據(jù)中心對(duì)這些異構(gòu)多元數(shù)據(jù)進(jìn)行處理并上傳給智能電網(wǎng)。因而目前智能電網(wǎng)中主要存在的一個(gè)問題就是，如何構(gòu)建一個(gè)異構(gòu)多源數(shù)據(jù)模型，通過該模型可以實(shí)現(xiàn)數(shù)據(jù)的融合以及數(shù)據(jù)高效的處理。
3.4 大數(shù)據(jù)可視化化分析技術(shù)
目前智能電網(wǎng)所積累的數(shù)據(jù)難以量化，且顯示設(shè)備能夠向用戶顯示的內(nèi)容十分有限，面向用戶提出一種簡(jiǎn)潔直觀可視化的方式，也是目前所面臨的重要挑戰(zhàn)。在目前的應(yīng)用實(shí)踐中可以通過對(duì)大數(shù)據(jù)的處理，將數(shù)據(jù)繪制成為具有各種意義的高分辨率的圖片，且配有觀察處理的交互工具，結(jié)合人的視覺系統(tǒng)，來(lái)確定算法的參數(shù)，來(lái)對(duì)數(shù)據(jù)進(jìn)行定量的分析。因而數(shù)據(jù)的可視化方向以及方式是目前智能電網(wǎng)大數(shù)據(jù)處理所面臨的又一挑戰(zhàn)。
4 結(jié)語(yǔ)
智能電網(wǎng)系統(tǒng)已經(jīng)在我國(guó)的局部電網(wǎng)開始應(yīng)用，在電網(wǎng)的安全穩(wěn)定運(yùn)行的過程中智能電網(wǎng)起到了重要的作用。然而在智能電網(wǎng)大數(shù)據(jù)應(yīng)用處理的過程中，數(shù)據(jù)的實(shí)時(shí)性存儲(chǔ)、高效處理、多源異構(gòu)數(shù)據(jù)的融合以及數(shù)據(jù)的可視化方面面臨著嚴(yán)峻的挑戰(zhàn)，需要進(jìn)一步針對(duì)這些方面開展研究，切實(shí)將大數(shù)據(jù)在保障電網(wǎng)安全穩(wěn)定運(yùn)行的作用發(fā)揮出來(lái)。
參考文獻(xiàn)：
[1]李婷，劉沁，劉園.智能電網(wǎng)在中國(guó)的發(fā)展以及面臨的困難探討[J].中國(guó)新通信.2016(10)
[2]卜凡榮.配電自動(dòng)化系統(tǒng)在智能電網(wǎng)中的應(yīng)用和發(fā)展[J].電力與能源.2016(03)
人工智能與大數(shù)據(jù)論文相關(guān)文章：