大數(shù)據(jù)分析與人工智能

時間：2017-04-20 17:32:22 岳彬1043由分享

　　大數(shù)據(jù)不是一個單一的現(xiàn)象，在過去5～10年，借著越來越強大的計算能力，加上知識挖掘等算法上的突飛猛進，我們可以構建更大的模型。下面是學習啦小編為你整理的大數(shù)據(jù)分析與人工，供大家閱覽!

　　大數(shù)據(jù)與人工智能

　　我們都知道，其實很多的人工智能、機器智能，或者驅動一個數(shù)字世界的自動化，都需要模型。在過去的很長一段時間內，這些模型因為數(shù)據(jù)的不足，通常只能做一些小的模型或者淺的模型，但特別在過去的兩三年里，在機器學習領域有了突飛猛進的發(fā)展，可以構建更大、更深度的模型。

　　另外是知識挖掘，知識挖掘是怎樣在互聯(lián)網(wǎng)上大規(guī)模進行的?在這些結構化、半結構化的數(shù)據(jù)中構建人類最完整的知識表達，一旦我們掌握了這樣的表達，我們就可以對很多的數(shù)據(jù)做更深度的理解。

　　軟件產(chǎn)業(yè)新時代

　　微軟為什么看重大數(shù)據(jù)?微軟是從一家軟件企業(yè)開始的，在30年前，微軟就知道軟件會改變全世界，軟件幾乎可以做所有的事情。但今天，軟件的時代已經(jīng)不一樣了。過去是程序員寫，接下來的軟件是靠數(shù)據(jù)，靠機器學習，自動寫出軟件。這意味著什么?當你擁有更大的數(shù)據(jù)的時候，軟件就更強大，軟件的性能就更好。大數(shù)據(jù)加上機器學習，這代表了軟件產(chǎn)業(yè)一個新時代來臨：不再是人寫軟件，是數(shù)據(jù)加算法，在數(shù)字化之后，以計算機驅動，用光速來推進我們人類社會的方方面面。因為都是靠數(shù)據(jù)和算法，我們能夠產(chǎn)生一個非常大的一個信息量，所以我們看重下一代所有的應用和服務。

　　今天，為什么各個大公司都在不斷地在人才、技術方面大量投入?就是因為我們已經(jīng)在過去的幾年不斷地對這些數(shù)據(jù)進行加工，我們已經(jīng)越來越接近從數(shù)據(jù)到信息，到知識到科技。

　　語音識別過去十幾年一直沒有突破，但就在這兩年實現(xiàn)了很大進展。其中重要原因就是因為有一種新的機器學習，可以從數(shù)據(jù)里面學表達方式，做很多模式識別。大家知道做影像、語音等最難的是怎么找出特征向量表示數(shù)據(jù)，過去的二三十年的研究都在研究怎么找特征，大數(shù)據(jù)來到的時候我們發(fā)現(xiàn)，特征也可以直接從數(shù)據(jù)去學。而且在這個過程中我們發(fā)現(xiàn)一個非常有趣的現(xiàn)象，就是越大的數(shù)據(jù)表達方式越好。因為數(shù)據(jù)大，信息就增加，所以技術上的突破就是計算能力和數(shù)據(jù)大了，而且自動學出來的發(fā)現(xiàn)比過去人設計的特征向量更好。

　　大數(shù)據(jù)的城市應用

　　今天的技術非常令人興奮，但今天很多城市里面的數(shù)據(jù)都是很低階的，這么大的數(shù)據(jù)如何表達?今天深度學習、機器學習帶來了革命性的機會。過去兩年我們也把這樣的機器學習開始應用在城市，所以微軟有一個城市計算的項目。在北京，我們收集了很多方面跟城市有關的數(shù)據(jù)，例如北京交通路網(wǎng)的數(shù)據(jù)、北京商業(yè)各方面的歷年數(shù)據(jù)，我們可以發(fā)現(xiàn)很多現(xiàn)象，比如北京過去10年酒吧在哪里越來越多，電影院也在一些地方增加了，這些其實代表了這個城市的發(fā)展。還有空氣的數(shù)據(jù)、氣象的數(shù)據(jù)等。我們還搜集了北京的30000輛出租車，特別裝有定位系統(tǒng)的數(shù)據(jù)，這樣便可以用出租車當做傳感器實時檢測城市的脈動，甚至交通的狀況，可以算出更好的開車路徑。

　　過去兩年，微軟與北京市政府及中國的高校合作，在城市計算這一領域實現(xiàn)了很多科研成果。大數(shù)據(jù)可以分析城市問題，改善城市規(guī)劃。

　　空氣質量是今天的城市居民最關注的一個話題。北京這么大規(guī)模的城市，現(xiàn)在只有15個空氣檢測站點，非常稀疏，每個站點的投入和花費與運營非常高。這些站點在任何時刻給的數(shù)據(jù)都是非常不一樣的，說明一個城市里面空氣質量分布是不均勻的。今天我們的問題是能不能用大數(shù)據(jù)，用機器學習的方法預測那些沒有空氣站點的地點的空氣質量。我們也利用了大數(shù)據(jù)把歷史上所有這些我們可以收集到的，關于偵測帶里的歷史的數(shù)據(jù)、氣象數(shù)據(jù)、交通數(shù)據(jù)、人員流動等數(shù)據(jù)，建一個非常大的模型，包含空間和時間的預測，能夠在有限的15個站點之上，進一步預測所有的位置。這就是大數(shù)據(jù)在智能城市里的應用，其中既有數(shù)據(jù)分析，而且是海量和一致性的數(shù)據(jù)。

　　實驗證明，雖然我們用的很多數(shù)據(jù)從某個角度來講是比較弱的信號，但是把大量相關的相對弱的信號收集起來，居然比原來最好的模型還好20%。利用大數(shù)據(jù)對整個城市的空氣做預測的模型是非常有價值的，這預示了這樣的應用將不只在城市，而是會進到人類社會方方面面，各個產(chǎn)業(yè)都會被大數(shù)據(jù)帶動，用更智能的算法，讓過程變得更有效。