大數(shù)據(jù)有哪些作用？

大數(shù)據(jù)可應(yīng)用于各行各業(yè)，把收集到的龐大數(shù)據(jù)進行分析整理，實現(xiàn)資訊的有效利用。

在醫(yī)療領(lǐng)域，通過大數(shù)據(jù)記錄和分析，能夠預(yù)測出病人可能產(chǎn)生的癥狀，工作效率大大提高。大數(shù)據(jù)分析還能夠在很短的時間內(nèi)解碼DNA，預(yù)測疾病，幫助醫(yī)生制定合理的治療方案。

在交通管理方面，通過對道路交通信息的實時挖掘，能有效緩解交通擁堵，快速響應(yīng)突發(fā)狀況，為城市交通的良性運轉(zhuǎn)提供科學(xué)決策依據(jù)。

在公共安全領(lǐng)域，通過大數(shù)據(jù)挖掘，可以及時發(fā)現(xiàn)人為或自然災(zāi)害、恐怖事件，提高應(yīng)急處理能力和安全防范能力。

大數(shù)據(jù)的發(fā)展，使人們生活水平不斷提高，也極大地促進政府的管理模式，有利于節(jié)約政府投資、加強市場監(jiān)管能力、提高政府決策能力、提升公共服務(wù)能力。

各行各業(yè)均存在大數(shù)據(jù)，但是眾多的信息和咨詢是紛繁復(fù)雜的，我們需要搜索、處理、分析、歸納、總結(jié)其深層次的規(guī)律。

大數(shù)據(jù)技術(shù)的運用前景是十分光明的，但也隨之帶來新的挑戰(zhàn)：例如大量數(shù)據(jù)的集中存儲增加泄露風(fēng)險；一些敏感數(shù)據(jù)的所有權(quán)和使用權(quán)沒有清晰界定；黑客可收集更多有用信息，大數(shù)據(jù)分析讓攻擊更精準(zhǔn)等等。

大數(shù)據(jù)技術(shù)發(fā)展趨勢如何？

2014年以后，整體大數(shù)據(jù)的技術(shù)棧已經(jīng)趨于穩(wěn)定，由于云計算、人工智能等技術(shù)發(fā)展，還有芯片、內(nèi)存端的變化，大數(shù)據(jù)技術(shù)也在發(fā)生相應(yīng)的變化?？偨Y(jié)來看主要有幾點發(fā)展趨勢：

一是流式架構(gòu)的更替，最早大數(shù)據(jù)生態(tài)沒有辦法統(tǒng)一批處理和流計算，只能采用Lambda架構(gòu)，批的任務(wù)用批計算引擎，流式任務(wù)采用流計算引擎，比如批處理采用MapReduce，流計算采用Storm。后來Spark試圖從批的角度統(tǒng)一流處理和批處理，Spark Streaming采用了micro-bach的思路來處理流數(shù)據(jù)。近年來純流架構(gòu)的Flink異軍突起，由于其架構(gòu)設(shè)計合理，生態(tài)健康，近年來發(fā)展特別快。而Spark近期也拋棄了自身微批處理的架構(gòu)，轉(zhuǎn)向了純流架構(gòu)Structure Streaming，流計算的未來霸主還未見分曉。

二是大數(shù)據(jù)技術(shù)的云化，一方面是公有云業(yè)務(wù)的成熟，眾多大數(shù)據(jù)技術(shù)都被搬到了云上，其運維方式和運行環(huán)境都發(fā)生了較大變化，帶來計算和存儲資源更加的彈性變化，另一方面，私有部署的大數(shù)據(jù)技術(shù)也逐漸采用容器、虛擬化等技術(shù)，期望更加精細化地利用計算資源。

三是異構(gòu)計算的需求，近年來在通用CPU之外，GPU、FPGA、ASIC等芯片發(fā)展迅猛，不同芯片擅長不同的計算任務(wù)，例如GPU擅長圖像數(shù)據(jù)的處理，大數(shù)據(jù)技術(shù)開始嘗試根據(jù)不同任務(wù)來調(diào)用不同的芯片，提升數(shù)據(jù)處理的效率。

四是兼容智能類的應(yīng)用，隨著深度學(xué)習(xí)的崛起，AI類的應(yīng)用越來越廣泛，大數(shù)據(jù)的技術(shù)棧在努力兼容AI的能力，通過一站式的能力來做數(shù)據(jù)分析和AI應(yīng)用，這樣開發(fā)者就能在一個工具站中編寫SQL任務(wù)，調(diào)用機器學(xué)習(xí)和深度學(xué)習(xí)的算法來訓(xùn)練模型，完成各類數(shù)據(jù)分析的任務(wù)。

文章圖片轉(zhuǎn)載于網(wǎng)絡(luò)，僅供學(xué)習(xí)與交流，非商業(yè)用途，版權(quán)歸原作者所有，如有侵權(quán)，請聯(lián)系我們立即整改刪除。