無論大家如何進行定義，大數(shù)據自誕生之日起就飽受爭議——既有毛病之詞，亦不乏詆毀之聲。大數(shù)據對于很多人來說包含有重要的意義，特別是科學家和零售商家。不過這項技術的出現(xiàn)也引發(fā)了大量的相關隱私問題與安全威脅。

到底是救世主、騙局抑或二者兼而有之?無論如何，大數(shù)據仍然在技術專家、趨勢分析師、市場推廣人士以及安全從業(yè)者群體中擁有極高的熱度與人氣。事實上，截至 今天大數(shù)據仍然沒有一個受到普遍認同的官方定義。那么大數(shù)據到底是什么?維基百科給出的描述可以說為大數(shù)據的概念確立之路開了個好頭：“任何由于規(guī)模龐大 且高度復雜而難以通過現(xiàn)有數(shù)據庫管理工具或者傳統(tǒng)數(shù)據處理應用進行處理的數(shù)據集?！?/p>

雖然管理這種規(guī)模龐大、形式多變 且對速度要求較高(這三點也就是經典的3V定義)的數(shù)據集確實充滿挑戰(zhàn)，不過目前針對這類任務的數(shù)據共享設備的數(shù)量正呈現(xiàn)指數(shù)級增長的趨勢，而這又給大數(shù) 據難題帶來更多別樣的變化。這類硬件被統(tǒng)稱為物聯(lián)網，其中包括機器傳感器以及面向普通消費者的設備，例如聯(lián)網溫控器、電燈泡、冰箱以及可穿戴式健康監(jiān)測工 具等。IDC公司預計，物聯(lián)網市場在未來幾年當中將迅猛增長——其單位安裝數(shù)量將由2013年年底的91億增長到2020年的281億。

企業(yè)則將來自大數(shù)據的可行性分析結論視為潛在的利好消息，這不僅是因為此類結論能夠幫助商家售出更多工具及服務，同時也可以更好地處理醫(yī)療事務、阻止偽劣藥 品流通、追蹤恐怖分子甚至監(jiān)控特定目標的通話內容。因此，大數(shù)據本身并沒有善惡之分，真正起決定作用的還是我們的實際使用方式。

具有諷刺意味的是，盡管大數(shù)據當中蘊藏著提升人類經驗的潛在可能性，但這些寶貴的信息卻往往很難進行收集、篩選、分析以及最后的解釋。今天的文章著重審視大 數(shù)據領域的挑戰(zhàn)與機遇，這些事實與論證數(shù)據很可能給各位帶來意外驚喜。哪些內容值得期待?這個嘛，作為大數(shù)據平臺中的領導者，Hadoop的發(fā)展前景一片 光明。而且數(shù)據科學家與大數(shù)據相關技術人士也將在未來幾年中獲得豐厚的薪酬回報。

業(yè)內人士作出預測，認為“大數(shù)據” 作為流行詞匯將徹底消失。“一切的一切最終都會被歸結為數(shù)據，僅此而已。大數(shù)據與所有以此為基礎的預測行為都將成為由分析師以及眾多‘大型’技術供應商負 責的‘數(shù)據管理’工作，”Hortonworks公司總裁Herb Cunitz在2012年12月的一篇博文中寫道。

Cunitz作出的“大數(shù)據”概念消亡預測可能為時過早，他提出了很重要的一項結論，即一切的一切最終都會被歸結為數(shù)據。只有管理這些信息所必需的工具會迎來變革?，F(xiàn)在就請大家跟隨我們的腳步，一同通過圖文了解與大數(shù)據緊密相關的統(tǒng)計及研究成果。

一、有多少數(shù)據被忽略掉了?

大多數(shù)企業(yè)估算稱，他們只對自身持有的約12%數(shù)據進行了分析，F(xiàn)orrester研究公司在最近的一項調查中發(fā)現(xiàn)。這到底是好消息還是壞消息?這個嘛，被 他們所忽略的88%數(shù)據當中很可能蘊藏著足以帶來數(shù)據驅動結論的寶貴信息。但從另一個角度看，他們也許明智地避免了由所謂“煮沸海洋”戰(zhàn)略所帶來的巨大資 源消耗。說起企業(yè)忽略絕大多數(shù)自有數(shù)據的理由，原因主要有兩點：第一是缺乏相關分析工具與“可控制”數(shù)據倉庫，第二則在于他們很難確切了解哪些信息能夠實 現(xiàn)價值、哪些則最好加以忽略，F(xiàn)orrester公司在報告中指出。

二、大數(shù)據相關工作崗位持續(xù)增長

大數(shù)據掀起的狂潮對于具備特定技能的從業(yè)人員來說不啻為一大福音。根據 Dice網站(一家專門服務于技術及工程專業(yè)人才的求職網站)的統(tǒng)計，目前業(yè)界對于數(shù)據專家的需求正持續(xù)激增。與上一年相比，目前針對NoSQL技術人員 的招聘崗位數(shù)量增長了54%，而面向“大數(shù)據人才”的崗位也上漲了46%，該網站在今年四月的報告中指出。雖然這樣的提升幅度令人印象深刻，不過與網絡安 全專家的職位需求相比仍然是小巫見大巫——后者的同比增長幅度高達162%。

三、大數(shù)據最終將成長至怎樣的規(guī)模?

在未來六年當中，數(shù)字化領域的數(shù)據問題將由目前的3.2 ZB(即澤字節(jié))增長到40 ZB。(1 ZB基本相當于10億TB。)“當我們審視即將席卷而來的數(shù)據量時，其龐大的規(guī)模真的很令人興奮，”Hortonworks公司CEO Rob Bearden在今年于加利福尼亞州圣何塞舉辦的2014 Hadoop峰會上表示?！皬默F(xiàn)在到2020年，企業(yè)所持有的數(shù)量問題將以每年50倍的速度遞增。我認為目前最重要的任務在于清醒地認識到，其中85%的 數(shù)據來自新興網絡數(shù)據源。”包括移動、社交媒體以及Web與機器生成數(shù)據在內的這些新興數(shù)據源將給全球企業(yè)帶來重大挑戰(zhàn)與不可錯過的發(fā)展機 遇，Bearden指出。

四、大數(shù)據等同于大財富

大數(shù)據相關崗位的薪酬相當突出。根據Burtch Works公司發(fā)布的2014年4月數(shù)據科學家薪酬報告，2014年數(shù)據科學家職位的基礎薪酬為每年12萬美元，相關管理崗位則為每年16萬美元。這一結 論以Burtch Works就業(yè)數(shù)據庫的分析為基礎，涉及超過170位數(shù)據科學家在采訪中的意見反饋。對于范疇更為廣泛的大數(shù)據相關專業(yè)人士而言，也就是那些“利用復雜的 定量分析技術對事務、相互作用或者其它人為因素進行數(shù)據化描述、從而得出結論及對應方案的從業(yè)者”，其整體薪酬同樣實現(xiàn)了顯著提升。這類工作人員在 2013年獲得的平均薪酬水平在每年9萬美元左右，而相關管理崗位則開出了每年14.5萬美元這一令人艷羨的平均工資。

五、大數(shù)據專業(yè)人士是否準備好迎接物聯(lián)網時代?

大多數(shù)IT專家表示他們還沒有開始為物聯(lián)網時代的來臨進行準備。Spiceworks公司今年四月對440位IT專業(yè)人士進行了調查，了解他們如何看待物聯(lián) 網并有針對性地推進前期準備工作。其中62%的受訪者來自北美地區(qū)，38%則來自EMEA(即歐洲、中東以及非洲)地區(qū)。超過一半(59%)的受訪者指 出，他們還沒有采取具體的步驟來處理未來產生自傳感器、攝像頭以及其它各類物聯(lián)網設備的海量數(shù)據。不過調查還發(fā)現(xiàn)，也有相當一部分IT專業(yè)人士開始切實籌 備物聯(lián)網相關事宜，包括向基礎設施、安全、應用以及分析機制進行投資，并同時擴大數(shù)據傳輸帶寬。

六、數(shù)據科學家：仍然性感、依舊迷人

2012 年10月《哈佛商業(yè)評論》發(fā)布了一篇抓人眼球的報道，其中將數(shù)據科學相關工作稱為“二十一世紀最性感的工作崗位”。這種說法存在一定爭議，不過如果把“性 感”當成是需求的代名詞則更容易理解，這是指數(shù)據科學家仍然擁有旺盛的市場需求。根據全球IT職業(yè)介紹服務供應商Modis的統(tǒng)計，目前數(shù)據科學家仍然處 于“需求高企但供應不足”的階段，換言之與大數(shù)據相關的博士學位持有者年平均薪酬都能超過六位數(shù)。

七、顫抖吧，數(shù)據倉庫：Hadoop就要將你取而代之了

數(shù)據倉庫業(yè)界是否該為Hadoop的迅速崛起而感到擔憂甚至恐慌?抑或是該向其敞開熱情的懷抱?Cloudera公司的Doug Cutting與Hortonworks公司的Arun Murthy作為Hadoop領域的兩位先驅者，在本屆Hadoop 2014峰會的問答環(huán)節(jié)中提出了這樣的問題。盡管很多企業(yè)開始將數(shù)據倉庫中的工作負載遷移到Hadoop環(huán)境當中，但這種作法仍然沒有成為主流。但未來情 況是否會有變化?“如果相當比例的用戶不再增加數(shù)據倉庫的規(guī)模，反而由于發(fā)現(xiàn)了Hadoop類系統(tǒng)在處理效率與負擔成本方面的優(yōu)勢而對數(shù)據倉庫方案進行投 資或者規(guī)?？s減處理，那我認為這確實應該算作一種威脅，”Cutting解釋道。

八、對于隱私的憂慮不會阻礙大數(shù)據的前進步伐

對于隱私與安全漏洞的擔憂與看似無窮無盡的問題解決道路不可能阻止大數(shù)據的發(fā)展進程?！督洕鷮W家》在今年六月的一篇報道中指出，“沒有證據表明隱私問題會給 數(shù)據的使用以及存儲方式帶來根本性轉變?！盙artner公司分析師Carsten Casper在接受該雜志采訪時表示，IT領域并沒有醞釀一場“隱私大革命”。而且盡管企業(yè)用戶始終在就隱私相關問題提出更多要求，但其中九成查詢其實指 向的都是本地數(shù)據中心，Casper補充稱。

九、大數(shù)據推動軟件市場快速增長

從2013年到2018年，全球軟件市場的年度復合增長率將在6%上下浮動，研究企業(yè)IDC公司預測稱。不過大數(shù)據相關門類，包括協(xié)作應用程序與數(shù)據訪問、分析與交付解決方案以及結構化數(shù)據管理軟件，將在未來五年內迎來更高的年度復合增長水平(約為9%)，IDC指出。

對于社交媒體的進一步關注也將有助于這種增長趨勢的持續(xù)?！吧缃幻襟w關注度與面向大數(shù)據及分析解決方案的需求增長可謂互相依托，二者將幫助企業(yè)理解并切實推 進對于客戶行為的預期以及與產品可靠性及維護相關的新思路，”IDC公司分析師Herny Morris在一份聲明中表示。

十、幾乎萬事萬物都將與網絡相連

物聯(lián)網將包含眾多千奇百怪但又精妙非常的設備，其中很多對于大數(shù)據領域來說都是前所未見的新鮮事物。有鑒于此，ABI研究公司的分析師們預計到2020年，全球無線聯(lián)網設備總量將超過300億。其中醫(yī)療相關數(shù)據收集方案將在物聯(lián)網時代下扮演重要角色。

下面我們來看一個獨特的例子：微軟與來自羅切斯特大學(紐約)以及南安普敦大學(英國)的研究人員們共同設計出一款智能紋胸，能夠借助傳感器檢測穿著者的心 跳與皮膚活性、從而計算出其壓力水平，BBC報道稱。這款紋胸能夠收集數(shù)據并將其發(fā)送至智能手機端的應用程序，從而利用穿戴式技術掌握用戶的壓力水平，進 而幫助其擺脫由壓力引發(fā)的暴飲暴食、保持良好的飲食習慣。

來源：中國統(tǒng)計網