大數據發展時代面臨的七個挑戰

2015-03-13 16:19 作者：艾銻無限

    大數據挑戰和機遇并存，大數據在未來幾年的發展將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段，大數據在未來幾年將逐漸步入理性發展期。未來的大數據發展依然存在諸多挑戰，但前景依然非常樂觀。

　大數據發展的挑戰

　　目前大數據的發展依然存在諸多挑戰，包括七大方面的挑戰：業務部門沒有清晰的大數據需求導致數據資產逐漸流失；企業內部數據孤島嚴重，導致數據價值不能充分挖掘；數據可用性低，數據質量差，導致數據無法利用；數據相關管理技術和架構落后，導致不具備大數據處理能力；數據安全能力和防范意識差，導致數據泄露；大數據人才缺乏導致大數據工作難以開展；大數據越開放越有價值，但缺乏大數據相關的政策法規，導致數據開放和隱私之間難以平衡，也難以更好的開放。

　挑戰一：業務部門沒有清晰的大數據需求

　很多企業業務部門不了解大數據，也不了解大數據的應用場景和價值，因此難以提出大數據的準確需求。由于業務部門需求不清晰，大數據部門又是非盈利部門，企業決策層擔心投入比較多的成本，導致了很多企業在搭建大數據部門時猶豫不決，或者很多企業都處于觀望嘗試的態度，從根本上影響了企業在大數據方向的發展，也阻礙了企業積累和挖掘自身的數據資產，甚至由于數據沒有應用場景，刪除很多有價值歷史數據，導致企業數據資產流失。因此，這方面需要大數據從業者和專家一起，推動和分享大數據應用場景，讓更多的業務人員了解大數據的價值。

　　挑戰二：企業內部數據孤島嚴重

　　企業啟動大數據最重要的挑戰是數據的碎片化。在很多企業中尤其是大型的企業，數據常常散落在不同部門，而且這些數據存在不同的數據倉庫中，不同部門的數據技術也有可能不一樣，這導致企業內部自己的數據都沒法打通。如果不打通這些數據，大數據的價值則非常難挖掘。大數據需要不同數據的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。如何將不同部門的數據打通，并且實現技術和工具共享，才能更好的發揮企業大數據的價值。

　挑戰三：數據可用性低，數據質量差

　很多中型以及大型企業，每時每刻也都在產生大量的數據，但很多企業在大數據的預處理階段很不重視，導致數據處理很不規范。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類型，對數據進行清洗和去噪，以提取有效的數據等操作。甚至很多企業在數據的上報就出現很多不規范不合理的情況。以上種種原因，導致企業的數據的可用性差，數據質量差，數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據信息，還有對收集到的數據進行很好的預處理處理，才有可能讓數據分析和數據挖掘人員從可用性高的大數據中提取有價值的信息。Sybase的數據表明，高質量的數據的數據應用可以顯著提升企業的商業表現，數據可用性提高10%，企業的業績至少提升在10%以上。

　　挑戰四：數據相關管理技術和架構

　技術架構的挑戰包含以下幾方面：(1)傳統的數據庫部署不能處理TB級別的數據，快速增長的數據量超越了傳統數據庫的管理能力。如何構建分布式的數據倉庫，并可以方便擴展大量的服務器成為很多傳統企業的挑戰；(2)很多企業采用傳統的數據庫技術，在設計的開始就沒有考慮數據類別的多樣性，尤其是對結構化數據、半結構化和非結構化數據的兼容；(3)傳統企業的數據庫，對數據處理時間要求不高，這些數據的統計結果往往滯后一天或兩天才能統計出來。但大數據需要實時處理數據，進行分鐘級甚至是秒級計算。傳統的數據庫架構師缺乏實時數據處理的能力；(4)海量的數據需要很好的網絡架構，需要強大的數據中心來支撐，數據中心的運維工作也將成為挑戰。如何在保證數據穩定、支持高并發的同時，減少服務器的低負載情況，成為海量數據中心運維的一個重點工作。

　　挑戰五：數據安全

　網絡化生活使得犯罪分子更容易獲得關于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會出現更高明的騙局。如何保證用戶的信息安全成為大數據時代非常重要的課題。在線數據越來越多，黑客犯罪的動機比以往都來的強烈，一些知名網站密碼泄露、系統漏洞導致用戶資料被盜等個人敏感信息泄露事件已經警醒我們，要加強大數據網絡安全的建設。另外，大數據的不斷增加，對數據存儲的物理安全性要求會越來越高，從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業的數據安全令人擔憂。

挑戰六：大數據人才缺乏

　大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支掌握大數據技術、懂管理、有大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的欠缺將阻礙大數據市場發展。據Gartner預測，到2015年，全球將新增440萬個與大數據相關的工作崗位，且會有25%的組織設立首席數據官職位。大數據的相關職位需要的是復合型人才，能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數據將會出現約100萬的人才缺口，在各個行業大數據中高端人才都會成為最炙手可熱的人才，涵蓋了大數據的數據開發工程師、大數據分析師、數據架構師、大數據后臺開發工程師、算法工程師等多個方向。因此需要高校和企業共同努力去培養和挖掘。目前最大的問題是很多高校缺乏大數據，所以擁有大數據的企業應該與學校聯合培養人才。

　　挑戰七：數據開放與隱私的權衡

　在大數據應用日益重要的今天，數據資源的開放共享已經成為在數據大戰中保持優勢的關鍵。商業數據和個人數據的共享應用，不僅能促進相關產業的發展，也能給我們的生活帶來巨大的便利。由于政府、企業和行業信息化系統建設往往缺少統一規劃，系統之間缺乏統一的標準，形成了眾多“信息孤島”，而且受行政壟斷和商業利益所限，數據開放程度較低，這給數據利用造成極大障礙。另外一個制約我國數據資源開放和共享的一個重要因素是政策法規不完善，大數據挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此，建立一個良性發展的數據共享生態系統，是我國大數據發展需要邁過去的一道砍。同時，開放與隱私如何平衡，也是大數據開放過程中面臨的最大難題。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私，逐步加強隱私立法，將是大數據時代的一個重大挑戰。