什麼是大數據，大數據技術有哪些

大數據，是指無法在可承受的時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合。大數據有譬如Hadoop等開源大數據項目的，程式語言的，以下就大數據底層技術説下。有四方面，其實也代表了部分通用大數據底層技術：Z-Suite具有高性能的大數據分析能力，她完全摒棄了向上升級(Scale-Up)，全面支持橫向擴展(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大數據：

操作方法

（01）跨粒度計算(In-DatabaseComputing)Z-Suite支持各種常見的彙總，還支持幾乎全部的專業統計函數。得益於跨粒度計算技術，Z-Suite數據分析引擎將找尋出最優化的計算方案，繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算，我們稱之為庫內計算(In-Database)。這一技術大大減少了數據移動，降低了通訊負擔，保證了高性能數據分析。

（02）並行計算(MPP Computing)Z-Suite是基於MPP架構的商業智能平台，她能夠把計算分佈到多個計算節點，再在指定節點將計算結果彙總輸出。Z-Suite能夠充分利用各種計算和存儲資源，不管是服務器還是普通的PC，她對網絡條件也沒有嚴苛的要求。作為橫向擴展的大數據平台，Z-Suite能夠充分發揮各個節點的計算能力，輕鬆實現針對TB/PB級數據分析的秒級響應。

（03）列存儲 (Column-Based)Z-Suite是列存儲的。基於列存儲的數據集市，不讀取無關數據，能降低讀寫開銷，同時提高I/O 的效率，從而大大提高查詢性能。另外，列存儲能夠更好地壓縮數據，一般壓縮比在5 -10倍之間，這樣一來，數據佔有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術，節省了存儲設備和內存的開銷，卻大大了提升計算性能。

（04）內存計算得益於列存儲技術和並行計算技術，Z-Suite能夠大大壓縮數據，並同時利用多個節點的計算能力和內存容量。一般地，內存訪問速度比磁盤訪問速度要快幾百倍甚至上千倍。通過內存計算，CPU直接從內存而非磁盤上讀取數據並對數據進行計算。內存計算是對傳統數據處理方式的一種加速，是實現大數據分析的關鍵應用技術。

特別提示

大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的“加工能力”，通過“加工”實現數據的“增值”。