最近幾年，新技術(shù)在快速普及，而很多概念在專家還沒有形成統(tǒng)一定義的時(shí)候，就快速被大眾關(guān)注；大數(shù)據(jù)概念就是這樣的概念，雖然非常普及，但不同人有不同的理解，這樣在交流中反倒容易引起誤解。今天想闡述一下大數(shù)據(jù)的概念。

大數(shù)據(jù)不是傳統(tǒng)的數(shù)據(jù)技術(shù)

我了解大數(shù)據(jù)的概念大概是在2012年，那個(gè)時(shí)候剛剛參與物聯(lián)網(wǎng)的媒體，在物聯(lián)網(wǎng)概念之后，大數(shù)據(jù)概念一直是科技領(lǐng)域、政府部門、企業(yè)關(guān)注的熱點(diǎn)。但是在那個(gè)時(shí)候，中國企業(yè)通過IT技術(shù)利用數(shù)據(jù)的經(jīng)驗(yàn)遠(yuǎn)遠(yuǎn)落后于先進(jìn)國家的應(yīng)用。

技術(shù)領(lǐng)先的國家，在大數(shù)據(jù)概念之前，已經(jīng)有了豐富的利用數(shù)據(jù)的經(jīng)驗(yàn)，比如數(shù)據(jù)挖掘技術(shù)、BI、ODS等技術(shù)在現(xiàn)今國家已經(jīng)有了非常豐富的案例。而早期利用數(shù)據(jù)，因?yàn)閿?shù)據(jù)獲取成本高，只能是對(duì)精選的數(shù)據(jù)進(jìn)行處理，這個(gè)時(shí)候統(tǒng)計(jì)學(xué)的數(shù)據(jù)原理、以及分類聚合、尋找關(guān)聯(lián)性等技術(shù)是數(shù)據(jù)的主要技術(shù)。

而中國企業(yè)在2012年時(shí)，在應(yīng)用數(shù)據(jù)方面落后于發(fā)達(dá)國家，僅有個(gè)別行業(yè)、個(gè)別企業(yè)利用了信息系統(tǒng)的數(shù)據(jù)創(chuàng)造價(jià)值。

而當(dāng)大數(shù)據(jù)概念進(jìn)入中國之后，很多中國企業(yè)分不清楚大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)處理之間的關(guān)系，很多人把利用數(shù)據(jù)的工作都叫做大數(shù)據(jù)，導(dǎo)致了概念的混淆。甚至一些大學(xué)教授，ODS功能叫做大數(shù)據(jù)是根本錯(cuò)誤的。

大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)技術(shù)的差別：

1、數(shù)據(jù)規(guī)模大：傳統(tǒng)數(shù)據(jù)技術(shù)主要是利用現(xiàn)有存在關(guān)系性數(shù)據(jù)庫中的數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行分析、處理，找到一些關(guān)聯(lián)，并利用數(shù)據(jù)關(guān)聯(lián)性創(chuàng)造價(jià)值。這些數(shù)據(jù)的規(guī)模相對(duì)較小，可以利用數(shù)據(jù)庫的分析工具處理。而大數(shù)據(jù)的數(shù)據(jù)量非常大，不可能利用數(shù)據(jù)庫分析工具分析。

2、非結(jié)構(gòu)化數(shù)據(jù)：傳統(tǒng)數(shù)據(jù)主要在關(guān)系性數(shù)據(jù)庫中分析，而大數(shù)據(jù)可以處理圖像、聲音、文件等非結(jié)構(gòu)化數(shù)據(jù)。

3、處理方式不同：因?yàn)閿?shù)據(jù)規(guī)模大、非結(jié)構(gòu)化數(shù)據(jù)這兩方面因素，導(dǎo)致大數(shù)據(jù)在分析時(shí)不能取全部數(shù)據(jù)做分析。大數(shù)據(jù)分析時(shí)如何選取數(shù)據(jù)？這就需要根據(jù)一些標(biāo)簽來抽取數(shù)據(jù)。所以大數(shù)據(jù)處理過程中，比傳統(tǒng)數(shù)據(jù)增加了一個(gè)過程Stream。就是在寫入數(shù)據(jù)的時(shí)候，在數(shù)據(jù)上打一個(gè)標(biāo)簽，之后在利用大數(shù)據(jù)的時(shí)候，根據(jù)標(biāo)簽抽取數(shù)據(jù)。這個(gè)過程就類似于尋找圖書：如果你在你個(gè)人書柜里，尋找一本書是很容易的，所以你買了書，可以直接放到書柜上，不用做任何處理；而如果圖書館買了書，如果不做任何處理的話，你是很難找到一本書的，所以圖書館在新書入庫的時(shí)候，首先會(huì)對(duì)每本書打上標(biāo)簽，而這個(gè)打標(biāo)簽的過程，就是類似于Stream的工作。

XML技術(shù)是大數(shù)據(jù)Stream的基礎(chǔ)

在探索大數(shù)據(jù)的技術(shù)基礎(chǔ)的時(shí)候，很多人都容易忽視XML技術(shù)。

XML是eXtensible Markup Language的英文縮寫，將文件加上可以擴(kuò)展（可以自定義）的標(biāo)簽的語言。

XML是在2000年左右非常熱門的技術(shù)，其快速發(fā)展促進(jìn)了很多技術(shù)的進(jìn)步：html5技術(shù)發(fā)展，通過SOA技術(shù)實(shí)現(xiàn)跨平臺(tái)功能調(diào)用，文檔格式的統(tǒng)一等等。

使用XML標(biāo)記的XSLT語言，是擴(kuò)展樣式表轉(zhuǎn)換語言，可以將XML文件轉(zhuǎn)化成任何樣式的文本。

隨著XML技術(shù)的發(fā)展，很多文件都是用XML格式存儲(chǔ)，比如Word文檔等。打上XML標(biāo)簽的數(shù)據(jù)可以非常容易的通過XSLT抽取出來。

XML技術(shù)可以方便的為數(shù)據(jù)打上標(biāo)簽，并能快速通過標(biāo)簽抽取數(shù)據(jù)，一方面可以在超越關(guān)系數(shù)據(jù)庫范圍之外的更大范圍處理數(shù)據(jù)；另外可以支持非結(jié)構(gòu)化數(shù)據(jù)的處理。所以XML技術(shù)是大數(shù)據(jù)發(fā)展的最基礎(chǔ)的技術(shù)。

云計(jì)算技術(shù)為大數(shù)據(jù)提供高性價(jià)比的計(jì)算和存儲(chǔ)能力

數(shù)據(jù)可以創(chuàng)造價(jià)值，但大數(shù)據(jù)處理需要強(qiáng)大的計(jì)算和存儲(chǔ)能力。而在早期，這么強(qiáng)大的計(jì)算和存儲(chǔ)能力需要在大型機(jī)上實(shí)現(xiàn)。大型機(jī)價(jià)格昂貴，早期可以使用數(shù)據(jù)創(chuàng)造價(jià)值的企業(yè)都是非常富有的企業(yè)，比如電信運(yùn)營商、銀行類的企業(yè)。

早期國內(nèi)數(shù)據(jù)處理能力強(qiáng)的企業(yè)都是銀行、電信運(yùn)營商的供應(yīng)商。

而云計(jì)算技術(shù)的發(fā)展，可以讓大量的價(jià)格便宜的PC機(jī)匯聚起來，形成類似于大型機(jī)的計(jì)算和存儲(chǔ)能力，而成本又非常低。這個(gè)時(shí)候數(shù)據(jù)分析的成本就可以被更多的企業(yè)所承擔(dān)，從而形成對(duì)數(shù)據(jù)分析需求的一個(gè)爆發(fā)。

云計(jì)算對(duì)計(jì)算和存儲(chǔ)能力的可擴(kuò)展性，對(duì)數(shù)據(jù)的分布式處理方式，促發(fā)了大數(shù)據(jù)概念的誕生。

物聯(lián)網(wǎng)為大數(shù)據(jù)提供豐富的數(shù)據(jù)來源

早期的數(shù)據(jù)處理，其數(shù)據(jù)來源主要是通過手工輸入、在手工輸入數(shù)據(jù)通過計(jì)算機(jī)處理之后形成的數(shù)據(jù)；這樣的數(shù)據(jù)還是有限的。

而物聯(lián)網(wǎng)技術(shù)的發(fā)展，更多的傳感設(shè)備可以自動(dòng)采集數(shù)據(jù)，并能夠通過通訊技術(shù)、云計(jì)算技術(shù)匯聚到一個(gè)平臺(tái)上，從而極大的豐富了數(shù)據(jù)來源。

物聯(lián)網(wǎng)技術(shù)讓數(shù)據(jù)可以成幾何級(jí)數(shù)的增長，為大數(shù)據(jù)提供了豐富的數(shù)據(jù)來源，從而促發(fā)了對(duì)數(shù)據(jù)分析技術(shù)的需求，豐富了大數(shù)據(jù)應(yīng)用。

而物聯(lián)網(wǎng)最終獲得價(jià)值，也是通過大數(shù)據(jù)積累到一定量之后，形成智慧，創(chuàng)造價(jià)值的。

未來人工智能、物聯(lián)網(wǎng)、智能制造創(chuàng)造價(jià)值，都離不開大數(shù)據(jù)的價(jià)值。