工業(yè)大數(shù)據(jù)一般如何進行處理呢?我畫了一個相對通用的架構(gòu)圖來解釋一下:
工業(yè)大數(shù)據(jù)在業(yè)務(wù)邏輯大的分層上和互聯(lián)網(wǎng)大數(shù)據(jù)類似,一般都分為三部分,數(shù)據(jù)采集層、數(shù)據(jù)處理層和數(shù)據(jù)展現(xiàn)層,當然,具體到一個實際案例中,或者說根據(jù)不同的應(yīng)用場景,可以劃分為更多的層次,比如數(shù)據(jù)處理可以分為元數(shù)據(jù)管理層、數(shù)據(jù)交互層、數(shù)據(jù)分析層等等,如果你有興趣,可以把大數(shù)據(jù)劃分為N層。在分層的同時,還有許多同等重要的事情,例如安全保障、運維服務(wù)、測試規(guī)范等等,要都說清楚,基本也就搞不清楚工業(yè)大數(shù)據(jù)是怎么回事了。所以我們今天只討論通用的、簡化的、適用于一般場景的架構(gòu),而且僅僅是業(yè)務(wù)和邏輯層面的,技術(shù)層面的我們后面再詳細說明。
工業(yè)大數(shù)據(jù)系統(tǒng)非常重要的,也是基礎(chǔ)的層次是數(shù)據(jù)采集。沒有數(shù)據(jù)采集,所有的強大的、華麗的、技術(shù)非常NB的各種東東只能躲在黑暗里哭泣,英雄無用武之地。在這一層,也是工業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)差異非常大的一層,互聯(lián)網(wǎng)大樹的數(shù)據(jù)采集主要靠用戶的各種操作,例如網(wǎng)頁瀏覽、系統(tǒng)登錄、信息的互動、鼠標的點擊等,而工業(yè)大數(shù)據(jù)的數(shù)據(jù)來源更加多種多樣,最基本的是用于采集各類工業(yè)信號的傳感器,通過傳感器的采集,可以獲得機器設(shè)備的運行狀態(tài)、環(huán)境的指標、操作人的操作行為等各類信息。除通過傳感器采集的信息,還包括現(xiàn)場的視頻信息,各類圖像設(shè)備拍攝的圖片(例如,巡檢人員用手持設(shè)備拍攝的設(shè)備、環(huán)境信息圖片),語音及聲音信息(例如,操作人員的通話、設(shè)備運轉(zhuǎn)的音量等),遙感遙測信息等等,這些信息都是通過各類設(shè)備傳輸?shù)摹3酥?,還有操作人員手工錄入的各類信息,采集軟件抓取的企業(yè)內(nèi)網(wǎng)的信息、互聯(lián)網(wǎng)上與企業(yè)相關(guān)的信息等等。這些信息共同構(gòu)成了數(shù)據(jù)采集的來源。
數(shù)據(jù)采集領(lǐng)域也是自動化和信息化交叉最多的領(lǐng)域,其實也是一般IT從業(yè)人員比較頭疼的領(lǐng)域,跨學科嘛,哈!
數(shù)據(jù)采集結(jié)束后,就進入了數(shù)據(jù)處理階段,這一階段,軟件人員就可以大顯身手了,大部分技術(shù)都和互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)差不太多。通常,我們會對采集到的數(shù)據(jù)先進行一定程度的處理,各類工業(yè)協(xié)議需要解析、視頻流需要解碼、語音需要識別等等,識別處理好后再對數(shù)據(jù)進行規(guī)范、清洗,洗刷刷完成后,干凈數(shù)據(jù)才好用。需要立即處理的數(shù)據(jù),例如報警、監(jiān)測等,直接送到實時處理系統(tǒng)中進行處理,不著急的非急診數(shù)據(jù)請進入倉庫,按照類型存起來先。然后慢慢分析加工。存儲可能會用到多種數(shù)據(jù)庫,包括工業(yè)實時數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫、地理數(shù)據(jù)庫、分布式數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等,這些數(shù)據(jù)庫的整合、管理、鏈接又是工業(yè)大數(shù)據(jù)的一個難題,這個我們放到后面詳細談。今天先聊宏觀。
洗干凈、切成塊、冷凍好的紅燒肉,啊,不是,存儲好的工業(yè)數(shù)據(jù)如此之海量,怎么推送給用戶就成為數(shù)據(jù)可視化層要干的事情了。數(shù)據(jù)可視化最近也比較火,原先做報表的,現(xiàn)在都號稱大數(shù)據(jù)可視化公司了,其實,單純的大數(shù)據(jù)可視化是沒有意義的,沒有對工業(yè)業(yè)務(wù)的深入理解,很難做出讓客戶的滿意的可視化結(jié)果。可視化包括許多方式,如報表、二維地圖、三維地圖、三維模型、短信、手機APP、微信、大屏等等,總之,通過一切手段讓用戶看到自己想看的數(shù)據(jù)即可。
基于通用業(yè)務(wù)架構(gòu),都涉及到哪些技術(shù)環(huán)節(jié),需要了解哪些技術(shù)呢,咱們下一部分再來談這個問題。
(審核編輯: 智匯胡妮)