免费色播,亚洲国产欧美国产第一区二区三区,毛片看,日本精品在线观看视频,国产成人精品一区二区免费视频,日本黄色免费网站,一级毛片免费

數(shù)據(jù)融合:大數(shù)據(jù)應(yīng)用與智能決策瓶頸

來源:財(cái)新網(wǎng)

點(diǎn)擊:941

A+ A-

所屬頻道:新聞中心

關(guān)鍵詞:云計(jì)算,大數(shù)據(jù),大數(shù)據(jù)應(yīng)用

        如何根據(jù)每個(gè)數(shù)據(jù)分析項(xiàng)目量體定制,融合多源數(shù)據(jù)以形成有效的分析數(shù)據(jù)集,是每個(gè)數(shù)據(jù)科學(xué)家必須面對的具有挑戰(zhàn)性的瓶頸。

                               數(shù)據(jù)融合:大數(shù)據(jù)應(yīng)用與智能決策瓶頸


      利用互聯(lián)網(wǎng)購物的營銷數(shù)據(jù)來追蹤和勾畫消費(fèi)行為并以此為據(jù)促銷是大數(shù)據(jù)應(yīng)用的成功典型案例。有些人已此將大數(shù)據(jù)吹得神乎其神,好像它能成為萬能藥。其實(shí),這只是大數(shù)據(jù)應(yīng)用中的很小一部分。作為智能決策的支持手段之一,大數(shù)據(jù)在企業(yè)、事業(yè)、政府、社會(huì)管理和發(fā)展上的應(yīng)用是更重要的挑戰(zhàn)。在這里,多源數(shù)據(jù)的融合就成為大數(shù)據(jù)分析中的瓶頸。

      每個(gè)親身參加過大數(shù)據(jù)項(xiàng)目的數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師、數(shù)據(jù)庫管理員都會(huì)告訴你,項(xiàng)目的80%的時(shí)間和經(jīng)費(fèi)花在數(shù)據(jù)的準(zhǔn)備工作上。這其中多源數(shù)據(jù)的融合是最耗費(fèi)資源的任務(wù)之一。難怪最近紐約時(shí)報(bào)驚呼:“數(shù)據(jù)科學(xué)家把高達(dá)80%的時(shí)間用于數(shù)據(jù)準(zhǔn)備而不是用來發(fā)現(xiàn)新的商業(yè)智能”。

      傳統(tǒng)的統(tǒng)計(jì)分析經(jīng)常是對單一數(shù)據(jù)源(營銷數(shù)據(jù)、行政報(bào)表、問卷調(diào)查、人口普查等)進(jìn)行深入的追蹤和分析。分析人員對數(shù)據(jù)的來源和結(jié)構(gòu)有一定的控制和深層的了解。在大數(shù)據(jù)時(shí)代,數(shù)據(jù)源是多樣的、自然形成的、海量的數(shù)據(jù)常常是半結(jié)構(gòu)或無結(jié)構(gòu)的。這就要求數(shù)據(jù)科學(xué)家和分析師駕馭多樣、多源的數(shù)據(jù),將它們梳理后進(jìn)行挖掘和分析。在這個(gè)過程中,數(shù)據(jù)融合就成為不可或缺的一步。

      數(shù)據(jù)融合與數(shù)據(jù)倉庫、數(shù)據(jù)一體化不同。它的目的不是將一個(gè)企業(yè)或組織的所有數(shù)據(jù)集中在一起并標(biāo)準(zhǔn)化而產(chǎn)生唯一的真相。它是以產(chǎn)生決策智能為目標(biāo)將多種數(shù)據(jù)源中的相關(guān)數(shù)據(jù)提取、融合、梳理整合成一個(gè)分析數(shù)據(jù)集。這個(gè)分析數(shù)據(jù)集是個(gè)獨(dú)立的和靈活的實(shí)體,可隨數(shù)據(jù)源的變化重組、調(diào)整和更新。數(shù)據(jù)融合勝于數(shù)據(jù)倉庫和數(shù)據(jù)一體化的另一點(diǎn)是它能包容多源數(shù)據(jù)。

       數(shù)據(jù)融合有六個(gè)基本步驟:

      (1)連接所需多源數(shù)據(jù)庫并獲取相關(guān)數(shù)據(jù),

     ?。?)研究和理解所獲得的數(shù)據(jù),

      (3)梳理和清理數(shù)據(jù),

      (4)數(shù)據(jù)轉(zhuǎn)換和建立結(jié)構(gòu),

      (5)數(shù)據(jù)組合,

     ?。?)建立分析數(shù)據(jù)集。

      這個(gè)過程的每一步都需要數(shù)據(jù)工作者認(rèn)真細(xì)致的思考、辨認(rèn)、測試、清理、最后產(chǎn)生可信賴、有意義的分析數(shù)據(jù)庫。在過去,這個(gè)數(shù)據(jù)準(zhǔn)備過程很大程度上是通過手動(dòng),十分費(fèi)時(shí)和艱辛。即使有數(shù)據(jù)處理的軟件(如Excel,SAS,SPSS等),每個(gè)數(shù)據(jù)工作者也都是自己使用所熟悉的工具,形成個(gè)性化的,充其量是半自動(dòng)的數(shù)據(jù)準(zhǔn)備程序。最近幾年,大數(shù)據(jù)技術(shù)公司將數(shù)據(jù)處理整合過程中相關(guān)技術(shù)集合,組合,提升后開發(fā)出專門用于數(shù)據(jù)融合的新工具。應(yīng)用這些直觀、可視、高效的軟件工具,數(shù)據(jù)準(zhǔn)備的過程的工效大大提高,在一定程度上解決了數(shù)據(jù)融合的技術(shù)瓶頸。

      數(shù)據(jù)融合的另一瓶頸是思維。打個(gè)比方,數(shù)據(jù)融合就像水泥的現(xiàn)場合成。水泥制作可以從人工攪拌變?yōu)闄C(jī)械合成,提高了工效。但水泥配置仍需要正確的配方;沙、石、混凝土的比例,以及相關(guān)化學(xué)成份的添加對達(dá)到水泥的質(zhì)量標(biāo)準(zhǔn)至關(guān)重要。數(shù)據(jù)處理新工具使數(shù)據(jù)科學(xué)家從數(shù)據(jù)準(zhǔn)備的繁瑣工作中解放了出來,但如何根據(jù)每個(gè)數(shù)據(jù)分析項(xiàng)目量體定制,融合多源數(shù)據(jù)以形成有效的分析數(shù)據(jù)集仍是數(shù)據(jù)科學(xué)家必須面對的一個(gè)更具挑戰(zhàn)性的瓶頸。

      多源的數(shù)據(jù)可以歸納為三大類:

      (1)一手?jǐn)?shù)據(jù),包括企業(yè)或組織直接采集掌控的內(nèi)部運(yùn)行數(shù)據(jù)和營銷數(shù)據(jù),

      (2)二級數(shù)據(jù),第三者采集、整理、和提供的二手?jǐn)?shù)據(jù),如經(jīng)濟(jì)指標(biāo)、人口普查、民意調(diào)查、網(wǎng)路數(shù)據(jù)等,

     ?。?)科學(xué)數(shù)據(jù),包括科學(xué)研究的成果、指數(shù)、算法、模型等。

      這三類數(shù)據(jù)為數(shù)據(jù)為驅(qū)動(dòng)的智能決策提供了不同的觀察角度。一手?jǐn)?shù)據(jù)具體、靈活、快速積累能夠?qū)崟r(shí)或接近實(shí)時(shí)地為決策者提供監(jiān)測、追蹤、描述信息。二級數(shù)據(jù)一般是定期公布的數(shù)據(jù),它能提供國家、地區(qū)、行業(yè)的狀況信息,成為數(shù)據(jù)分析中的可比性坐標(biāo)。科學(xué)數(shù)據(jù)的更新是不定時(shí)的,但它代表著目前科研成果,對數(shù)據(jù)分析的建模和算法提供科學(xué)基礎(chǔ)。在大數(shù)據(jù)分析項(xiàng)目中,數(shù)據(jù)科學(xué)家需要針對具體研究課題同時(shí)收集、整理、融合相關(guān)的三類數(shù)據(jù)。數(shù)據(jù)科學(xué)家的水平就體現(xiàn)在將三類數(shù)據(jù)合理、有效、有意義的融合上。

      數(shù)據(jù)融合是目前大數(shù)據(jù)應(yīng)用和智能決策過程中一個(gè)瓶頸。這個(gè)挑戰(zhàn)引發(fā)了新一輪大數(shù)據(jù)工具的快速發(fā)展。根據(jù)2016年高德納公司數(shù)據(jù)管理和分析軟件工具的評估報(bào)告,自我服務(wù)式數(shù)據(jù)準(zhǔn)備軟件已成為發(fā)展最快的工具之一。這一發(fā)展趨勢應(yīng)引起我們的關(guān)注。同時(shí),數(shù)據(jù)融合的思維瓶頸仍是所有數(shù)據(jù)科學(xué)家必須面對的更高層次的挑戰(zhàn)。


    (審核編輯: 智慧羽毛)

    聲明:除特別說明之外,新聞內(nèi)容及圖片均來自網(wǎng)絡(luò)及各大主流媒體。版權(quán)歸原作者所有。如認(rèn)為內(nèi)容侵權(quán),請聯(lián)系我們刪除。