Gartner發(fā)布2019年十大數(shù)據(jù)與分析技術(shù)趨勢(shì)

　　今年，我們將看到更多公司和企業(yè)開始結(jié)合各種新興信息技術(shù)，如AI、區(qū)塊鏈等技術(shù)趨勢(shì)。當(dāng)越來(lái)越多的創(chuàng)新公司這樣做時(shí)，就將經(jīng)歷格式塔轉(zhuǎn)變并從不同的角度看待他們的公司。那些成功遵循這條道路的組織將轉(zhuǎn)變?yōu)閿?shù)據(jù)組織。Gartner建議數(shù)據(jù)和分析領(lǐng)導(dǎo)者與高級(jí)業(yè)務(wù)負(fù)責(zé)人討論他們的關(guān)鍵業(yè)務(wù)優(yōu)先級(jí)，并探索如何針對(duì)以下10個(gè)主要趨勢(shì)去實(shí)現(xiàn)這些優(yōu)先級(jí)策略布局。

　　增強(qiáng)分析

　　數(shù)據(jù)分析的下一階段是數(shù)據(jù)增強(qiáng)分析，為分析計(jì)劃帶來(lái)自動(dòng)化和新的程度的洞察力。

　　數(shù)據(jù)分析的下一階段的根本性轉(zhuǎn)變已經(jīng)開始了。就像第二波自助商業(yè)智能破壞了第一波傳統(tǒng)商務(wù)智能，第三波增強(qiáng)分析技術(shù)將再次改變游戲規(guī)則。早期采用增強(qiáng)分析技術(shù)的用戶，以前所未有的速度洞察力和增強(qiáng)的競(jìng)爭(zhēng)優(yōu)勢(shì)。

　　增強(qiáng)的分析應(yīng)用程序通過(guò)無(wú)偏差的正確準(zhǔn)備的數(shù)據(jù)在右手中提供了驚人的結(jié)果。 由于自動(dòng)化分析依賴于統(tǒng)計(jì)技術(shù)，因此不足以代表業(yè)務(wù)流程的不準(zhǔn)確，有偏差或質(zhì)量差的數(shù)據(jù)將提供低質(zhì)量的結(jié)果。

　　增強(qiáng)數(shù)據(jù)管理

　　隨著以云計(jì)算，大數(shù)據(jù)，移動(dòng)和社交為主要特征的第三平臺(tái)的發(fā)展，數(shù)據(jù)正在變成企業(yè)的核心驅(qū)動(dòng)力，企業(yè)對(duì)于數(shù)據(jù)的使用成為其競(jìng)爭(zhēng)力的核心組成部分。所以企業(yè)中產(chǎn)生了越來(lái)越多生產(chǎn)數(shù)據(jù)的拷貝用于備份/恢復(fù)，開發(fā)測(cè)試，統(tǒng)計(jì)分析，準(zhǔn)業(yè)務(wù)平臺(tái)搭建，數(shù)據(jù)恢復(fù)有效性驗(yàn)證等目的。

　　在當(dāng)前產(chǎn)業(yè)環(huán)境下，大量行業(yè)用戶都已將核心業(yè)務(wù)遷移到自動(dòng)化系統(tǒng)，自動(dòng)化系統(tǒng)的運(yùn)行往往需要在業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)，這勢(shì)必會(huì)耗費(fèi)業(yè)務(wù)系統(tǒng)的資源，對(duì)業(yè)務(wù)系統(tǒng)的效率、穩(wěn)定性造成極大影響。而增強(qiáng)數(shù)據(jù)管理通過(guò)對(duì)數(shù)據(jù)管理流程的重塑，實(shí)現(xiàn)了簡(jiǎn)化數(shù)據(jù)使用、節(jié)約存儲(chǔ)空間、增強(qiáng)數(shù)據(jù)管理這幾大目標(biāo)，在降低對(duì)業(yè)務(wù)系統(tǒng)壓力的同時(shí)，實(shí)現(xiàn)更敏捷的數(shù)據(jù)使用。

　　持續(xù)智能

　　來(lái)自所有數(shù)據(jù)的持續(xù)智能不是描述實(shí)時(shí)，速度或吞吐量的另一個(gè)短語(yǔ)。它是關(guān)于從所有數(shù)據(jù)中獲得連續(xù)業(yè)務(wù)價(jià)值的無(wú)摩擦循環(huán)時(shí)間。它是一種現(xiàn)代機(jī)器驅(qū)動(dòng)的分析方法，無(wú)論有多少數(shù)據(jù)源或數(shù)量多大，您都可以快速獲取所有數(shù)據(jù)并加速所需的分析。 它不是一次這樣做，而是讓機(jī)器自動(dòng)化，因此它是連續(xù)的，無(wú)摩擦的。

　　通過(guò)使用各種技巧和工具，有很多方法可以快速進(jìn)行分析。但是，如果它引導(dǎo)您進(jìn)入一個(gè)新的思維鏈，需要一直回到加載更多數(shù)據(jù)，建模，集成它并在每次業(yè)務(wù)出現(xiàn)新問(wèn)題時(shí)調(diào)整儀表板。

　　現(xiàn)在，人工智能驅(qū)動(dòng)的分析已經(jīng)通過(guò)應(yīng)用當(dāng)今數(shù)據(jù)處理平臺(tái)的巨大力量來(lái)自動(dòng)解釋和協(xié)調(diào)來(lái)自不同來(lái)源的數(shù)據(jù)?，F(xiàn)在，任何人都可以將AI驅(qū)動(dòng)的分析系統(tǒng)指向復(fù)雜的數(shù)據(jù)源進(jìn)行推斷和協(xié)調(diào)，系統(tǒng)可以完成工作并立即向業(yè)務(wù)發(fā)送持續(xù)的視覺(jué)洞察。業(yè)務(wù)決策的數(shù)據(jù)變得持續(xù)。

　　可解釋的AI

　　人工智能出現(xiàn)以后，似乎正在逐步滲透到我們生活中的每個(gè)角落，其中不乏它為我們做出了一些非常重要的決定，比如，身體里的腫瘤是不是已經(jīng)發(fā)生癌變;是否應(yīng)該同意或拒絕保險(xiǎn)索賠;旅客是不是應(yīng)該被批準(zhǔn)通過(guò)機(jī)場(chǎng)安檢，甚至是否授權(quán)導(dǎo)彈發(fā)射以及是否批準(zhǔn)自動(dòng)駕駛汽車的制動(dòng)，等等。

　　最重要的是，這顯然意味著應(yīng)該提供關(guān)于如何獲得模型的響應(yīng)的見(jiàn)解。直接的后果是，由于易于解釋，將可能方法的范圍縮小到最簡(jiǎn)單的方法，除非我們找到方法將上下文添加到最先進(jìn)算法的預(yù)測(cè)中。更何況，這種趨勢(shì)更多是因?yàn)楸O(jiān)管約束的強(qiáng)化而不是緩慢的。

　　圖形分析

　　圖形分析是一個(gè)快速發(fā)展的研究領(lǐng)域，其中圖形理論，統(tǒng)計(jì)和數(shù)據(jù)庫(kù)技術(shù)的組合應(yīng)用于圖形結(jié)構(gòu)數(shù)據(jù)的建模，存儲(chǔ)，檢索和性能分析。這些技術(shù)使研究人員能夠理解網(wǎng)絡(luò)的結(jié)構(gòu)及其在不同條件下的變化，找到滿足不同約束的實(shí)體對(duì)之間的路徑，識(shí)別圖中的簇或緊密交互的子組，或查找與給定模式類似的子圖。

　　對(duì)于這些和許多其他任務(wù)，重要的是將一個(gè)數(shù)據(jù)視為表示對(duì)象和表示它們之間關(guān)系的對(duì)象和邊的節(jié)點(diǎn)或頂點(diǎn)的圖(網(wǎng)絡(luò))。對(duì)于諸如傳感器網(wǎng)絡(luò)的許多應(yīng)用領(lǐng)域，圖形可能很大并且具有十億個(gè)節(jié)點(diǎn)和邊緣。

　　可以基于邊緣是否具有取向來(lái)定向或不定向圖形。如果每對(duì)頂點(diǎn)通過(guò)路徑連接，則連接無(wú)向圖。具有與每個(gè)邊相關(guān)聯(lián)的權(quán)重的圖被稱為加權(quán)圖。用于網(wǎng)絡(luò)分析，基因組學(xué)，社交網(wǎng)絡(luò)分析和其他領(lǐng)域的大規(guī)模圖形處理的計(jì)算要求需要強(qiáng)大且高效的計(jì)算性能，只有加速器才能提供。

　　數(shù)據(jù)結(jié)構(gòu)/數(shù)據(jù)網(wǎng)格

　　數(shù)據(jù)網(wǎng)格是一種架構(gòu)和一系列數(shù)據(jù)服務(wù)，可以為內(nèi)部環(huán)境和多云環(huán)境中的多種端點(diǎn)提供一致統(tǒng)一的功能。它可簡(jiǎn)化并集成云端和內(nèi)部環(huán)境的數(shù)據(jù)管理，有助于加快數(shù)字化轉(zhuǎn)型的步伐。它提供一致統(tǒng)一的集成混合云數(shù)據(jù)服務(wù)，用于改善數(shù)據(jù)可見(jiàn)性和洞察力、據(jù)訪問(wèn)和控制，以及數(shù)據(jù)保護(hù)和安全。

　　面對(duì)巨大的壓力，IT 主管們迫切需要在有限的時(shí)間內(nèi)，運(yùn)用有限的技能和預(yù)算駕馭當(dāng)今的海量數(shù)據(jù)，并利用這些數(shù)據(jù)為整個(gè)企業(yè)創(chuàng)造新的價(jià)值。 與此同時(shí)，數(shù)據(jù)不再是隱藏在防火墻之后的加密設(shè)備上，而是越來(lái)越呈現(xiàn)分布式、動(dòng)態(tài)性和多樣化的特點(diǎn)，而且數(shù)據(jù)量驚人，管理起來(lái)極為困難。

　　數(shù)據(jù)網(wǎng)格最終幫助企業(yè)釋放數(shù)據(jù)潛能，滿足業(yè)務(wù)需求并贏得競(jìng)爭(zhēng)優(yōu)勢(shì)。 它可以幫助 IT 部門更充分地發(fā)揮混合云的無(wú)限潛能，構(gòu)建下一代數(shù)據(jù)中心并通過(guò)數(shù)據(jù)管理打造現(xiàn)代化的存儲(chǔ)。

　　NLP/會(huì)話分析

　　NLP是計(jì)算機(jī)以一種聰明而有用的方式分析，理解和從人類語(yǔ)言中獲取意義的一種方式。通過(guò)利用NLP，開發(fā)者可以組織和構(gòu)建知識(shí)來(lái)執(zhí)行自動(dòng)摘要，翻譯，命名實(shí)體識(shí)別，關(guān)系提取，情感分析，語(yǔ)音識(shí)別和話題分割等任務(wù)。

　　目前NLP的方法是基于深度學(xué)習(xí)，這是一種AI，它檢查和使用數(shù)據(jù)中的模式來(lái)改善程序的理解。深度學(xué)習(xí)模型需要大量的標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練和識(shí)別相關(guān)的相關(guān)性，匯集這種大數(shù)據(jù)集是當(dāng)前NLP的主要障礙之一。

　　NLP算法通常基于機(jī)器學(xué)習(xí)算法。NLP可以依靠機(jī)器學(xué)習(xí)來(lái)自動(dòng)學(xué)習(xí)這些規(guī)則，而不是手工編碼大量的規(guī)則集，通過(guò)分析一系列的例子(如，一個(gè)大的數(shù)據(jù)庫(kù)，像一本書，直到一堆句子的集合)，并且做一個(gè)靜態(tài)的推論。一般來(lái)說(shuō)，分析的數(shù)據(jù)越多，模型越精確。社交媒體分析是NLP使用的一個(gè)很好的例子。品牌在線跟蹤對(duì)話以了解客戶的意見(jiàn)，并洞悉用戶行為。

　　區(qū)塊鏈

　　區(qū)塊鏈與往年的不同之處在于，2019年我們將看到第一批真正的企業(yè)應(yīng)用程序正在使用中。不是在談?wù)撻_發(fā)分散式應(yīng)用程序的各種區(qū)塊鏈初創(chuàng)公司，也不是在談?wù)摳拍钭C明。在2019年，將看到大公司使用區(qū)塊鏈來(lái)改善行業(yè)協(xié)作。

　　區(qū)塊鏈的用戶數(shù)據(jù)隱私保護(hù)是一個(gè)新方向，接下來(lái)預(yù)計(jì)會(huì)看到越來(lái)越多的創(chuàng)業(yè)者和密碼學(xué)專家加入了這個(gè)行業(yè)，投入大量資源進(jìn)行研究?，F(xiàn)在這個(gè)方向已經(jīng)非常明確，通過(guò)加密算法保護(hù)用戶隱私數(shù)據(jù)，通過(guò)區(qū)塊鏈激勵(lì)機(jī)制在機(jī)構(gòu)和用戶之間分配價(jià)值，這是區(qū)塊鏈的優(yōu)勢(shì)所在。

　　商業(yè)AI和ML

　　商業(yè)供應(yīng)商現(xiàn)在已經(jīng)在開源生態(tài)系統(tǒng)中構(gòu)建了連接器，它們提供了擴(kuò)展AI和ML所需的企業(yè)功能，例如項(xiàng)目和模型管理、循環(huán)利用、透明度提升，為數(shù)據(jù)以及開源技術(shù)缺乏的平臺(tái)提供凝聚力和集成。

　　到2022年，75%利用AI和ML技術(shù)的新終端用戶解決方案將采用商業(yè)解決方案而非開源平臺(tái)構(gòu)建。

　　持久性內(nèi)存服務(wù)器

　　持久性內(nèi)存非常適合需要頻繁訪問(wèn)大型復(fù)雜數(shù)據(jù)集的環(huán)境。持久存儲(chǔ)器是內(nèi)存/存儲(chǔ)層次結(jié)構(gòu)的新增功能，可彌補(bǔ)DRAM和存儲(chǔ)之間的差距，通過(guò)提供更靠近處理器的非易失性，低延遲存儲(chǔ)器，實(shí)現(xiàn)更大的數(shù)據(jù)管理靈活性。因?yàn)樗v留在DRAM總線上，所以持久存儲(chǔ)器可以提供對(duì)關(guān)鍵數(shù)據(jù)的超快速DRAM訪問(wèn)。將傳統(tǒng)存儲(chǔ)的數(shù)據(jù)可靠性與超低延遲和高帶寬相結(jié)合，使設(shè)計(jì)人員能夠以全新的方式優(yōu)化系統(tǒng)并管理數(shù)據(jù)。

　　持久性內(nèi)存非常適合需要頻繁訪問(wèn)大型復(fù)雜數(shù)據(jù)集的環(huán)境，以及對(duì)因電源故障或系統(tǒng)崩潰導(dǎo)致的停機(jī)時(shí)間敏感的環(huán)境。應(yīng)用程序包括大數(shù)據(jù)分析，存儲(chǔ)設(shè)備，RAID緩存，內(nèi)存數(shù)據(jù)庫(kù)，存儲(chǔ)索引的元數(shù)據(jù)服務(wù)器以及在線事務(wù)處理。

　　隨著我們進(jìn)入到未來(lái)，存儲(chǔ)數(shù)據(jù)這個(gè)基本概念將從鐵磁材料顆粒翻轉(zhuǎn)極性變成可直接尋址的異常小的硅片層，可以快速操作和讀取。由于硬件在變化，我們使用硬件的方式也應(yīng)該隨之變化。

　　結(jié)尾

　　2019年將成為真理年。不僅從區(qū)塊鏈的角度來(lái)看，它為行業(yè)合作伙伴提供了單一版本的事實(shí)，而且還提供了物聯(lián)網(wǎng)安全性以及政府和商業(yè)組織之間激烈的軍備競(jìng)賽?？偠灾?dāng)我們?yōu)橐詳?shù)據(jù)為中心的第三個(gè)十年做準(zhǔn)備時(shí)，這將是一個(gè)非常激動(dòng)人心的一年。

　　今天的大數(shù)據(jù)分析市場(chǎng)與幾年前的市場(chǎng)截然不同，正是由于海量數(shù)據(jù)的暴增，未來(lái)十年，全球各行各業(yè)都將發(fā)生變革、創(chuàng)新和顛覆。