<meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>

          新聞中心

          EEPW首頁 > 模擬技術(shù) > 市場分析 > 擁抱大數(shù)據(jù) 需要大智慧

          擁抱大數(shù)據(jù) 需要大智慧

          作者: 時間:2014-04-28 來源:電子產(chǎn)品世界 收藏

            近年來,有關(guān)的熱點(diǎn)話題一浪高過一浪,關(guān)注應(yīng)用的人也越來越多??傮w來說,人們對的前景持樂觀態(tài)度,比如談到大數(shù)據(jù)的技術(shù)特征,人們最容易想起的就是4個“v”:vast(數(shù)量龐大)、variety(種類繁多)、velocity(增長迅速)和value(總價值高)。這些都沒錯,但仔細(xì)一想,它們都是偏重說明大數(shù)據(jù)的正面優(yōu)勢的。但其實(shí),大也有大的難處,大數(shù)據(jù)也不可避免地存在著一些負(fù)面劣勢。結(jié)合筆者的從業(yè)經(jīng)驗(yàn),大數(shù)據(jù)的負(fù)面劣勢可以概括為4個“n”,下面逐一說明每個n的含義。

          本文引用地址:http://www.ex-cimer.com/article/246098.htm

            inflated大數(shù)據(jù)是肥胖的。大數(shù)據(jù)的大不僅僅體現(xiàn)在數(shù)據(jù)記錄的行數(shù)多,更體現(xiàn)在字段變量的列數(shù)多,這就為分析多因素之間的關(guān)聯(lián)性帶來了難度。哪怕是最簡單的方差分析,計(jì)算一兩個還行,計(jì)算一兩百個就讓人望而生畏了。

            unstructured大數(shù)據(jù)是非結(jié)構(gòu)化的。大數(shù)據(jù)的結(jié)構(gòu)也是非常復(fù)雜的,既包括像交易額、時間等連續(xù)型變量,像性別、工作類型等離散型變量這樣傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù),更增添了如文本、社會關(guān)系網(wǎng)絡(luò),乃至語音、圖像等大量新興的非結(jié)構(gòu)化數(shù)據(jù),而這些非結(jié)構(gòu)化數(shù)據(jù)蘊(yùn)含的信息量往往更加巨大,但分析手段卻略顯單薄。

            incomplete大數(shù)據(jù)是殘缺的。在現(xiàn)實(shí)的世界里,由于用戶登記的信息不全、計(jì)算機(jī)數(shù)據(jù)存儲的錯誤等種種原因,數(shù)據(jù)缺失是常見的現(xiàn)象。在大數(shù)據(jù)的場景下,數(shù)據(jù)缺失更是家常便飯,這就為后期的分析與建模質(zhì)量增加了不確定的風(fēng)險(xiǎn)。

            abnormal大數(shù)據(jù)是異常的。同樣,在現(xiàn)實(shí)的世界里,大數(shù)據(jù)里還有不少異常值(outlier)。比如某些連續(xù)型變量(如一個短期時間內(nèi)的交易金額)的取之太大,某些離散型變量(如某個被選購的產(chǎn)品名稱)里的某個水平值出現(xiàn)的次數(shù)太少,等等。如果不刪除,很可能干擾模型系數(shù)的計(jì)算和評估;如果直接刪除,又覺得缺乏說服力,容易引起他人的質(zhì)疑。這使得分析人員落到了一個進(jìn)退兩難的境地。

            如果不能處理好這些不利因素,大數(shù)據(jù)應(yīng)用的優(yōu)勢很難發(fā)揮出來。想要擁抱大數(shù)據(jù),并不是一項(xiàng)在常規(guī)條件下數(shù)據(jù)分析的簡單升級,而是一項(xiàng)需要大智慧的綜合工作。STIR(喚醒)策略是筆者在實(shí)踐工作中提煉出來的、能夠在實(shí)際工作中有效克服大數(shù)據(jù)負(fù)面劣勢的應(yīng)對方法。具體來說,STIR策略包含了四種技術(shù)手段,目前都已經(jīng)有機(jī)地整合在統(tǒng)計(jì)分析與數(shù)據(jù)挖掘?qū)I(yè)軟件中了,它可以用來解決上文提出的四個問題,下面將分別說明。

          Switching Variables切換變量

            它是用來解決大數(shù)據(jù)“殘缺”問題的。通過“列轉(zhuǎn)換器”、“動畫播放”等工具,海量因素之間的關(guān)聯(lián)性分析變得十分簡單、快捷,還可以根據(jù)需要對關(guān)聯(lián)性的重要程度進(jìn)行排序,大數(shù)據(jù)分析的效率由此得到大幅提升。

            基于軟件的關(guān)聯(lián)性分析篩選的界面

          Text Mining文本挖掘

            它是用來解決大數(shù)據(jù)“非結(jié)構(gòu)化”問題的。通過先對文字、圖像等新媒體信息源進(jìn)行降維、去噪、轉(zhuǎn)換等處理,產(chǎn)生結(jié)構(gòu)化數(shù)據(jù),再用成熟的統(tǒng)計(jì)分析和數(shù)據(jù)挖掘方法進(jìn)行評價和解釋。這樣一來,大數(shù)據(jù)的應(yīng)用范圍得到了極大的拓展。

            基于軟件的文本分析結(jié)果的最終展現(xiàn)界面

          Imputation缺失數(shù)賦值

            它是用來解決大數(shù)據(jù)“殘缺”問題的。在有missing data的時候,我們并不完全排斥直接刪除的方法,但更多的時候,我們會在條件允許的情況下,用賦值的方法去替代原先的缺失值。具體的技術(shù)很多,簡單的如計(jì)算平均值、中位數(shù)、眾數(shù)之類的統(tǒng)計(jì)量,復(fù)雜的如用回歸、決策樹、貝葉斯定理去預(yù)測缺失數(shù)的近似值等。這樣一來,大數(shù)據(jù)的質(zhì)量大為改觀,為后期的分析與建模奠定了扎實(shí)的基礎(chǔ)。


           基于JMP軟件的缺失數(shù)賦值方法選擇的操作界面

          Robust Modeling穩(wěn)健建模

            它是用來解決大數(shù)據(jù)“異常”問題的。在融入了自動識別、重要性加權(quán)等處理手段后,分析人員既直接消除了個別強(qiáng)影響點(diǎn)的敏感程度,又綜合考慮了所有數(shù)據(jù)的影響,增強(qiáng)了模型的抗干擾能力,使得模型體現(xiàn)出良好的預(yù)測特性,由此做出的業(yè)務(wù)決策自然變得更加科學(xué)、精準(zhǔn)。


            基于JMP軟件的模型穩(wěn)健擬合的報(bào)表界面

            總之,我們必須要對大數(shù)據(jù)有一個全面、客觀的認(rèn)識。只有在不同的業(yè)務(wù)和數(shù)據(jù)背景下采用不同的戰(zhàn)略戰(zhàn)術(shù),才能在大數(shù)據(jù)時代,真正發(fā)揮大數(shù)據(jù)的杠桿作用,有效提高企業(yè)的運(yùn)營效率和市場競爭力。



          評論


          相關(guān)推薦

          技術(shù)專區(qū)

          關(guān)閉
          看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();