JMP11新功能速覽

　　近日，SAS公司的可視化統(tǒng)計(jì)發(fā)現(xiàn)軟件JMP正式發(fā)布了最新的JMP11版(JMP普通版)及JMP Pro11版(JMP專業(yè)版)。在大數(shù)據(jù)話題越來越熱的今天，此次新品發(fā)布也受到了眾多統(tǒng)計(jì)分析愛好者和JMPer(JMP粉絲)們的關(guān)注。從內(nèi)容上看，JMP11的提升力度很大。在繼承了JMP可視化交互式分析的產(chǎn)品特色之外，JMP11新增或改進(jìn)了16個(gè)功能大類，共計(jì)約140項(xiàng)功能，技術(shù)難度不亞于重新設(shè)計(jì)開發(fā)出一個(gè)新的小型統(tǒng)計(jì)分析軟件。

　　本文將以統(tǒng)計(jì)應(yīng)用為導(dǎo)向，從用戶的視角出發(fā)，將內(nèi)容及其豐富的JMP11新功能濃縮為探索性數(shù)據(jù)分析和數(shù)據(jù)可視化、質(zhì)量管理、產(chǎn)品研發(fā)、分析自動(dòng)化與擴(kuò)展和專業(yè)統(tǒng)計(jì)分析六大統(tǒng)計(jì)應(yīng)用領(lǐng)域，幫助廣大統(tǒng)計(jì)分析愛好者快速地對(duì)JMP11有一個(gè)全面而又準(zhǔn)確的了解。

　　1. 探索性數(shù)據(jù)分析和數(shù)據(jù)可視化

　　探索性數(shù)據(jù)分析和數(shù)據(jù)可視化一直是JMP倡導(dǎo)的現(xiàn)代統(tǒng)計(jì)分析的重要發(fā)展方向和其與眾不同的統(tǒng)計(jì)分析手段之一。在使用JMP11進(jìn)行探索性數(shù)據(jù)分析和數(shù)據(jù)可視化的過程中，用戶體驗(yàn)會(huì)更加愉快。這主要是因?yàn)橄鄳?yīng)的變化有：新添獨(dú)有的列查看器Column Viewer、轉(zhuǎn)換變量Transform Varaibles、交互式HTML報(bào)告Interactive HTML Report，改進(jìn)已有的數(shù)據(jù)過濾器Data Filter、圖形生成器Graph Builder、偏好設(shè)置Preference Setting等功能。

　　具體來說，改進(jìn)的偏好設(shè)置是指JMP11提供更加出色的默認(rèn)圖表和表格，也可以方便地對(duì)圖表、表格和報(bào)告的外觀進(jìn)行微調(diào)，使用戶可以自動(dòng)創(chuàng)建有效的可視化結(jié)果，最大程度地減少調(diào)整和優(yōu)化統(tǒng)計(jì)報(bào)表界面的無效時(shí)間，從而將精力更多地放到數(shù)據(jù)及其傳達(dá)的信息等有效事件上去。

　　新添的交互式 HTML報(bào)告是指很多原先只能在JMP軟件環(huán)境下才能實(shí)現(xiàn)動(dòng)態(tài)互動(dòng)式分析的圖形和報(bào)表，都可以被保存為 HTML5 格式的網(wǎng)頁(yè)，然后通過電子郵件發(fā)送給同事或朋友，或者直接公布到網(wǎng)站上，該報(bào)告支持最新的瀏覽器(包括移動(dòng)設(shè)備瀏覽器)進(jìn)行查看。這使得眾多還沒有安裝JMP的人員也能分享原創(chuàng)者的分析成果和樂趣，像安裝了JMP軟件一樣進(jìn)行探索性數(shù)據(jù)分析。

　　2. 質(zhì)量管理

　　在質(zhì)量管理及其衍生出來的六西格瑪領(lǐng)域從業(yè)的工程師和經(jīng)理們是JMP軟件用戶群中的一個(gè)重要分支，JMP11不負(fù)眾望，在這個(gè)方面交出了令人滿意的答卷。其中比較大的變化是：新增響應(yīng)篩選Response Screening分析平臺(tái)，增強(qiáng)控制圖生成器Control Chart Builder和預(yù)測(cè)刻畫器Prediction Profiler兩個(gè)質(zhì)量分析工具。此外，還在過程能力分析Capability、魚骨圖Diagram、測(cè)量系統(tǒng)分析Measurement Systems Analysis等工具上有一些細(xì)節(jié)上的改進(jìn)。

　　其中最值得一提的是增強(qiáng)的控制圖生成器和預(yù)測(cè)刻畫器。

　　很對(duì)人可能還對(duì)在JMP10中新推出的拖放式控制圖生成器記憶猶新：只需輕輕一點(diǎn)，即可創(chuàng)建過程控制圖表，不但可以判斷流程是否穩(wěn)定，而且可以分析流程不穩(wěn)定的原因所在。只是讓人略感遺憾的是它不支持離散變量，只能做計(jì)量型控制圖。JMP11彌補(bǔ)了這一遺憾，最新的控制圖生成器允許用戶創(chuàng)建包括np、p、C和U圖在內(nèi)的計(jì)數(shù)型控制圖。更令人驚喜的是，JMP11中的控制圖生成器還支持T和G圖在內(nèi)的稀有事件控制圖!T和G圖是了解稀有事件發(fā)生頻率是否高于預(yù)期和證明干預(yù)正當(dāng)性的一種有效方式 ，它在質(zhì)檢人員關(guān)注安全事故、嚴(yán)重質(zhì)量事故時(shí)非常實(shí)用，因?yàn)檫@時(shí)傳統(tǒng)的控制圖是無法真實(shí)表現(xiàn)出流程穩(wěn)定性的。

　　JMP中的預(yù)測(cè)刻畫器是很多人耳熟能詳?shù)囊粋€(gè)特色工具，十幾年前就有了。JMP11中的預(yù)測(cè)刻畫器新增評(píng)估變量重要性Assess Variable Importance的選項(xiàng)，不僅可以通過圖形進(jìn)行定性分析，而且可以通過顯示的各自變量主效應(yīng)值和總效應(yīng)值，量化地了解建模過程中最重要的輸入因素。這個(gè)特點(diǎn)可以幫助我們?cè)谶M(jìn)行敏感度分析，或者需要在眾多潛在因子中分離出影響響應(yīng)的少數(shù)重要因子時(shí)，大幅節(jié)省分析時(shí)間，提高工作效率。

　　3. 產(chǎn)品研發(fā)

　　越來越多的人意識(shí)到統(tǒng)計(jì)質(zhì)量工具不僅僅適用在企業(yè)的質(zhì)量部門、工藝部門，其實(shí)在研發(fā)部門也大有用武之地，只是用到的工具會(huì)更復(fù)雜一些，如實(shí)驗(yàn)設(shè)計(jì)DOE和可靠性Reliability。

　　具體來說，JMP11中實(shí)驗(yàn)設(shè)計(jì)方面的主要變化是：新添獨(dú)創(chuàng)性的決定性篩選設(shè)計(jì)Definitive Screening Design平臺(tái)，改進(jìn)已有的混料設(shè)計(jì)Mixture Design、篩選設(shè)計(jì)Screening Design、空間填充設(shè)計(jì)Space Filling Design等平臺(tái)。JMP11中可靠性方面的主要變化是：新添可靠性方塊圖Reliability Block Diagram平臺(tái)(僅限JMP Pro)，改進(jìn)已有的可靠性增長(zhǎng)Reliability Growth、擬合參數(shù)生存Fit Parametric Survival等平臺(tái)。

　　這當(dāng)中最值得向研發(fā)人員推薦的就是新近開發(fā)的決定性篩選設(shè)計(jì)和可靠性方塊圖。

　　決定性篩選設(shè)計(jì)的亮點(diǎn)在于它能夠一舉克服傳統(tǒng)篩選設(shè)計(jì)的兩個(gè)缺陷：一是容易遺漏主效應(yīng)不顯著但二次項(xiàng)顯著的關(guān)鍵因子，二是當(dāng)存在的交互作用項(xiàng)較多時(shí)，需要執(zhí)行較多的實(shí)驗(yàn)次數(shù)以提高實(shí)驗(yàn)的分辨率。當(dāng)實(shí)驗(yàn)中需要考慮的潛在因子越多時(shí)，JMP11中的決定性篩選設(shè)計(jì)為你帶來的價(jià)值越大。因?yàn)檫\(yùn)用這種新方法時(shí)，實(shí)驗(yàn)次數(shù)的增加與實(shí)驗(yàn)因子的增加幾乎完全是線性的，而不像傳統(tǒng)篩選設(shè)計(jì)中那樣需要成倍增加。更重要的是，它在幫助你節(jié)省實(shí)驗(yàn)成本和時(shí)間的同時(shí)，任何主要模型項(xiàng)之間又不會(huì)相互混淆，顯著提高了實(shí)驗(yàn)分析的效率。也正是因?yàn)槿绱?，?fù)責(zé)這個(gè)DOE平臺(tái)的JMP研發(fā)人員還榮獲了美國(guó)質(zhì)量協(xié)會(huì)頒發(fā)的年度大獎(jiǎng)呢。

　　可靠性方塊圖的最大特色在于以往我們能夠?qū)σ粋€(gè)簡(jiǎn)單產(chǎn)品或零部件進(jìn)行可靠性分析，但對(duì)一個(gè)復(fù)雜系統(tǒng)(如擁有多個(gè)硬盤的 RAID 存儲(chǔ)陣列，或者配備四個(gè)引擎的飛機(jī))的可靠性往往會(huì)束手無策。JMP Pro11中的可靠性方塊圖就是專門為你創(chuàng)建和分析整個(gè)系統(tǒng)的可靠性的。它可以使用戶通過查看不同的設(shè)計(jì)和比較多個(gè)系統(tǒng)的設(shè)計(jì)圖來輕松進(jìn)行假設(shè)分析，通過添加冗余部件來彌補(bǔ)系統(tǒng)弱點(diǎn)，從而避免系統(tǒng)將來發(fā)生故障。

　　4. 市場(chǎng)調(diào)研

　　除了質(zhì)量、工藝、研發(fā)等技術(shù)部門之外，企業(yè)的市場(chǎng)部門經(jīng)常會(huì)面臨客戶市場(chǎng)細(xì)分、滿意度調(diào)查、精準(zhǔn)營(yíng)銷、客戶挽留等大量與統(tǒng)計(jì)分析相關(guān)的任務(wù)，JMP軟件處理這類數(shù)據(jù)分析問題也是非常專業(yè)的。

　　以往這個(gè)特點(diǎn)一直是“藏在深閨無人知”，從JMP11開始，分析菜單中新增加了一個(gè)“客戶研究Consumer Research”的二級(jí)主菜單，整合并改進(jìn)了已有的分類Categorical、選擇Choice、項(xiàng)目分析Item Analysis平臺(tái)，新添了提升Uplift平臺(tái)(僅限JMP Pro)，顯示出JMP在市場(chǎng)調(diào)研領(lǐng)域也充滿了實(shí)力和信心。

　　這里和大家分享其中兩個(gè)最有價(jià)值的工具：分類和提升。

　　分類平臺(tái)早在JMP7時(shí)就有了，主要用于收集和分析有關(guān)客戶如何使用產(chǎn)品或客戶滿意度的信息。JMP11中分類的分析操作更加簡(jiǎn)便，支持多種格式的調(diào)查問題，無論是內(nèi)容詳實(shí)的明細(xì)報(bào)告，還是內(nèi)容緊湊的簡(jiǎn)潔報(bào)告，都可以輕松制作。用戶還可以分析調(diào)查中回答者可以選擇多個(gè)答案的多選問題。甚至提供一個(gè)拖放界面，用于構(gòu)建更加復(fù)雜的調(diào)查分析結(jié)構(gòu)。全部完成之后，還可以輕松將完成的分析表格輸出到 Excel 工作簿中。

　　JMP Pro11中的提升平臺(tái)初看和JMP中的另外一個(gè)平臺(tái)：分割(即決策樹)非常類似，但其實(shí)包含著全新的功能。它可以幫助用戶優(yōu)化市場(chǎng)營(yíng)銷決策，確定個(gè)性化促銷方案，或者更用來預(yù)測(cè)不同的消費(fèi)者對(duì)某項(xiàng)市場(chǎng)活動(dòng)可能作出的不同回應(yīng)。它還可以像其他數(shù)據(jù)挖掘方法一樣使用訓(xùn)練、驗(yàn)證和檢驗(yàn)方法，防止過度擬合，使新建的模型能夠更好地推廣到新數(shù)據(jù)去。

　　5. 分析自動(dòng)化與擴(kuò)展

　　分析自動(dòng)化與擴(kuò)展的功能主要是指用編程的方式來自動(dòng)調(diào)用JMP進(jìn)行數(shù)據(jù)的整理和分析工作，并通過提高JMP與其他數(shù)據(jù)分析軟件的兼容性來快速提高JMP的適應(yīng)能力和分析能力。它是專門為JMP高級(jí)用戶準(zhǔn)備的。JMP11在這方面的亮點(diǎn)也是層出不窮，包括：構(gòu)建界面更友好的JSL(JMP腳本語(yǔ)言)編程環(huán)境、優(yōu)化應(yīng)用程序的實(shí)用功能、支持直接讀取Teradata數(shù)據(jù)庫(kù)、完善Excel導(dǎo)入向?qū)?、與Matlab無縫集成和導(dǎo)入海量外部數(shù)據(jù)前可事先抽樣等。

　　我們從中精選兩項(xiàng)內(nèi)容來說明一下：完善Excel導(dǎo)入向?qū)Ш团cMatlab無縫集成。

　　Excel是我們接觸頻率最高的數(shù)據(jù)分析軟件。常?？吹竭@樣的情形：需要用JMP分析的數(shù)據(jù)分布在多個(gè)Excel工作簿里，其中又有不同的嵌套層次和分組的行或列，因此在開始分析前往往需要進(jìn)行大量處理?，F(xiàn)在，憑借完善后的JMP11 Excel導(dǎo)入向?qū)?，?shù)據(jù)導(dǎo)入的難題迎刃而解，無需進(jìn)行長(zhǎng)時(shí)間的清理和格式修改，只需簡(jiǎn)單幾步，即可獲得JMP標(biāo)準(zhǔn)格式的分析表格。如果文件發(fā)生變更或更新，還可自動(dòng)生成JSL用于刷新數(shù)據(jù)。

　　和大眾化的Excel相反，Matlab的主要用戶是專業(yè)的信號(hào)處理工程師和計(jì)算金融分析師，在某些特定的領(lǐng)域積累了豐富的行業(yè)經(jīng)驗(yàn)和現(xiàn)成的Matlab分析代碼，同時(shí)他們也喜歡交互性強(qiáng)、可視化效果好的JMP分析界面(如JMP獨(dú)有的預(yù)測(cè)刻畫器)?，F(xiàn)在，像這樣的用戶不必再糾結(jié)如何取舍工具軟件的問題了。因?yàn)镴MP11可以與Matlab無縫集成。使用JMP11中的JSL功能，JMP可以直接與Matlab結(jié)合，啟動(dòng) Matlab連接、向Matlab發(fā)送數(shù)據(jù)、提交代碼以及將數(shù)據(jù)輸出或送回JMP。更有意義的是，哪怕對(duì)Matlab及其編程知識(shí)一無所知的人，也可以借助同行現(xiàn)有的Matlab模型，進(jìn)一步拓展分析能力，大幅提高工作效率。

　　6. 專業(yè)統(tǒng)計(jì)分析

　　對(duì)于從事數(shù)據(jù)挖掘與建模預(yù)測(cè)、統(tǒng)計(jì)科研與教育的專業(yè)統(tǒng)計(jì)分析人士來說，以上介紹的內(nèi)容可能還不過癮。其實(shí)，JMP11對(duì)于統(tǒng)計(jì)高端用戶也推出了很多頗具幫助價(jià)值的新功能，其中包括全新或改進(jìn)過的穩(wěn)健模型Robust Modeling、廣義回歸 Generalized Regression (僅限JMP Pro)、混合模型Mixed Models (僅限JMP Pro)、偏最小二乘Partial Least Squares等。

　　舉兩個(gè)例子來說，廣義回歸的適應(yīng)場(chǎng)景是：如果你有大量關(guān)聯(lián)性較強(qiáng)或者比觀測(cè)數(shù)據(jù)更多的預(yù)測(cè)變量，使用逐步回歸或其他標(biāo)準(zhǔn)方法將無法得到令人滿意的結(jié)果。這一類模型經(jīng)常會(huì)過度擬合，并且很難推廣到新數(shù)據(jù)。JMP Pro 11中的廣義回歸能夠面對(duì)雜亂的大型數(shù)據(jù)集創(chuàng)建預(yù)測(cè)模型，這是JMP數(shù)據(jù)挖掘工具箱中的一項(xiàng)重要新功能，可用于對(duì)大量預(yù)測(cè)變量進(jìn)行變量選擇或創(chuàng)建數(shù)據(jù)挖掘模型。它能夠幫助你以非常自然的方式處理說明變量中的多重共線性，通過對(duì)估計(jì)參數(shù)的較大波動(dòng)施加懲罰來避免過度擬合。除標(biāo)準(zhǔn)的正態(tài)或二項(xiàng)分布外，JMP Pro 11中的廣義回歸還支持泊松分布、零膨脹泊松分布、負(fù)二項(xiàng)分布、零膨脹負(fù)二項(xiàng)分布等其他分布形式。

　　混合模型則適應(yīng)于：當(dāng)化工生產(chǎn)或制藥行業(yè)的藥物試驗(yàn)、交叉設(shè)計(jì)過程中需要對(duì)多個(gè)對(duì)象進(jìn)行多次測(cè)量時(shí)，以及其他會(huì)同時(shí)涉及時(shí)間和空間的數(shù)據(jù)時(shí)，就可以在實(shí)驗(yàn)數(shù)據(jù)分析中運(yùn)用混合模型。JMP Pro11中全新的混合模型特質(zhì)，能夠混合固定效應(yīng)和隨機(jī)效應(yīng)模型對(duì)數(shù)據(jù)進(jìn)行擬合。用戶可以在直觀的拖放界面中指定固定、隨機(jī)和重復(fù)效應(yīng)，關(guān)聯(lián)多組變量，設(shè)定受試對(duì)象和連續(xù)型效應(yīng)。另外，用戶還可以根據(jù)實(shí)際需要計(jì)算更多種關(guān)聯(lián)結(jié)構(gòu)的協(xié)方差參數(shù)。