英特爾BigDL,助力大數(shù)據(jù)AI從筆記本到云實(shí)現(xiàn)無縫擴(kuò)展

作為快速增長(zhǎng)的計(jì)算工作負(fù)載，人工智能（AI）也是英特爾認(rèn)為將對(duì)世界產(chǎn)生變革性影響的超級(jí)技術(shù)力量之一。然而，數(shù)據(jù)顯示，有超過一半的AI和數(shù)據(jù)科學(xué)項(xiàng)目無法真正部署到現(xiàn)實(shí)應(yīng)用中，均以失敗告終。海量數(shù)據(jù)、無法完全兼容的設(shè)備加之各異的數(shù)據(jù)環(huán)境，無疑為AI的應(yīng)用和落地設(shè)置了重重關(guān)卡。

基于此，秉承推動(dòng)AI無處不在的美好愿景，英特爾全面打造基于大數(shù)據(jù)AI開源項(xiàng)目BigDL，旨在助力從筆記本到云，無縫擴(kuò)展大數(shù)據(jù) AI。日前，英特爾院士、英特爾大數(shù)據(jù)技術(shù)全球首席技術(shù)官戴金權(quán)應(yīng)邀出席 China Apache Hadoop Meetup 2022，并在會(huì)上深入解析英特爾如何從如下三個(gè)領(lǐng)域著手，創(chuàng)新BigDL，助力開源發(fā)展。

打造高可擴(kuò)展性

對(duì)數(shù)據(jù)科學(xué)家和開發(fā)者而言，高可擴(kuò)展性不僅意味著如何能高效、快速地構(gòu)建出端到端的分布式數(shù)據(jù)和AI的流水線，也同樣需要注重基礎(chǔ)架構(gòu)部署。與理論不同，實(shí)踐中的科學(xué)家們更關(guān)注如何將AI技術(shù)應(yīng)用部署到實(shí)際場(chǎng)景，其中包括建模、訓(xùn)練、推理和對(duì)模型的優(yōu)化等全流程，這意味著需要考慮端到端的流水線?；诖耍⑻貭栐诘讓泳烷_始進(jìn)行數(shù)據(jù)切分、模型復(fù)制、參數(shù)同步等工作，讓數(shù)據(jù)科學(xué)家們能夠有統(tǒng)一的體驗(yàn)，同時(shí)，英特爾亦將大規(guī)模分布式的工作透明化、抽象化，讓數(shù)據(jù)科學(xué)家們能夠高效開發(fā)AI流水線。而對(duì)于基礎(chǔ)架構(gòu)，英特爾亦通過類似BigDL的項(xiàng)目，為用戶提供統(tǒng)一的大數(shù)據(jù)AI集群/基礎(chǔ)架構(gòu)。在同一個(gè)集群、流水線、工作程序當(dāng)中，對(duì)這些大數(shù)據(jù)系統(tǒng)進(jìn)行數(shù)據(jù)訪問、分布式處理，在同一個(gè)流水線里以內(nèi)存計(jì)算的形式進(jìn)行大規(guī)模分布式數(shù)據(jù)分割，再由這些深度學(xué)習(xí)、機(jī)器學(xué)習(xí)的系統(tǒng)對(duì)其進(jìn)一步分析。

提升每個(gè)節(jié)點(diǎn)的性能效率

每當(dāng)提及AI性能時(shí)，大多數(shù)人的第一反應(yīng)是GPU或AI芯片，然而軟件優(yōu)化能夠帶來的AI性能提升卻極易被忽視。英特爾通過軟件層面優(yōu)化，如TensorFlow、PyTorch、MXNet等，可以帶來幾十倍、上百倍的性能提升，能夠更加高效地集成這些軟件。因此，可以認(rèn)為構(gòu)建一個(gè)免費(fèi)的AI軟件加速器，在筆記本、CPU集群上都能夠帶來性能上的極大提升。而且，現(xiàn)如今有大量的現(xiàn)代化CPU加速技術(shù)，如內(nèi)存分配、指令集等，將這些技術(shù)整合在AI流水線中，也能夠大大提升AI性能。值得注意的是，英特爾不僅通過軟件大幅提升每個(gè)節(jié)點(diǎn)性能，亦能實(shí)現(xiàn)集成過程的透明性，使數(shù)據(jù)科學(xué)家的實(shí)操更加便捷。

構(gòu)建安全可靠的數(shù)據(jù)處理環(huán)境

將AI應(yīng)用從筆記本擴(kuò)展到諸如云環(huán)境中時(shí)，安全也是數(shù)據(jù)科學(xué)家非常關(guān)注的另一大問題。對(duì)當(dāng)下大部分應(yīng)用場(chǎng)景而言，隱私保護(hù)機(jī)器學(xué)習(xí)與大數(shù)據(jù)分析是運(yùn)行在云中非常重要的需求。這個(gè)安全保障不僅囊括了如同態(tài)加密、遠(yuǎn)程驗(yàn)證等軟件方面的安全保障，也需要類似可信執(zhí)行環(huán)境等硬件安全保障，如英特爾? SGX技術(shù)具備持續(xù)增強(qiáng)的安全能力，可在內(nèi)存等硬件中構(gòu)建一個(gè)安全“飛地”，幫助保護(hù)代碼和數(shù)據(jù)，防止數(shù)據(jù)在處理期間遭受惡意軟件攻擊和權(quán)限提升型攻擊。因此，基于英特爾? SGX技術(shù)打造的BigDL PPML，能夠讓用戶即使沒有處于極度信任的公有或私有云中也仍然可以進(jìn)行非常安全的數(shù)據(jù)分析和AI應(yīng)用。

得益于高擴(kuò)展性、性能提升和安全可靠的特性，BigDL能夠通過端到端大數(shù)據(jù)人工智能管道，降低AI的準(zhǔn)入門檻，不僅能夠讓數(shù)據(jù)科學(xué)家、工程師等更便捷、簡(jiǎn)易地構(gòu)建大規(guī)模分布式人工智能解決方案，從而加速AI應(yīng)用和部署，亦有助于挖掘更多AI潛力，為各行業(yè)發(fā)展注入新動(dòng)能。