為大數(shù)據(jù)與各種工作負(fù)載設(shè)計(jì)的解決方案

現(xiàn)今的數(shù)據(jù)格式不僅相當(dāng)多元，更會(huì)以實(shí)時(shí)串流的形式提供，同時(shí)散布于世界各地許多不同的數(shù)據(jù)中心和云端環(huán)境中。從數(shù)據(jù)分析、數(shù)據(jù)工程、人工智能與機(jī)器學(xué)習(xí)，到數(shù)據(jù)導(dǎo)向應(yīng)用程序，運(yùn)用及分享數(shù)據(jù)的方式仍在持續(xù)增加。數(shù)據(jù)的影響力不再僅限于分析師，現(xiàn)已擴(kuò)及所有員工、客戶和合作伙伴。

由于數(shù)據(jù)、工作負(fù)載和用戶的數(shù)量與類型急劇成長，因此目前正處于一個(gè)臨界點(diǎn)上，即便將傳統(tǒng)數(shù)據(jù)架構(gòu)部署于云端，也無法完整發(fā)揮數(shù)據(jù)的潛在價(jià)值，導(dǎo)致數(shù)據(jù)越來越難以轉(zhuǎn)化為實(shí)際價(jià)值。

為克服這些難題，我們正式發(fā)表多項(xiàng)數(shù)據(jù)云端的創(chuàng)新技術(shù)，協(xié)助大家處理各種工作負(fù)載中無窮無盡的數(shù)據(jù)，并讓所有人都能使用。這次發(fā)表的項(xiàng)目中包含 BigLake和Spanner變更串流，這些技術(shù)可以進(jìn)一步整合客戶數(shù)據(jù)，同時(shí)確保數(shù)據(jù)能夠?qū)崟r(shí)傳遞。

另外，Vertex AI Workbench和Model Registry則能讓大家輕松將資料轉(zhuǎn)化為 AI方面的價(jià)值。為了讓所有人都能使用數(shù)據(jù)，我們將發(fā)表經(jīng)過統(tǒng)合的商業(yè)智能 （BI）服務(wù)，當(dāng)中包含全新的Workspace整合方案，以及進(jìn)一步支持Google數(shù)據(jù)云端合作伙伴生態(tài)系的新計(jì)劃。

突破所有數(shù)據(jù)限制
我們發(fā)表的Beta版BigLake，這個(gè)數(shù)據(jù)湖泊儲(chǔ)存引擎可以整合不同的資料湖泊與倉儲(chǔ)，進(jìn)而打破其中的界線。如果分開管理不同的數(shù)據(jù)倉儲(chǔ)與湖泊，會(huì)造成資料孤島的情形發(fā)生，并導(dǎo)致額外的風(fēng)險(xiǎn)和費(fèi)用，這樣的問題在需要遷移數(shù)據(jù)時(shí)會(huì)特別明顯。

有了BigLake，企業(yè)就能整合數(shù)據(jù)倉儲(chǔ)和數(shù)據(jù)湖泊，并進(jìn)行分析，且不必?fù)?dān)心基礎(chǔ)的儲(chǔ)存空間格式或系統(tǒng)，這樣就不需要復(fù)制或遷移來源中的數(shù)據(jù)，進(jìn)而降低成本并提高效率。

在BigLake的協(xié)助下，客戶可以采用更細(xì)致的存取權(quán)控管機(jī)制，并透過API接口使用Google Cloud和Parquet等開放原始碼文件格式，進(jìn)而運(yùn)用Apache Spark等開放原始碼處理引擎。這些功能將BigQuery十年的革新成果拓展至 Google Cloud Storage中的數(shù)據(jù)湖泊，實(shí)現(xiàn)了具備彈性并符合成本效益的開放式資料湖倉架構(gòu)。

Twitter已開始采用BigQuery的儲(chǔ)存空間功能來打破數(shù)據(jù)限制，以便進(jìn)一步掌握其用戶使用Twitter平臺(tái)的方式，以及會(huì)感到興趣的內(nèi)容類型。因此，Twitter 能透過每秒可執(zhí)行超過 300 萬次聚合作業(yè)的廣告管道，每天為數(shù)兆個(gè)事件提供內(nèi)容。

另一項(xiàng)重大創(chuàng)新技術(shù)是Spanner變更串流。這項(xiàng)即將推出的新產(chǎn)品會(huì)進(jìn)一步協(xié)助大家打破數(shù)據(jù)限制，并實(shí)時(shí)追蹤Spanner數(shù)據(jù)庫中的變更，以便創(chuàng)造全新價(jià)值。Spanner變更串流可以追蹤Spanner的植入、更新和刪除作業(yè)，并在整個(gè) Spanner數(shù)據(jù)庫中實(shí)時(shí)串流異動(dòng)內(nèi)容。這樣一來，客戶就能隨時(shí)存取最新數(shù)據(jù)，同時(shí)輕松將Spanner中的變更復(fù)制到BigQuery來進(jìn)行實(shí)時(shí)分析、透過 Pub/Sub觸發(fā)下游應(yīng)用程序行動(dòng)，或是將變更儲(chǔ)存至Google Cloud Storage （GCS）來遵守法規(guī)要求。Spanner目前每秒最多可處理超過20億項(xiàng)要求，同時(shí)維持99.999%的可用性。而在增加變更串流之后，Spanner現(xiàn)在可以讓客戶在處理數(shù)據(jù)時(shí)享有無限可能。

消除數(shù)據(jù)工作負(fù)載的限制
我們的AI產(chǎn)品組合是以Vertex AI來驅(qū)動(dòng)，這個(gè)代管平臺(tái)提供建立、部署及擴(kuò)充模型所需的各項(xiàng)機(jī)器學(xué)習(xí)工具，并經(jīng)過優(yōu)化的處理，可以順暢處理 BigQuery 等服務(wù)中的數(shù)據(jù)工作負(fù)載。Vertex AI創(chuàng)新技術(shù)提供更加流暢的體驗(yàn)，讓客戶在更短時(shí)間內(nèi)將AI模型部署至實(shí)際工作環(huán)境，并進(jìn)一步簡化維護(hù)作業(yè)。

Vertex AI Workbench現(xiàn)已正式推出，能夠?qū)?shù)據(jù)和機(jī)器學(xué)習(xí)系統(tǒng)整合至單一接口，這樣一來無論是執(zhí)行數(shù)據(jù)分析、數(shù)據(jù)科學(xué)或機(jī)器學(xué)習(xí)等工作，團(tuán)隊(duì)都能使用相同的工具組來完成。Vertex AI Workbench與BigQuery、無服務(wù)器 Spark和Dataproc整合后，可讓團(tuán)隊(duì)快速建立、訓(xùn)練及部署機(jī)器學(xué)習(xí)模型，速度是傳統(tǒng)筆記本電腦的5倍。事實(shí)上，一間跨國零售公司采用了Vertex AI Workbench之后，銷售額增加了數(shù)百萬美元，產(chǎn)品上市速度也加快了15%。

有了Vertex AI，就可以定期更新模型，不過要管理大量的構(gòu)件并非易事，情況可能會(huì)在短時(shí)間內(nèi)失控。為了能夠更輕松地管理模型的維護(hù)作業(yè)，我們發(fā)布全新的機(jī)器學(xué)習(xí)運(yùn)作功能Vertex AI Model Registry。目前Vertex AI Model Registry為Beta版，提供中央存放區(qū)，可供探索、使用及管理機(jī)器學(xué)習(xí)模型，BigQuery ML中的模型也包含在內(nèi)。如此，數(shù)據(jù)數(shù)據(jù)學(xué)家就能輕松分享模型，以方便應(yīng)用程序開發(fā)人員使用，進(jìn)而讓團(tuán)隊(duì)能依據(jù)數(shù)據(jù)實(shí)時(shí)制定決策，在面對(duì)持續(xù)變化的市場(chǎng)環(huán)境時(shí)能保持更高彈性。

擴(kuò)大數(shù)據(jù)觸及范圍
我們也推出Looker鏈接電子表格，以及在Data Studio中存取Looker數(shù)據(jù)模型的功能。無論是透過Looker探索（Looker Explore）、Google電子表格或是數(shù)據(jù)分析（Data Studio）的拖曳式接口，大家現(xiàn)在都能按照自己選取的方式與數(shù)據(jù)行互動(dòng)。

如此一來，所有人都能運(yùn)用這個(gè)經(jīng)過整合的全新Google Cloud商業(yè)智慧 （BI）平臺(tái)，更輕松地存取資料、并從中擷取出深入分析的結(jié)果，藉此推動(dòng)革新，并依據(jù)資料來制定決策。有了這項(xiàng)整合式商業(yè)智慧服務(wù)，使用者就能輕松取得受管理且值得信賴的企業(yè)數(shù)據(jù)、采用新的數(shù)據(jù)集和計(jì)算功能，并與同事協(xié)同合作。

Mercado Libre是拉丁美洲最大的在線商務(wù)與支付服務(wù)系統(tǒng)，同時(shí)也是Looker鏈接電子表格的初期采用者。借助這項(xiàng)整合服務(wù)，他們已能透過原先慣用的電子表格接口將數(shù)據(jù)存取權(quán)分享給更多員工。藉由降低入門門坎，他們已經(jīng)營造出數(shù)據(jù)導(dǎo)向文化，所有人都能依據(jù)數(shù)據(jù)制定決策。

強(qiáng)化支持資料云端合作伙伴生態(tài)系
如果沒有出色的合作伙伴生態(tài)系，我們即使擁有這些數(shù)據(jù)創(chuàng)新技術(shù)，也不可能讓用戶輕松發(fā)揮數(shù)據(jù)的價(jià)值。目前已有超過700個(gè)軟件合作伙伴使用 Google的數(shù)據(jù)云來驅(qū)動(dòng)自家的應(yīng)用程序。Bloomreach、Equifax、Exabeam、Quantum Metric和ZoomInfo等許多合作伙伴均已開始采用我們的數(shù)據(jù)云功能，并參加Built with BigQuery計(jì)劃，來享有專屬工程團(tuán)隊(duì)、協(xié)同營銷和市場(chǎng)開發(fā)的支持。

我們的用戶希望合作伙伴解決方案不僅能夠與BigQuery等產(chǎn)品緊密整合，并可以進(jìn)一步優(yōu)化。因此Google Cloud Ready - BigQuery這項(xiàng)全新的驗(yàn)證機(jī)制，能夠識(shí)別一系列符合功能性和互操作性核心需求的合作伙伴解決方案，例如 Fivetran、Informatica和Tableau所提供的服務(wù)。目前在「Google Cloud Ready - BigQuery」計(jì)劃中收錄了超過25個(gè)合作伙伴。這項(xiàng)嶄新的計(jì)劃可協(xié)助客戶減少評(píng)估新工具所需的成本，同時(shí)支持新的應(yīng)用情境。

另外，我們也宣布一項(xiàng)新的數(shù)據(jù)庫遷移計(jì)劃，希望能夠協(xié)助大家在短時(shí)間內(nèi)順暢且迅速地邁開遷移的腳步，將地端部署環(huán)境和其他云端中的數(shù)據(jù)遷移至 Google的全代管數(shù)據(jù)庫服務(wù)上。除了由Deloitte等合作伙伴提供的工具、資源和專業(yè)知識(shí)之外，我們也提供獎(jiǎng)勵(lì)來協(xié)助客戶節(jié)省遷移數(shù)據(jù)庫的費(fèi)用。

我們會(huì)繼續(xù)與客戶挹注資源的數(shù)據(jù)與數(shù)據(jù)分析公司合作，持續(xù)推動(dòng)革新。Databricks、Fivetran、MongoDB、Neo4j和Redis也都已經(jīng)向Google Cloud 的用戶公布重大新功能。

（本文作者Gerrit Kazmaier為Google Cloud數(shù)據(jù)庫、數(shù)據(jù)分析及Looker商業(yè)智能平臺(tái)總經(jīng)理暨副總裁）