為大數(shù)據(jù)與各種工作負(fù)載設(shè)計的解決方案

現(xiàn)今的數(shù)據(jù)格式不僅相當(dāng)多元，更會以實(shí)時串流的形式提供，同時散布于世界各地許多不同的數(shù)據(jù)中心和云端環(huán)境中。從數(shù)據(jù)分析、數(shù)據(jù)工程、人工智能與機(jī)器學(xué)習(xí)，到數(shù)據(jù)導(dǎo)向應(yīng)用程序，運(yùn)用及分享數(shù)據(jù)的方式仍在持續(xù)增加。數(shù)據(jù)的影響力不再僅限于分析師，現(xiàn)已擴(kuò)及所有員工、客戶和合作伙伴。

由于數(shù)據(jù)、工作負(fù)載和用戶的數(shù)量與類型急劇成長，因此目前正處于一個臨界點(diǎn)上，即便將傳統(tǒng)數(shù)據(jù)架構(gòu)部署于云端，也無法完整發(fā)揮數(shù)據(jù)的潛在價值，導(dǎo)致數(shù)據(jù)越來越難以轉(zhuǎn)化為實(shí)際價值。

為克服這些難題，我們正式發(fā)表多項數(shù)據(jù)云端的創(chuàng)新技術(shù)，協(xié)助大家處理各種工作負(fù)載中無窮無盡的數(shù)據(jù)，并讓所有人都能使用。這次發(fā)表的項目中包含 BigLake和Spanner變更串流，這些技術(shù)可以進(jìn)一步整合客戶數(shù)據(jù)，同時確保數(shù)據(jù)能夠?qū)崟r傳遞。

另外，Vertex AI Workbench和Model Registry則能讓大家輕松將資料轉(zhuǎn)化為 AI方面的價值。為了讓所有人都能使用數(shù)據(jù)，我們將發(fā)表經(jīng)過統(tǒng)合的商業(yè)智能 （BI）服務(wù)，當(dāng)中包含全新的Workspace整合方案，以及進(jìn)一步支持Google數(shù)據(jù)云端合作伙伴生態(tài)系的新計劃。

突破所有數(shù)據(jù)限制
我們發(fā)表的Beta版BigLake，這個數(shù)據(jù)湖泊儲存引擎可以整合不同的資料湖泊與倉儲，進(jìn)而打破其中的界線。如果分開管理不同的數(shù)據(jù)倉儲與湖泊，會造成資料孤島的情形發(fā)生，并導(dǎo)致額外的風(fēng)險和費(fèi)用，這樣的問題在需要遷移數(shù)據(jù)時會特別明顯。

有了BigLake，企業(yè)就能整合數(shù)據(jù)倉儲和數(shù)據(jù)湖泊，并進(jìn)行分析，且不必?fù)?dān)心基礎(chǔ)的儲存空間格式或系統(tǒng)，這樣就不需要復(fù)制或遷移來源中的數(shù)據(jù)，進(jìn)而降低成本并提高效率。

在BigLake的協(xié)助下，客戶可以采用更細(xì)致的存取權(quán)控管機(jī)制，并透過API接口使用Google Cloud和Parquet等開放原始碼文件格式，進(jìn)而運(yùn)用Apache Spark等開放原始碼處理引擎。這些功能將BigQuery十年的革新成果拓展至 Google Cloud Storage中的數(shù)據(jù)湖泊，實(shí)現(xiàn)了具備彈性并符合成本效益的開放式資料湖倉架構(gòu)。

Twitter已開始采用BigQuery的儲存空間功能來打破數(shù)據(jù)限制，以便進(jìn)一步掌握其用戶使用Twitter平臺的方式，以及會感到興趣的內(nèi)容類型。因此，Twitter 能透過每秒可執(zhí)行超過 300 萬次聚合作業(yè)的廣告管道，每天為數(shù)兆個事件提供內(nèi)容。

另一項重大創(chuàng)新技術(shù)是Spanner變更串流。這項即將推出的新產(chǎn)品會進(jìn)一步協(xié)助大家打破數(shù)據(jù)限制，并實(shí)時追蹤Spanner數(shù)據(jù)庫中的變更，以便創(chuàng)造全新價值。Spanner變更串流可以追蹤Spanner的植入、更新和刪除作業(yè)，并在整個 Spanner數(shù)據(jù)庫中實(shí)時串流異動內(nèi)容。這樣一來，客戶就能隨時存取最新數(shù)據(jù)，同時輕松將Spanner中的變更復(fù)制到BigQuery來進(jìn)行實(shí)時分析、透過 Pub/Sub觸發(fā)下游應(yīng)用程序行動，或是將變更儲存至Google Cloud Storage （GCS）來遵守法規(guī)要求。Spanner目前每秒最多可處理超過20億項要求，同時維持99.999%的可用性。而在增加變更串流之后，Spanner現(xiàn)在可以讓客戶在處理數(shù)據(jù)時享有無限可能。

消除數(shù)據(jù)工作負(fù)載的限制
我們的AI產(chǎn)品組合是以Vertex AI來驅(qū)動，這個代管平臺提供建立、部署及擴(kuò)充模型所需的各項機(jī)器學(xué)習(xí)工具，并經(jīng)過優(yōu)化的處理，可以順暢處理 BigQuery 等服務(wù)中的數(shù)據(jù)工作負(fù)載。Vertex AI創(chuàng)新技術(shù)提供更加流暢的體驗，讓客戶在更短時間內(nèi)將AI模型部署至實(shí)際工作環(huán)境，并進(jìn)一步簡化維護(hù)作業(yè)。

Vertex AI Workbench現(xiàn)已正式推出，能夠?qū)?shù)據(jù)和機(jī)器學(xué)習(xí)系統(tǒng)整合至單一接口，這樣一來無論是執(zhí)行數(shù)據(jù)分析、數(shù)據(jù)科學(xué)或機(jī)器學(xué)習(xí)等工作，團(tuán)隊都能使用相同的工具組來完成。Vertex AI Workbench與BigQuery、無服務(wù)器 Spark和Dataproc整合后，可讓團(tuán)隊快速建立、訓(xùn)練及部署機(jī)器學(xué)習(xí)模型，速度是傳統(tǒng)筆記本電腦的5倍。事實(shí)上，一間跨國零售公司采用了Vertex AI Workbench之后，銷售額增加了數(shù)百萬美元，產(chǎn)品上市速度也加快了15%。

有了Vertex AI，就可以定期更新模型，不過要管理大量的構(gòu)件并非易事，情況可能會在短時間內(nèi)失控。為了能夠更輕松地管理模型的維護(hù)作業(yè)，我們發(fā)布全新的機(jī)器學(xué)習(xí)運(yùn)作功能Vertex AI Model Registry。目前Vertex AI Model Registry為Beta版，提供中央存放區(qū)，可供探索、使用及管理機(jī)器學(xué)習(xí)模型，BigQuery ML中的模型也包含在內(nèi)。如此，數(shù)據(jù)數(shù)據(jù)學(xué)家就能輕松分享模型，以方便應(yīng)用程序開發(fā)人員使用，進(jìn)而讓團(tuán)隊能依據(jù)數(shù)據(jù)實(shí)時制定決策，在面對持續(xù)變化的市場環(huán)境時能保持更高彈性。

擴(kuò)大數(shù)據(jù)觸及范圍
我們也推出Looker鏈接電子表格，以及在Data Studio中存取Looker數(shù)據(jù)模型的功能。無論是透過Looker探索（Looker Explore）、Google電子表格或是數(shù)據(jù)分析（Data Studio）的拖曳式接口，大家現(xiàn)在都能按照自己選取的方式與數(shù)據(jù)行互動。

如此一來，所有人都能運(yùn)用這個經(jīng)過整合的全新Google Cloud商業(yè)智慧 （BI）平臺，更輕松地存取資料、并從中擷取出深入分析的結(jié)果，藉此推動革新，并依據(jù)資料來制定決策。有了這項整合式商業(yè)智慧服務(wù)，使用者就能輕松取得受管理且值得信賴的企業(yè)數(shù)據(jù)、采用新的數(shù)據(jù)集和計算功能，并與同事協(xié)同合作。

Mercado Libre是拉丁美洲最大的在線商務(wù)與支付服務(wù)系統(tǒng)，同時也是Looker鏈接電子表格的初期采用者。借助這項整合服務(wù)，他們已能透過原先慣用的電子表格接口將數(shù)據(jù)存取權(quán)分享給更多員工。藉由降低入門門坎，他們已經(jīng)營造出數(shù)據(jù)導(dǎo)向文化，所有人都能依據(jù)數(shù)據(jù)制定決策。

強(qiáng)化支持資料云端合作伙伴生態(tài)系
如果沒有出色的合作伙伴生態(tài)系，我們即使擁有這些數(shù)據(jù)創(chuàng)新技術(shù)，也不可能讓用戶輕松發(fā)揮數(shù)據(jù)的價值。目前已有超過700個軟件合作伙伴使用 Google的數(shù)據(jù)云來驅(qū)動自家的應(yīng)用程序。Bloomreach、Equifax、Exabeam、Quantum Metric和ZoomInfo等許多合作伙伴均已開始采用我們的數(shù)據(jù)云功能，并參加Built with BigQuery計劃，來享有專屬工程團(tuán)隊、協(xié)同營銷和市場開發(fā)的支持。

我們的用戶希望合作伙伴解決方案不僅能夠與BigQuery等產(chǎn)品緊密整合，并可以進(jìn)一步優(yōu)化。因此Google Cloud Ready - BigQuery這項全新的驗證機(jī)制，能夠識別一系列符合功能性和互操作性核心需求的合作伙伴解決方案，例如 Fivetran、Informatica和Tableau所提供的服務(wù)。目前在「Google Cloud Ready - BigQuery」計劃中收錄了超過25個合作伙伴。這項嶄新的計劃可協(xié)助客戶減少評估新工具所需的成本，同時支持新的應(yīng)用情境。

另外，我們也宣布一項新的數(shù)據(jù)庫遷移計劃，希望能夠協(xié)助大家在短時間內(nèi)順暢且迅速地邁開遷移的腳步，將地端部署環(huán)境和其他云端中的數(shù)據(jù)遷移至 Google的全代管數(shù)據(jù)庫服務(wù)上。除了由Deloitte等合作伙伴提供的工具、資源和專業(yè)知識之外，我們也提供獎勵來協(xié)助客戶節(jié)省遷移數(shù)據(jù)庫的費(fèi)用。

我們會繼續(xù)與客戶挹注資源的數(shù)據(jù)與數(shù)據(jù)分析公司合作，持續(xù)推動革新。Databricks、Fivetran、MongoDB、Neo4j和Redis也都已經(jīng)向Google Cloud 的用戶公布重大新功能。

（本文作者Gerrit Kazmaier為Google Cloud數(shù)據(jù)庫、數(shù)據(jù)分析及Looker商業(yè)智能平臺總經(jīng)理暨副總裁）