使用人工智能驅動的顯微鏡加速科學發現

光學顯微鏡在檢查活體和固定生物樣本方面的作用日益重要。光片技術支持對整個橫截面進行單幀成像，這使得科學家能夠快速捕捉活細胞和生物體的顯微圖像與視頻。與其他光學成像技術相比，該技術可以減少激光對樣本的光損傷，從而實現對敏感樣本（如細胞、胚胎和組織）的長期成像。三維體可通過快速連續掃描獲取。

研究人員越來越多地采用這種先進的成像技術來可視化細胞內錯綜復雜的結構，并追蹤隱藏在胚胎起源中的發育秘密。但是，這些顯微鏡會生成 TB 級的海量復雜圖像，使得開展深入探究工作的科學家在進行圖像分析時不堪重負。

海洋生物實驗室的定制光片顯微鏡。

（圖片所有權：Emily Greenhalgh，海洋生物實驗室）

這些問題為與Abhishek Kumar博士合作開發新工具的團隊提供了指導。Abhishek Kumar是位于馬薩諸塞州伍茲霍爾的海洋生物實驗室(MBL)的研究員兼陳-扎克伯格計劃成像科學家。他們正在使用MATLAB^?構建這一新工具。

“MATLAB無疑是我們的理想選擇，因為圖像是以矩陣和數組的形式存儲和操作的，無論是用于我們的實驗室還是傳播，MATLAB都是編碼和打包這些工具最干凈、最高效的方式，”Kumar博士說道?！岸?，我們深知，每一次新版本的發布，都伴隨著出色的支持服務，以及嚴格的質量保證?！?/p>

1 自動執行算法

“William Ramos計劃將我們通常在這些項目中涉及的所有內容都整合到一個工具中，”Mautino說道?！笆褂眠@樣的工具，您只需按一下按鈕，就可以立即得到測試結果，從而節省大量時間?！?/p>

在采用各種圖像變換方法之前，Ramos還使用Image Processing Toolbox?執行了各種預處理步驟。在此過程中，他結合使用了經典的圖像處理算法和通過Deep Learning Toolbox? 訓練的卷積神經網絡 (CNN)?！耙坏┧辛艘幌盗羞m用于特定項目數據的設置，我們就可以根據這些設置進行批處理，”Mautino說道。

由于一些項目中光片顯微鏡每15分鐘或更長時間拍攝一次圖像，因此，研究人員要跟蹤的樣本部分位移很大，可能會超出視野。該實驗室所開發的工具可以提供實時反饋并幫助定位樣本，使其不會漂移出視野。

光片顯微鏡工具還可以幫助CNN識別圖像中研究人員不想研究的部分，而該部分恰好又遮擋了他們想要分析的部分。例如，當研究人員研究蒼蠅卵巢中的細胞骨架時，卵母細胞可能會在可視化過程中遮擋其他細胞的重要特征。研究人員通常需要從每幅圖像中手動刪除卵母細胞。Ramos可以使用該工具在幾幀中選擇特定區域，然后訓練神經網絡將其從三維體數據時間序列的其余部分中刪除。

Ramos預見，光片顯微鏡工具也有助于數據縮減。為了實現更快的計算處理和分析，研究人員可將整個原始數據集縮減到相關的感興趣區域。這涉及檢測樣本運動，將數據移至中心位置，并裁剪掉無信息的背景區域。這種數據縮減方法會丟棄多余的像素，從而使計算資源得到更高效的利用。

“此工具的數據縮減功能非常有用，特別是在我們每天都要收集數 TB 數據的情況下更是如此，”Mautino說道。

Ramos還構建了自定義工具，用于對齊多通道數據，修復壞像素等偽影，并在采集過程中隨時可視化和過濾數據。根據具體項目，他還使用了OptimizationToolbox?、Image Acquisition Toolbox?以及Statisticsand Machine Learning Toolbox?。

“在這方面，我們的應用高度模塊化，”Kumar博士說道?！八哂兄T多功能，其中許多工具都很常見且使用頻繁。您隨后可以添加更多獨特的步驟，例如特定的去噪模型或神經網絡，具體視研究人員想要得到的結果而定?！?/p>

光片顯微鏡工具的前面板。

（圖片所有權：海洋生物實驗室）

2 蝴蝶卵巢成像

這種端到端的工作流已取得成功，特別是在我們的協作者Nipam Patel博士和他的實驗室成員研究蝴蝶卵巢如何發育的過程中顯示出效果。蝴蝶無比嬌弱，其卵巢更是如此。研究人員使用的光片顯微鏡設置經過精心優化，可以在40小時的成像過程中最大限度地減少樣本的光損傷。通常，僅在一個時間點就能產生0.5GB以上的數據。除了疲于應對大量數據外，生物學家還需要消除圖像中的噪聲，因為成像條件使得圖像中的噪聲比平時要多。隨著胚胎的發育和變化，圖像分割也必須有所改變。

Ramos使用了另一個經過訓練的CNN來識別和分割數據中的特定特征，例如刪除遮擋住部分圖像的卵黃。在Ramos手動分割了162幅圖像后，該工具在幾分鐘內即處理了其余的4,000幅圖像。據Ramos說，過去，僅手動分割就需要長達10個小時，而今，他的流程不到半小時就完成了分割。

“我們的協作者對處理時間和圖像質量非常滿意，”Ramos說道。

左圖：單視圖光片顯微鏡所拍攝的蝴蝶卵巢三維圖像堆疊的最大圖像強度投影。右圖：原始圖像堆疊經過計算清理的版本的最大圖像強度投影。

（圖片所有權：Kyle Demarr和SophiaKelly，海洋生物實驗室）

3 使用端到端

MATLAB的優勢對該團隊而言，從顯微鏡使用的軟件到可視化，一切都在MATLAB中構建，因而圖像處理和分析功能比專有顯微鏡軟件更靈活。

“我們之所以使用MATLAB， 原因是它可與硬件對接，并且具有非常強大的數學功能，”Mautino 說道。

“然后，你可以想象一下，我們的許多顯微鏡由不同的硬件組成，每個硬件都需要自己的代碼，”Mautino說道?！斑@本身就會成為一項長期的工程。在這種情況下，MATLAB便能大顯身手，因為那些制造商已在使用這款工具，他們還為我們開發了這些驅動程序?！彼麄兪褂玫囊恍┫鄼C沒有官方支持的用Python編寫的控制軟件。

使用光片顯微鏡工具的目的是，讓盡可能多沒有編程專業知識的研究人員能夠使用高級分析方法。Kumar博士稱，在許多不同生物學科中，都可以應用此類圖像分析工具。這些工具幫助協作者節省了數天手動處理或等待其他研究人員處理圖像的時間。這

種簡易性也為高中生等非專業人士大開方便之門。Ramos表示，他們將很快在GitHub^?上通過共享用戶界面來推廣應用，獲得相關的反饋，并推動生物圖像分析工具的發展。

“如今，沒有先進的圖像分析和圖像處理技術，完成成像項目簡直難以想象，”Kumar博士說道?！敖柚馄@微鏡分析工具，即使沒有編碼經驗和相關知識的人，也可以從所有這些復雜的工具中受益。因此，讓所有這些工具易于獲得和使用至關重要?！?/p>

（本文來源于《EEPW》2024.3）