關係處理:HPC 生技分析平台 on Oracle Cloud
為了更了解疾病的原因,並幫助發掘小學治療這些疾病的方法,並減少不成功的藥物開發計畫數目,關係治療 (RelationRx) 使用以圖形為基礎的建議引擎對應人類遺傳學、單細胞設定檔和功能基因之間的關係。
藉由在 Oracle Cloud Infrastructure (OCI) 上的高效能運算叢集執行生物科技分析平台,RelationRx 會套用資料科學和機器學習方法,快速判斷驅動疾病的因果關係。
創立於 2019 年,倫敦創始目前與比爾和梅琳達蓋茨基金會合作,以識別因 COVID-19 造成免疫併發症的治療候選人。公司也與 Mila AI Research Institute 及 G3 Therapeutics 合作,專注於深分子分析、DNA 甲基、RNA 順序、特質學、新陳代謝與乳癌。
自從將平台搬移至 OCI,RelationRx 已建置資料網架構,可協助機器人技術啟動同時為工程師和資料分析師提供資料。因此,RelationRX 資料科學家能夠共用工程團隊打造的運算和基礎架構,但仍然能擁有資料的所有權,接著使用 Oracle Cloud Infrastructure Identity and Access Management、原則及群組控制存取。
關係治療架構的獨特層面包括:
- 應用裸機和高效能運算 (HPC) 資源
- 使用 NVMe 型儲存體可容納數十 TB 的資料,讓伺服器不會因為任何資料存取延遲而變慢
- 以藍圖為基礎的環境建置,可讓您以一致的方式建立新設定
- 使用資料網狀設計原則進行資料管理
RelationRx 的採納 OCI 不僅是藉由 OCI 滿足其所有技術需求來驅動,而 Oracle 團隊確實瞭解新創公司、支援相關人員與資源,以及在其他地方面臨著無法取得的 RelationRx 需求。
架構
架構的核心是 Relapeutics 應用程式具有高效能運算 (HPC) 與裸機伺服器,可支援資料科學與機器學習流程。
為了充分發揮這些功能,「關係治療」目前在倫敦和法蘭克福兩個區域擷取資料並管理電腦資源,在倫敦和倫敦提供資料擷取和資料科學流程,以及法蘭克福的機器學習 (ML)。資料集是從實驗室、廠商及其他公用來源收集而來的。關係治療 (Relation Therapeutics) 透過其擷取、轉換及載入 (ETL) 業務進程執行傳入的資料,可清除、標準化,並在必要時匿名化資料。資料科學服務可用來協助識別需要進一步清除的所有資料問題。分析功能也可用來協助開發 ML 處理的需求。接著,擷取和準備的資料會連結至知識槽,並儲存在公司的資料湖中。從該處開始,資料會透過公司進行機器學習業務進程執行,在其中進行分析及運用,或是進行其他實驗。
總共有四個主要專用子網路的倫敦區域:
- 資料科學系統,包括一個裸機伺服器
- ETL 檔案系統,包含三個含有自動調整的 VM 及執行處理集區
- 服務叢集,包含容器、Oracle Cloud Infrastructure Container Engine for Kubernetes (OKE)、永久磁碟區以及網域名稱伺服器 (DNS)
- 開發及測試叢集,讓資料分析師擁有一部虛擬機器和一部裸機運算伺服器
已擷取並讀取以供使用的已準備資料,都保留在與資料網格架構重疊的資料湖中。資料網狀組織方法意味著資料可由「擁有」資料的團隊管理,而不是需要專屬的資料工程團隊。這些設計概念可在使用 OCI 服務時,提供及使用資料的靈活性與彈性。
在法蘭克福區域中,Relation Therapeutics 機器學習使用者會使用設定好的虛擬專用網路 (VPN) 將辦公室連線至 OCI,在 OCI 上存取虛擬雲端網路 (VCN)。使用者透過 Oracle Cloud Infrastructure Identity and Access Management 進行認證之後,即可與 OCI 中提供的服務搭配使用。環境是從常見的樣板 (或 Motif) 運作,提供研究所需的核心資源。此核心樣板已定義,以便能夠自動加註,以便位於它自己的專用子網路中,進而為服務提供控制與安全性。核心服務叢集包含虛擬機器、高效能儲存體、網域名稱系統伺服器 (DNS) 和 OKE,其中包含執行機器學習和分析程序。使用者可以透過使用個別的服務子網路,視需要利用任何額外的技術和資料資源 (例如資料庫) 來補充樣板。
這些資源的管理是透過堡壘主機伺服器,占用自己的子網路。堡壘主機是用來存取和管理高效能運算叢集。堡壘主機節點支援下列各項:
- 計算節點排程和動態成組分解控制
- 使用 NFS 檔案伺服器傳輸至 HPC 環境,或從中傳輸檔案
- 叢集管理
- 使用者存取控制
為了支援新的演算法及其他機器學習工作負載的開發和實驗,使用者必須存取包含虛擬機器與裸機 GPU 的測試和暫存環境。這些環境獲得持續整合與持續開發 (CI/CD) 功能的補充。非生產環境也有自己的子網路,大小為能夠執行數十 TB 的資料生產資料集小型子集。這些環境包含八部 Nvidia Tesla A100 GPU 的兩個裸機伺服器使用。
若要管理工作負載,SLURM 是用來管理 HPC 服務的開源軟體,位於堡壘主機伺服器,並啟動適當的運算執行處理數目,根據使用者工作需求執行 HPC 工作負載。當工作執行完成時,若佇列中沒有其他工作正在等待相同資源,SLURM 會自動終止運算執行處理。此架構的動態散發功能讓研究人員能夠立即使用所需的運算節點,同時只需支付使用的資源即可。根據使用者需求,可以從 OCI 提供的廣泛虛擬機器 (從低成本的 VM.Standard.E3.Flex 開始),選取堡壘主機節點。
Relation Therapeutics 執行的資料處理依循自然順序:
此程序顯示在下列架構圖中,其中在圖表下半部的子網路中產生流程,以及圖表上半部子網路中的支援程序。
架構具有下列元件:
- 用戶
租用戶是 Oracle 會在註冊 Oracle Cloud Infrastructure 時,於 Oracle Cloud 內設定安全且隔離的分割區。您可以在租用戶內,在 Oracle Cloud 中建立、組織及管理您的資源。租用戶與公司或組織同義字。通常,公司會有一個租用戶,並反映其在該租用戶內的組織結構。單一租用戶通常與單一訂閱關聯,而單一訂閱通常只有一個租用戶。
- 區域
Oracle Cloud Infrastructure 區域是一個包含一或多個資料中心 (稱為可用性網域) 的本地化地理區域。區域與其他區域無關,而且遠距離也能分隔它們 (跨國家或甚至大陸)。
- 識別和存取管理 (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的存取控制層。您可以使用 IAM API 和使用者介面管理識別網域和識別網域內的資源。每個 OCI IAM 識別網域代表獨立的身分識別和存取管理解決方案,或是不同的使用者群體。
- 原則
Oracle Cloud Infrastructure Identity and Access Management 原則可指定誰可存取哪些資源,以及如何存取資源。存取權會在群組和區間層次被授予,這表示您可以撰寫一個原則,讓群組成為特定區間或租用戶的特定存取類型。
- 記錄日誌記錄日誌是高擴展性且完全託管的服務,可從雲端資源存取下列類型的日誌:
- 稽核日誌:與稽核服務所發出之事件相關的日誌。
- 服務日誌:由個別服務 (例如 API 閘道、事件、函數、負載平衡、物件儲存以及 VCN 流量日誌) 傳送的日誌。
- 自訂日誌:包含來自自訂應用程式、其他雲端提供者或內部部署環境之診斷資訊的日誌。
- 登錄
Oracle Cloud Infrastructure Registry 是一個 Oracle 管理的登錄,可讓您簡化開發到生產的工作流程。登錄可讓您輕鬆儲存、共用及管理開發使用者自建物件,例如 Docker 映像檔。Oracle Cloud Infrastructure 的高可用性擴充架構可確保您可以可靠地部署及管理應用系統。
- 虛擬雲端網路 (VCN) 和子網路
VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可客製化的軟體定義網路。與傳統資料中心網路一樣,VCN 可讓您完整控制您的網路環境。VCN 可以有多個非重疊的 CIDR 區塊,您可以在建立 VCN 之後變更這些區塊。您可以將 VCN 區段成子網路,可以將範圍擴展到區域或可用性網域。每個子網路都包含一個連續的位址範圍,這些位址不會與 VCN 中的其他子網路重疊。您可以在建立子網路後變更其大小。子網路可以是公用或專用。
- 安全清單
針對每個子網路,您可以建立指定來源、目的地以及必須允許進出子網路之流量類型的安全規則。
- 動態路由閘道 (DRG)
DRG 是一個虛擬路由器,在 VCN 與區域外部網路 (例如另一個 Oracle Cloud Infrastructure 區域中的 VCN、企業內部部署網路,或其他雲端提供者中的網路) 之間,提供相同區域中 VCN 之間專用網路流量的路徑。
- 服務閘道
服務閘道可讓您從 VCN 存取其他服務,例如 Oracle Cloud Infrastructure Object Storage。從 VCN 到 Oracle 服務的流量透過 Oracle 網路架構旅行,而一律不透過網際網路。
- 網路位址轉譯 (NAT) 閘道
NAT 閘道可讓 VCN 中的專用資源存取網際網路上的主機,而不會將這些資源暴露給內送網際網路連線。
- Container Engine for Kubernetes
Oracle Cloud Infrastructure Container Engine for Kubernetes 是一項完全託管、可擴展且高可用性的服務,可用來將容器化應用系統部署至雲端。您可以指定應用系統所需的運算資源,而 Container Engine for Kubernetes 可在現有租用戶的 Oracle Cloud Infrastructure 中佈建這些資源。Container Engine for Kubernetes 使用 Kubernetes 可將整個主機叢集的容器化應用系統部署、調整及管理自動化。
- 計算
Oracle Cloud Infrastructure Compute 服務可讓您在雲端佈建及管理運算主機。您可以根據 CPU、記憶體、網路頻寬與儲存等資源需求,啟動具有資源配置的運算執行處理。建立運算執行處理之後,您可以安全地存取它、重新啟動它、連附磁碟區,然後在不再需要磁碟區時將它終止。
- 裸機
Oracle 的裸機伺服器可使用專屬運算執行處理,提供隔離、資訊能見度及控制。伺服器支援需要大量核心、大量記憶體及高頻寬的應用程式。它們可以擴充高達 160 個核心 (業界最大的核心)、2 TB RAM 及最多高達 1 PB 的區塊儲存。客戶可以建置 Oracle 裸機伺服器上的雲端環境,相較於其他公有雲和內部部署資料中心,大幅提升效能。
- 遠端對等互連
遠端對等互連可讓 VCN 的資源使用專用 IP 位址進行通訊,而不需要透過網際網路或企業內部部署網路遞送流量。遠端對等互連不需要針對需要與不同區域中其他 VCN 通訊的執行處理,使用網際網路閘道和公用 IP 位址。
- 物件儲存體
物件儲存可讓您快速存取任意內容類型的大量結構化和非結構化資料,包括資料庫備份、分析資料,以及影像和影片等豐富內容。您可以安全地儲存資料,然後直接從網際網路或雲端平台內擷取資料。順暢調整儲存體,不會發生任何效能或服務可靠性的降低情形。使用標準的「熱門」儲存空間,快速、立即、經常存取。將封存儲存體用於您長期保留的「冷」儲存體,極少或罕見地存取。
內建與部署的精選
想要展示您在 Oracle Cloud Infrastructure 上建置的項目嗎?您一心要與我們的雲端架構全球社群分享您的經驗、最佳實務和參考架構嗎?讓我們幫助您開始使用。
- 下載樣板 (PPTX)
將圖示拖放至範例線框中,藉此說明自己的參考架構。
- 觀看架構教學課程
按步驟說明如何建立參照架構。
- 提交您的圖表
請用您的圖表寄電子郵件給我們。我們的雲端架構師將檢閱您的圖表,並與您聯絡以討論架構。