柚子快報(bào)激活碼778899分享：【CXL協(xié)議-系統(tǒng)架構(gòu)】

http://yzkb.51969.com/

1.CXL三種設(shè)備類型

1.1 CXL支持三種設(shè)備類型：

Type1類支持CXL.io、CXL.cache；Type2類型設(shè)備支持CXL.io、CXL.cache以及CXL.mem；Type3類型設(shè)備支持CXL.io、CXL.mem。 無論哪種類型，CXL.io都是不可缺少的，因?yàn)樵O(shè)備的發(fā)現(xiàn)，枚舉，配置等都是由CXL.io來負(fù)責(zé)。

2.Type1 CXL設(shè)備

2.1應(yīng)用設(shè)備類型：

Type 1設(shè)備的典型應(yīng)用是網(wǎng)卡這類高速緩存設(shè)備。Type 1 CXL設(shè)備，應(yīng)用于擁有完全一致性緩存的設(shè)備。對(duì)于這種設(shè)備，標(biāo)準(zhǔn)的生產(chǎn)者-消費(fèi)者模型效果一般，比如，設(shè)備需要執(zhí)行復(fù)雜的原子操作，而這些原子操作又不屬于PCIe的標(biāo)準(zhǔn)原子操作。基本緩存一致性允許加速器實(shí)現(xiàn)它選擇的任何排序模型，并允許它實(shí)現(xiàn)無限數(shù)量的原子操作。它們往往只需要少量的緩存，可以很容易地通過標(biāo)準(zhǔn)的處理器監(jiān)聽過濾（Snoop Filter）機(jī)制輕松跟蹤。 Type 1設(shè)備支持的緩存大小取決于主機(jī)的監(jiān)聽過濾能力。CXL使用CXL.cache鏈接支持此類設(shè)備，加速器可以通過該鏈接使用CXL.cache協(xié)議進(jìn)行緩存一致性事務(wù)。

總結(jié)來說，Type 1 CXL設(shè)備適用于具有完全一致性緩存的設(shè)備，通過支持基本緩存一致性和使用CXL.cache協(xié)議，加速器可以實(shí)現(xiàn)各種排序模型，并且能夠執(zhí)行大量的原子操作。這些設(shè)備通常只需要小量的緩存，并且可以通過標(biāo)準(zhǔn)的處理器監(jiān)聽過濾機(jī)制來管理和跟蹤緩存一致性事務(wù)。

3.Type2 CXL設(shè)備

3.1應(yīng)用設(shè)備類型：

Type 2設(shè)備的典型應(yīng)用是GPU，F(xiàn)PGA，AI這類的加速器。Type 2設(shè)備除了一致性高速緩存外，還具有連接到設(shè)備的內(nèi)存，例如DDR、高帶寬內(nèi)存（High Bandwidth Memory，HBM）等。這些設(shè)備的性能依賴于加速器和設(shè)備掛載內(nèi)存（Device-attached Memory）之間的巨大帶寬。CXL的關(guān)鍵目標(biāo)是為主機(jī)提供一種將操作數(shù)推入設(shè)備掛載內(nèi)存的方法，并為主機(jī)提供從設(shè)備掛載內(nèi)存中提取結(jié)果的方法，這樣就不會(huì)增加抵消加速器好處的軟件和硬件成本。CXL將一致的系統(tǒng)地址映射設(shè)備連接內(nèi)存稱為“主機(jī)管理的設(shè)備內(nèi)存“（Host-managed Device Memory，HDM）。 （HDM和傳統(tǒng)PDM區(qū)別：HDM和傳統(tǒng)IO/PCIe專用設(shè)備內(nèi)存（Private Device Memory，PDM）之間有一個(gè)重要區(qū)別。用帶有GDDR的GPGPU來舉例，GPGPU往往將其GDDR視為私有。這意味著主機(jī)無法訪問GDDR，并且與系統(tǒng)的其余部分不一致。它完全由設(shè)備硬件和驅(qū)動(dòng)程序管理，主要用作具有大型數(shù)據(jù)集的設(shè)備的中間存儲(chǔ)。這種模型的明顯缺點(diǎn)是，在引入操作數(shù)并將結(jié)果寫回時(shí)，它涉及大量從主機(jī)內(nèi)存到設(shè)備連接內(nèi)存的來回拷貝。HDM雖然也是掛載在設(shè)備端，但可以被主機(jī)直接訪問）

3.2 偏向一致性協(xié)議

3.2.1 兩種狀態(tài)

3.2.1.1 偏向主機(jī)（Host Bias）：

當(dāng)設(shè)備掛載內(nèi)存偏向主機(jī)時(shí)，該內(nèi)存就像常規(guī)的主機(jī)連接內(nèi)存一樣。也就是說，如果設(shè)備需要訪問該內(nèi)存，設(shè)備需要向主機(jī)發(fā)送一個(gè)請(qǐng)求，主機(jī)將解析請(qǐng)求的一致性。 偏向設(shè)備（Device Bias）：當(dāng)設(shè)備掛載內(nèi)存處于偏向設(shè)備時(shí)，要保證主機(jī)中沒有對(duì)應(yīng)的緩存行副本。這樣設(shè)備可以隨意的訪問設(shè)備掛載的存儲(chǔ)，而不需要向主機(jī)發(fā)送任何的請(qǐng)求事務(wù)。 主機(jī)偏向性： 主機(jī)偏向模式通常是指在工作提交期間主機(jī)將操作數(shù)據(jù)寫入內(nèi)存，或在工作完成后從內(nèi)存讀取數(shù)據(jù)。如下圖所示，內(nèi)存掛在設(shè)備端。在主機(jī)偏向模式下，一致性數(shù)據(jù)流從主機(jī)到設(shè)備掛載內(nèi)存，如圖中的藍(lán)色箭頭所示。但是，設(shè)備對(duì)此內(nèi)存的訪問效率不是最佳的，因?yàn)樾枰ㄟ^主機(jī)，如圖中的綠色箭頭所示，設(shè)備先向主機(jī)發(fā)起請(qǐng)求，然后通過主機(jī)來訪問HDM。 **優(yōu)勢(shì)：**主機(jī)偏向性使主機(jī)具有更大的靈活性和控制能力。主機(jī)可以更好地管理和協(xié)調(diào)鏈路上的設(shè)備，根據(jù)系統(tǒng)需求進(jìn)行資源分配和配置。這種架構(gòu)有助于實(shí)現(xiàn)更嚴(yán)格的系統(tǒng)管理和協(xié)同處理。 劣勢(shì)：主機(jī)偏向性需要較復(fù)雜的主機(jī)固件和軟件支持，增加了系統(tǒng)設(shè)計(jì)和開發(fā)的復(fù)雜度。此外，在主機(jī)故障或主機(jī)維修時(shí)，可能會(huì)中斷整個(gè)鏈路上的設(shè)備工作。

3.2.1.2 設(shè)備偏向性：

在設(shè)備偏向模式下，設(shè)備負(fù)責(zé)工作提交和完成。在此模式下，設(shè)備需要對(duì)設(shè)備掛載內(nèi)存完成高帶寬和低延遲訪問。設(shè)備無需詢問主機(jī)的一致性引擎，而直接發(fā)起訪問，如圖中的紅色箭頭所示。主機(jī)仍然可以訪問設(shè)備掛載的內(nèi)存，但可能會(huì)被加速器強(qiáng)制放棄所有權(quán)，如圖中的綠色箭頭所示。設(shè)備訪問HDM內(nèi)存實(shí)現(xiàn)了延遲低，帶寬高，但是主機(jī)訪問HDM會(huì)卻相反。 優(yōu)勢(shì)：設(shè)備偏向性減少對(duì)主機(jī)的依賴，使設(shè)備能夠自主地進(jìn)行資源分配和配置。這種架構(gòu)可以提高系統(tǒng)的可擴(kuò)展性和靈活性，設(shè)備可以更獨(dú)立地進(jìn)行協(xié)同工作和處理任務(wù)。 劣勢(shì)：設(shè)備偏向性可能導(dǎo)致設(shè)備之間的協(xié)作和配置管理較為復(fù)雜，可能需要更多的設(shè)備間協(xié)議和通信。此外，對(duì)于特定系統(tǒng)需求的全局優(yōu)化，可能需要更多的設(shè)備之間的協(xié)調(diào)和通信，增加了設(shè)計(jì)和實(shí)現(xiàn)的挑戰(zhàn)。

**注意：**HDM是附屬設(shè)備的內(nèi)存，也就是HDM是掛載在設(shè)備端，而不是在主機(jī)端

4.Type3 CXL設(shè)備

4.1 設(shè)備應(yīng)用類型：

Type 3的典型應(yīng)用是內(nèi)存緩沖器，常用作內(nèi)存帶寬或者是容量的擴(kuò)展。 Type 3 CXL設(shè)備支持CXL.io和CXL.mem協(xié)議。由于這些設(shè)備不是加速器，所以它們不會(huì)通過CXL.cache發(fā)出任何請(qǐng)求。該設(shè)備主要通過CXL.mem運(yùn)行，為主機(jī)發(fā)送的請(qǐng)求提供服務(wù)。CXL.io協(xié)議主要用于設(shè)備發(fā)現(xiàn)、枚舉、錯(cuò)誤報(bào)告和管理。CXL.io協(xié)議允許設(shè)備用于其它特定于I/O的應(yīng)用用途。

5.多邏輯設(shè)備（Multi Logical Device，MLD）

CXL 2.0僅支持Type 3的多邏輯組件。MLD組件最多可以將其資源劃分為16個(gè)獨(dú)立的邏輯設(shè)備（Logical Device，LD）。在CXL.io和CXL.mem協(xié)議中，每個(gè)邏輯設(shè)備都由邏輯設(shè)備標(biāo)識(shí)符（LD-ID）標(biāo)識(shí)。每個(gè)邏輯設(shè)備都作為Type 3設(shè)備運(yùn)行，對(duì)虛擬層次結(jié)構(gòu)（Virtual Hierarchy，VH）可見。LD-ID對(duì)訪問VH的軟件是透明的。MLD組件對(duì)于所有邏輯設(shè)備中的每個(gè)協(xié)議都有公共事務(wù)層和鏈路層。

MLD組件有一個(gè)為FM（Fabric Manager）保留的LD和最多16個(gè)可用于主機(jī)綁定的LD。FM擁有的LD（FMLD）允許FM跨LD配置資源分配，并管理與多個(gè)VCS（Virtual CXL Switch）共享的物理鏈路。 插播一句，VH是PCIe MR-IOV（Multiple Root I/O Virtualization）里面的一個(gè)概念。MR-IOV擴(kuò)展了SR-IOV規(guī)范，允許PCIe設(shè)備在多個(gè)有獨(dú)立PCI根的系統(tǒng)之間共享，這些系統(tǒng)通過基于PCIe轉(zhuǎn)換器的拓?fù)浣Y(jié)構(gòu)與PCIe設(shè)備或者PCIe-PCI橋相接。每個(gè)VH（一個(gè)VH就是一個(gè)虛擬獨(dú)立的SR-IOV設(shè)備）擁有獨(dú)立的PCI Memory，IO，配置空間。

5.1 多邏輯設(shè)備和pcie 虛擬化區(qū)別和聯(lián)系：

5.1.1 區(qū)別：

**范圍：**MLD是CXL協(xié)議中的概念，而PCIe中的虛擬化是在PCIe標(biāo)準(zhǔn)中定義的。它們屬于不同的協(xié)議和標(biāo)準(zhǔn)體系，并且在不同的領(lǐng)域和應(yīng)用中發(fā)揮作用。 支持范圍：MLD通常用于高性能計(jì)算和數(shù)據(jù)中心中，主要面向加速器和設(shè)備的虛擬化。而PCIe虛擬化廣泛應(yīng)用于服務(wù)器和桌面系統(tǒng)中，用于虛擬機(jī)和容器等多租戶環(huán)境中的設(shè)備共享和隔離。

5.1.2聯(lián)系：

**資源劃分：**MLD和PCIe虛擬化都允許將一個(gè)物理設(shè)備劃分為多個(gè)虛擬設(shè)備實(shí)例，每個(gè)實(shí)例都可以獨(dú)立地配置、管理和使用資源。這樣可以提高設(shè)備的利用率和靈活性，支持多任務(wù)和多租戶的需求。

**虛擬設(shè)備驅(qū)動(dòng)程序：**在MLD和PCIe虛擬化中，每個(gè)虛擬設(shè)備實(shí)例都需要有相應(yīng)的驅(qū)動(dòng)程序，用于與主機(jī)進(jìn)行通信和操作。這些驅(qū)動(dòng)程序負(fù)責(zé)虛擬設(shè)備實(shí)例的配置、命令傳遞和數(shù)據(jù)交互。

**隔離和保護(hù)：**MLD和PCIe虛擬化都涉及到對(duì)虛擬設(shè)備實(shí)例之間的隔離和保護(hù)。這是為了確保各個(gè)實(shí)例之間的操作互不干擾，確保安全性和穩(wěn)定性。

5.2 MLD中如何做到各個(gè)實(shí)例間的隔離：

在CXL中，多邏輯設(shè)備（MLD）之間的隔離主要通過以下方式實(shí)現(xiàn)： 虛擬地址空間隔離：每個(gè)MLD被分配了自己的虛擬地址空間，使得每個(gè)實(shí)例在操作內(nèi)存時(shí)互不干擾。這意味著每個(gè)MLD都有自己的獨(dú)立內(nèi)存映射，防止數(shù)據(jù)交叉干擾和沖突。 **DMA（Direct Memory Access）隔離：**DMA是一種直接內(nèi)存訪問技術(shù)，允許設(shè)備通過繞過主機(jī)CPU直接讀寫內(nèi)存。在MLD中，每個(gè)實(shí)例具有獨(dú)立的DMA引擎和DMA傳輸路徑，以確保不同實(shí)例之間的DMA操作互不干擾。 **中斷和事件隔離：**CXL允許每個(gè)MLD擁有獨(dú)立的中斷控制和事件處理機(jī)制。這使得每個(gè)實(shí)例可以接收和處理獨(dú)立的中斷和事件，而不會(huì)干擾其他實(shí)例的工作。 安全性和權(quán)限控制：CXL提供了一套安全性和權(quán)限控制機(jī)制，用于確保每個(gè)MLD實(shí)例之間的訪問和操作受到嚴(yán)格的限制和控制。這包括訪問控制列表、權(quán)限級(jí)別和訪問權(quán)限掩碼等

6.CXL設(shè)備擴(kuò)展

CXL設(shè)備擴(kuò)展限制只允許每個(gè)VH（Virtual Hierarchy）啟用一個(gè)Type 1或Type 2設(shè)備。

柚子快報(bào)激活碼778899分享：【CXL協(xié)議-系統(tǒng)架構(gòu)】

http://yzkb.51969.com/

推薦文章