基于 vDPA 的虛擬網(wǎng)絡轉發(fā)技術研究與優(yōu)化

　　摘要：隨著云計算的蓬勃發(fā)展和 5G 時代的到來，虛擬網(wǎng)絡中對數(shù)據(jù)流轉發(fā)效率的需求也越來越高，但是當前所使用的常見網(wǎng)絡加速技術已不能滿足日益增長的需求。文中主要介紹了當前虛擬網(wǎng)絡轉發(fā)技術的基本原理，研究了一種基于 vDPA(vhost 數(shù)據(jù)路徑加速)技術的優(yōu)化數(shù)據(jù)流轉發(fā)的解決方案。通過對優(yōu)化前后的虛擬網(wǎng)絡數(shù)據(jù)流轉發(fā)性能進行對比測試，可以看到網(wǎng)絡帶寬速率在原來的基礎上提高了近一倍，驗證了文中設計方案的有效性，優(yōu)化了虛擬網(wǎng)絡轉發(fā)性能。

　　關鍵詞：虛擬網(wǎng)絡;數(shù)據(jù)流轉發(fā);vDPA;性能優(yōu)化

　　歐陽卓玥; 鄒素雯 電子設計工程 2022-01-05

　　5G 時代的到來，加速了網(wǎng)絡虛擬化的進程。隨著軟件定義網(wǎng)絡(SDN)和網(wǎng)絡功能虛擬化(NFV)的快速發(fā)展，云數(shù)據(jù)中心網(wǎng)絡的架構也隨之發(fā)生轉變，開始使用虛擬化技術[1] 。在虛擬網(wǎng)絡轉發(fā)過程中，雖然內(nèi)核模塊可以直接訪問硬件設備，但是用戶空間應用程序需要執(zhí)行系統(tǒng)調(diào)用并在內(nèi)核中執(zhí)行中間步驟，增加了主要任務的開銷[2] 。基于Intel x86架構的數(shù)據(jù)平面開發(fā)套件(Data Plane Development Kit，DPDK)是一套為 Linux 用戶空間應用程序提供優(yōu)化庫的解決方案，可以避免從用戶空間到內(nèi)核態(tài)空間報文的復制過程。雖然基于 DPDK 的 OVS 方案在數(shù)據(jù)包處理效率方面相對于傳統(tǒng)的 Linux數(shù)據(jù)收發(fā)方案有很大提高，但依然無法滿足現(xiàn)在日益增長的對網(wǎng)絡轉發(fā)性能的需求。vhost數(shù)據(jù)路徑加速(vhost Data Path Acceleration， vDPA)技術在基于 DPDK 的 OVS 方案的基礎上，通過優(yōu)化 virtio數(shù)據(jù)平面的 vhost數(shù)據(jù)路徑，使得數(shù)據(jù)流轉發(fā)達到線速性能，提升了虛擬網(wǎng)絡轉發(fā)效率。

　　1 虛擬網(wǎng)絡轉發(fā)技術

　　1.1 DPDK虛擬化技術

　　DPDK(Data Plane Development Kit)是 Intel 提 供的基于 x86 架構的數(shù)據(jù)平面開發(fā)工具集[3] ，主要以 Intel Architecture(IA)多核處理器為目標平臺，實現(xiàn)了高性能數(shù)據(jù)包處理。DPDK 是一個全面的網(wǎng)絡內(nèi)核旁路解決方案，不僅支持眾多的網(wǎng)卡類型，也有多種內(nèi)存和 CPU 調(diào)度的優(yōu)化方案。 DPDK 的主要模塊包括核心庫 Core Libs、PMD 庫 、Classify 庫 和 QoS 庫 等 [4] 。 核 心 庫 Core Libs 是 DPDK 程序的基礎，包括系統(tǒng)抽象層、內(nèi)存管理、無鎖環(huán)、緩存池等;PMD 庫提供全用戶態(tài)的驅動，通過輪詢和線程綁定得到極高的網(wǎng)絡吞吐，支持各種物理和虛擬網(wǎng)卡;Classify 庫支持精確匹配、最長匹配和通配符匹配，提供常用包處理的查表操作;QoS 庫提供網(wǎng)絡服務質量相關組件，如限速和調(diào)度等。 DPDK 解決了 IA 多核處理器對高性能數(shù)據(jù)包處理的需求[5] ，其核心思想主要包括以下幾個方面： ①輪詢模式[6] ，DPDK 輪詢網(wǎng)卡檢測是否有網(wǎng)絡報文的接收或者發(fā)送，避免了傳統(tǒng)網(wǎng)卡驅動的中斷上下文的開銷;②用戶態(tài)驅動，DPDK 通過用戶態(tài)驅動的開發(fā)框架在用戶態(tài)操作設備及數(shù)據(jù)包，避免了不必要 的 用 戶 態(tài) 和 內(nèi) 核 態(tài) 之 間 的 數(shù) 據(jù) 拷 貝 和 系 統(tǒng) 調(diào)用;③親和性與獨占，利用線程的 CPU 親和綁定的方式，將特定的線程指定在固定的核上運行，避免線程在不同核之間頻繁切換帶來的開銷，提高并行處理的吞吐量;④降低訪問存儲開銷，DPDK 使用大頁技術降低 TLB(Translation Lookaside Buffer)未命中率，利用預取命令提高緩存的訪問率等。

　　1.2 Open vSwitch及相關技術

　　Open vSwitch(OVS)主要用于云環(huán)境中虛擬網(wǎng)絡的管理，使得對網(wǎng)絡狀態(tài)的流量監(jiān)控變得更容易。 OVS 是一個高質量的多層虛擬交換機，滿足了不同虛擬化平臺間的移植性。OVS 支持可編程自動化網(wǎng)絡大規(guī)模部署及拓展，能夠支持標準網(wǎng)絡管理接口和協(xié)議，還支持與其他現(xiàn)有虛擬交換方案的混合部署。OVS 在物理服務器上創(chuàng)建一個或多個 vSwitch 供各個虛擬機接入，將接入到 OVS 的虛擬機分配到不同的 VLAN 中實現(xiàn)網(wǎng)絡隔離。 Open vSwitch產(chǎn)生的主要目的是管理和配置虛擬機網(wǎng)絡，如圖 1所示，在軟件定義網(wǎng)絡的架構下，OVS 作為SDN交換機，向上連接控制器，向下連接主機，同時 OVS 交換機可以與物理交換機通信，相互交流數(shù)據(jù)。OVS 的基本功能主要包括：①自動化控制：OVS 支持 Open Flow[7] ，用戶可以通過 ovs- ofctl 使用 Open Flow協(xié)議連接交換機，實現(xiàn)查詢和控制;②QoS：支持擁塞管理和流量整形;③安全：支持 VLAN 隔離、流量過濾等功能，保證了虛擬網(wǎng)絡的安全性;④監(jiān)控：支持 Netflow、SFlow、SPAN、RSPAN 等網(wǎng)絡監(jiān)控技術。

　　1.3 基于DPDK的OVS轉發(fā)技術

　　雖然 OVS 作為虛擬交換機已經(jīng)進行了優(yōu)化，但是它在網(wǎng)絡功能虛擬化場景下的轉發(fā)性能、時延等方面還需要提高。Intel 利用 DPDK 的加速思想，通過配置軟件架構，使得從 OVS 連接的某個網(wǎng)絡端口接收到的報文不需要 openvswitch.ko 內(nèi)核態(tài)的處理，報 文 直 接 通 過 DPDK PMD 驅 動 到 達 用 戶 態(tài) ovsvswitchd里[8] ，對 OVS的轉發(fā)性能進行了優(yōu)化。 DPDK加速的 OVS利用了 DPDK的 PMD驅動、向量指令、大頁等技術，來優(yōu)化用戶態(tài)的數(shù)據(jù)通路，直接繞過內(nèi)核態(tài)的數(shù)據(jù)通路，加速物理網(wǎng)口和虛擬網(wǎng)口的報文處理速度。圖 2 顯示了基于 DPDK 加速的 OVS 轉發(fā)流程圖。

　　2 vDPA技術簡介 2.1 vDPA技術

　　vDPA(vhost Data Path Acceleration)虛擬數(shù)據(jù)路徑加速，主要目的是標準化網(wǎng)卡的 SRIOV 數(shù)據(jù)通路，讓 SRIOV 的虛擬功能可以支持 virtio ring 的 layout，并且在 Guest的空間可以使用標準的 virtio驅動。 vDPA 本質上是一種使用 virtio ring layout 標準化 NIC SRIOV 數(shù)據(jù)平面并將單個標準 virtio 驅動程序放置在與任何供應商實現(xiàn)分離的方法，同時向其中添加了通用控制平面來支持它[9] 。因為 vDPA 是 SRIOV 之上的抽象層，因此它還可以支持可擴展 IOV 等新興技術。 vDPA 有潛力成為為虛擬機提供線速以太網(wǎng)接口的解決方案，它具有以下優(yōu)勢：①開放的公共規(guī)范：任何人都可以看到、使用和參與更新規(guī)范(virtio 規(guī)范)，而不用鎖定特定的供應商;②線速性能：與 SRIOV 類似，中間沒有 memory 地址翻譯;③單個通用 NIC 驅動程序：可以將 virtio-net 驅動程序作為標準驅動程序，和用于存儲設備的 NVMe 驅動程序一樣，通過 vDPA 框架支持不同廠家的網(wǎng)卡。

　　2.2 vDPA DPDK設計

　　DPDK 基于 vhost-user 的協(xié)議為 vDPA 技術提供了一個后端實現(xiàn)。在內(nèi)核里，DPDK 主要基于 mdev 框架實現(xiàn)。DPDK 中設計增加兩個新組件：vDPA 驅動和用戶態(tài)驅動，來控制 vDPA 設備硬件;vDPA 框架提供 vhost- user socket 和 vDPA 驅動的連接。vDPA DPDK 框架提供一系列的設備回調(diào)函數(shù)，由網(wǎng)卡廠家實現(xiàn)，這些函數(shù)被 vhost-user 調(diào)用來創(chuàng)建數(shù)據(jù)路徑[10] 。vDPA 在 vhost-user 庫中添加選擇性的數(shù)據(jù)路徑 支 持 ，將 設 備 驅 動 程 序 與 vhost socket 關 聯(lián) ，將 vswitch 添加為端口代表，同時能將信息返回到數(shù)據(jù)路徑中。在應用場景中使用 vDPA 設備，其數(shù)據(jù)路徑還是全硬件卸載，而控制路徑可以使用 vDPA API。相對于全卸載的 virtio PMD 模式，這種方式的好處是更加靈活，可以切換到其他使用 vDPA 的硬件設備或回到全軟件路徑，同時也可以實現(xiàn)對熱遷移的支持并實現(xiàn)標準化。

　　3 基于vDPA轉發(fā)優(yōu)化的實現(xiàn)

　　自 DPDK18.05 版本開始，DPDK 實現(xiàn)了對 vDPA的支持。它基于 vhost-user協(xié)議，為前端提供統(tǒng)一的控制路徑[11] 。在 DPDK 中支持 vDPA 功能，使得內(nèi)核中基于 MDEV 框架的 vDPA 框架能更標準地實現(xiàn)。如圖 3 所示，為運用 vDPA 技術的數(shù)據(jù)流在各個模塊中的轉發(fā)流程圖。硬件層中有一個 vDPA 設備，位于網(wǎng)卡中虛擬功能(Virtual Function，VF)和物理功能(Physical Function，PF)中間的模塊，該設備使用其專有的控制路徑直接填充虛擬隊列。virtio-net 設備實現(xiàn)了驅動底層 vDPA 設備的實際功能。這個 vDPA 設備采用將 virtio 數(shù)據(jù)路徑卸載到該設備的方式 。 virito- mdev 設 備 通 過 自 身 的 API 接 口 傳 輸 virtio-mdev命令[12] ，并執(zhí)行命令轉換、仿真或調(diào)解。

　　vDPA DPDK 框架引入了一組由供應商 vDPA 設備驅動程序實現(xiàn)的回調(diào)，由 vhost-user庫調(diào)用以設置數(shù)據(jù)路徑，在 rte_vdpa_dev_ops 結構體中可以看到，這些回調(diào)中一半與標準 vhost-user 協(xié)議請求具有一一對應的關系，例如獲取和設置 virito功能[13] 、獲取受支持的 vhost-user 協(xié)議功能等。其中 dev_conf 回調(diào)函數(shù)用于設置和啟動設備，并在 vhost-user層接收到設置和啟用數(shù)據(jù)路徑所需的所有信息后被調(diào)用。在此回調(diào)函數(shù)中，vDPA 設備驅動程序將設置環(huán)地址、 DMA mapping并啟動設備[14] 。

　　4 性能測試

　　在 Linux環(huán)境中對虛擬機之間的通信進行測試，主要是 vDPA 技術使用前后對網(wǎng)絡 I/O 性能的對比測試。在兩臺相同的服務器中搭建實驗環(huán)境，服務器的配置如表 1所示。

　　在第一臺服務器中搭建基于 DPDK 加速的 OVS 實驗環(huán)境，在第二臺服務器中搭建 vDPA 的實驗環(huán)境，分別在兩種實驗環(huán)境中創(chuàng)建虛擬機進行通信測試。實驗環(huán)境中使用 iperf命令行作為網(wǎng)絡性能的測試工具，可以測試兩臺虛擬機之間的帶寬性能[15] 。在 DPDK-OVS 實驗環(huán)境中，配置、編譯 DPDK 和 OVS 并進行大頁設置和 VFIO[16] 。vDPA 實驗環(huán)境中的測試方案如圖 4 所示，在環(huán)境中修改.config 文件進行配置，用 Linux 命令啟動 librte_pmd_mlx5_vdpa 程序，使 DPDK 應用程序與 libibverbs 連接。然后創(chuàng)建兩臺虛擬機，其中一臺作為客戶端，另一臺作為服務端，從客戶端向服務端發(fā)送數(shù)據(jù)，數(shù)據(jù)直接通過數(shù)據(jù)平面到達網(wǎng)卡進行轉發(fā)，進一步提高了數(shù)據(jù)轉發(fā)效率。實驗中分別測試 TCP 協(xié)議和 UDP 協(xié)議在虛擬機之間的傳輸帶寬值。

　　對實驗測試結果進行整理，TCP 轉發(fā)測試數(shù)據(jù)如圖 5所示，UDP 轉發(fā)測試數(shù)據(jù)如圖 6所示。可以看到使用 vDPA 技術優(yōu)化后網(wǎng)絡帶寬在原來 DPDKOVS基礎上幾乎增加了一倍。

　　5 結束語

　　文中首先對當前虛擬網(wǎng)絡轉發(fā)技術進行了分析研究，提出了一種新的基于 vDPA 技術的虛擬網(wǎng)絡轉發(fā)性能優(yōu)化設計方案并進行實現(xiàn)，通過加速數(shù)據(jù)路徑達到優(yōu)化數(shù)據(jù)流轉發(fā)過程的目的，通過在實驗環(huán)境中進行優(yōu)化前后的對比測試驗證了該解決方案的可行性。