随着信息化技術不斷發展，虛拟化技術越來越多應用于學校信息化建設。常見服務器虛拟化的軟件主要有MicrosoftHyper-V、VMwarevSphere和CitrixXenServer等等。在華東師範大學闵行校區(或中北校區)，通過服務器虛拟化軟件VMwarevSphere來将多台物理服務器組合成一個群集，并通過配置SAN共享存儲，來實現vSphere的HA、DRS和vMotion的虛拟化高級功能，保障闵行校區（或中北校區）虛拟化業務高可用性和安全性。但這種方式存在單校區安全隐患，如當闵行機房（或中北機房）出現斷電故障、用于支持物理服務器的PDU故障或者主機故障，将會使大範圍的服務受到影響，導緻業務的長時間中斷或者不可恢複。
如何實現當任何一個校區的虛拟化出現故障，能夠快速實現将業務飄到另一個校區提供服務，最大限度地減少損失，保證業務的高可用性與安全性，下文将從理論到實踐詳細闡述闵行校區和中北校區進行多校區虛拟化平台如何實施部署。
多校區虛拟化架構設計
華東師範大學闵行校區和中北校區的多校區虛拟化平台實施部署時，中北校區和闵行校區現有網絡架構，服務器層面通過VMwarevSphere來實現服務器虛拟化。存儲層面通過EMCvplex設備創建虛拟卷為虛拟化平台提供共享存儲。通過服務器和存儲虛拟化技術，在中北校區與闵行校區搭建兩校區虛拟化平台。其基本架構如圖1所示。
在中北校區和闵行校區各部署一套配置一緻UCS刀片，通過虛拟化軟件VMwarevSphere來實現服務器層面的虛拟化。兩校區網絡實現萬兆互聯，具有高速率、低延時、二層互通等特性，滿足虛拟化業務對網絡要求。在兩校區通過部署EMCvplex設備來實現存儲層面的虛拟化，兩校區vplex設備通過四根萬兆以太網實現兩校區數據複制與通信。同時，在第三點故障域部署監控點，主要用于兩校區vplex設備的健康監測與故障切換。在每一個校區，服務器與存儲之間通過兩台brocade光纖交換機進行連接。利用虛拟化技術，建立一個統一的、整體部署的多校區虛拟化的系統架構，實現多校區虛拟化業務的雙活容錯，提高信息化集成業務的連續可用性和安全性。多校區虛拟化實現
虛拟化的實施部署工作主要涉及服務器虛拟化與存儲虛拟化這兩個方面的實施部署，具體如下。
服務器虛拟化實現
在中北校區與闵行校區都采用配置一緻的UCS刀片用作虛拟化主機，虛拟化軟件采用VMwarevSphere。服務器虛拟化主要涉及以下三個方面工作。
1.UCS刀片服務器初始化工作
在安裝虛拟化軟件ESXI之前，我們需要對UCS刀片進行初始化工作。UCS刀片主要用于部署虛拟化軟件，承載虛拟化業務。UCS刀片主要由機箱和FI（fabricinterconnect）組成。FI處理UCS所有的管理任務，提供上聯到現有的LAN和SAN，提供下聯到機箱。UCS刀片初始化工作主要通過FI管理控制台來配置，主要涉及organization配置、UUIDsuffix配置、server池配置、本地磁盤策略配置、serviceprofile模闆配置、MAC池配置、vlan配置、vlangroup創建、虛拟網卡模闆配置、wwpn配置、wwnn配置、vsan配置、vhba模闆配置、FEX配置、電源冗餘策略配置、FI端口類型配置、物理刀片服務器與serviceprofile關聯配置等。
2.vSphereESXi安裝配置
ESXi直接運行在物理服務器上，能夠提供功能強大且經過生産驗證的虛拟化層。通過對服務器硬件資源（如内存、存儲器、處理器及網絡設備等）進行抽象，實現多台虛拟機共享底層硬件資源。當我們完成UCS刀片服務器初始化工作，接下來就需要在中北校區和闵行校區每台刀片服務器上安裝和配置虛拟化軟件ESXi。
（1）ESXi安裝工作。通過調整服務器BIOS引導順序進行安裝工作，在安裝過程中需要設置root用戶密碼等。
（2）ESXi配置工作。完成安裝後，通過root用戶進行配置，主要涉及IP地址、DNS、VLAN、主機名和功能許可license等。
（3）vCenterserver安裝配置
vCenterServer是VMwarevSphere一個關于ESXi主機和虛拟機集中管理的虛拟化平台。通過vCenterServer可以實現vSphere許多高級功能，如HA、DRS、vMotion等。
（1）vCenterserver安裝工作。按照vCenterserver部署基本要求，我們将軟件安裝到一台WindowServer2008R264位操作系統的虛拟機上。在安裝過程中，需要配置vCenter的數據庫，可以選擇系統自帶的MicrosoftSQLServerExpress,但對主機數量和虛拟機數量都有限制，僅适用于小規模部署，因此我們采用外部數據庫配置。關于涉及到TCP、UPD端口都采用默認設置。
（2）vCenterserver配置工作。通過客戶端軟件連接到vCenterserver進行相關配置工作，vCenterserver配置工作主要涉及vCenterserver基本功能配置、虛拟化網絡配置和共享存儲配置等。
vCenterserver基本功能配置。主要涉及添加vCenter許可license、建立兩校區數據中心、建立兩校區群集、将兩校區配置好的虛拟化主機添加到群集中、兩校區群集HA、DRS和vMotion功能配置等。
虛拟化網絡配置。網絡虛拟化可以實現不同虛拟機之間以及虛拟機與物理主機之間通信。針對每一台主機采用标準交換機網絡模式，根據業務需求對端口組、管理網絡、網絡流量調整、網絡安全策略、物理網卡綁定等進行配置。
共享存儲配置。針對通過光纖通道分配的兩校區虛拟卷，建立虛拟機文件系統（VMFS）,實現多個物理主機對同一存儲器同時執行讀寫操作。
存儲虛拟化實現
通過服務器虛拟化配置，将中北校區和闵行校區的ESXi主機都添加到同一個群集中。要實現兩個校區虛拟化，還需要為兩校區主機配置SAN共享存儲。基于兩校區已有的EMC的存儲設備，在闵行校區和中北校區各部署一台vplex設備，通過EMCvplex虛拟化技術，将中北校區和闵行校區的存儲卷做成一個虛拟卷，對于中北校區和闵行校區的ESXi主機而言，識别到的是同一塊存儲。接下來詳細介紹虛拟卷的配置，假設需要配置的虛拟卷大小為10T。
1.vplex初始化工作。主要涉及Hostname與管理端口配置、meta-volume配置、時間同步配置、WANinterface配置、loggingvolume配置、監控點部署等
2.存儲卷分配。在中北和闵行的EMC存儲上分别劃分相應大小為10T的卷給vplex設備。
3.存儲卷标記。兩校區的vplex識别到存儲卷後并其進行标記，目的是讓存儲卷受vplex管理。
4.區間創建。分别在中北和闵行的vplex上創建區間。區間用來對vplex管理的存儲卷進行空間規劃，我們将10T的存儲卷做成一個區間。
5.設備創建。設備創建過程實際上就是區間與設備映射的過程，我們采用一對一唯一映射方式在中北和闵行vplex創建設備。
6.虛拟卷創建。虛拟卷實際上就是将中北和闵行的vplex上的設備做成一個統一的卷，提供給虛拟主機使用。在創建虛拟卷中，需要創建一個consistencygroup（CG），這個CG包含這個全局的虛拟卷，在CG中需要設定一定取勝規則。
通過上面步驟，成功建立了虛拟卷。通過在中北和闵行的vplex建立存儲視圖，将UCS刀片服務器的HBA卡wwpn、vplex通信端口以及虛拟卷結合在一起，實現虛拟卷分配到兩校區ESXi主機，在虛拟主機經過磁盤掃描後，就可以識别到通過vplex分配的虛拟卷。
多校區虛拟化模拟測試
通過上面的部署，通過虛拟化技術實現了多校區虛拟化平台。在業務遷移到多校區虛拟化平台之前，需要對虛拟化平台進行一系列功能模拟測試工作，主要涉及服務器虛拟化和存儲虛拟化的模拟測試。
服務器虛拟化測試
服務器虛拟化測試主要針對中北校區和闵行校區虛拟化平台主要功能測試，主要涉及VMwarevSphere的HA、vMotion等功能測試。将從闵行校區ESXi主機中取出的主機A和從中北校區ESXi主機中取出的主機B做成一個群集，并開啟群集的HA功能和vMotion功能，在主機A創建一台業務測試機C。
1.多校區HA功能測試
vSphereHA功能用于檢測故障，對群集中運行的虛拟機提供快速恢複功能。核心功能包括主機監控、虛拟機監控和應用程序監控功能，用于在檢測不到檢測信号時最大程度地縮短停機時間。本文主要以主機監控功能測試為例。（1）通過對闵行ESXi主機A執行斷電操作來模拟主機故障，同時針對業務測試機C，ping命令窗口顯示請求超時。
（2）經過約200秒，業務測試機C的ping請求正常，業務測試機在中北校區主機B上重啟完成。
（3）恢複主機A正常狀态，對主機B執行斷電操作模拟主機故障，同時針對業務測試機C，ping命令窗口顯示請求超時。
（4）經過約200秒，業務測試機C的ping請求正常，業務測試機重回在闵行校區主機A上重啟完成。
2.多校vMotion功能測試
VMwarevMotion可以将運行中的虛拟機從一台虛拟主機實時遷移到另一台虛拟主機上。在遷移過程中能夠保證業務的連續可用性和事務的完整性。StoragevMotion可以在不中斷服務的情形下實現虛拟機文件的不同數據存儲之間的遷移。本文主要以虛拟機遷移為例。
（1）對位于闵行ESXi主機A上的業務測試機C執行vMotion，同時開啟對業務測試機的ping操作。
（2）在vMotion整個過程中，出現一個ping包丢失，服務可用無中斷，業務測試機成功遷移到中北校區ESXi主機B。
（3）對遷移到主機B的業務測試機C執行vMotion，同時開啟對業務測試機的ping操作。
（4）在vMotion整個過程中，出現一個ping包丢失，服務可用無中斷，業務測試機成功遷移到闵行校區ESXi主機A。
存儲虛拟化測試
在兩校區通過部署EMCvplex設備來實現存儲層面的虛拟化，并在第三點故障域部署監控點，主要用于兩校區vplex設備的健康監測與故障切換。存儲虛拟化測試主要針對vplex設備及監控點進行測試，假定vplex設定規則為集群cluster1作為勝利者，測試結果參見表格1。業務遷移方案
多校區虛拟化平台搭建與測試完成之後，接下來考慮相關業務系統遷移工作，主要涉及短信平台、報表系統、ESRS監控系統、Lenovo虛拟化平台、AD域服務器等。
1.針對部署在其他虛拟化平台的業務，如Lenovo虛拟化業務等
關于部署在Lenovo虛拟化平台的業務系統，由于不滿足vMotion的條件，隻能采用冷遷移的方式。
（1）在vCenter上新建一個群集，将Lenovo主機添加到新建的群集中；
（2）将Lenovo虛拟平台的業務虛拟機進行關機，并将虛拟機遷移到多校區虛拟化平台群集上；
（3）遷移完成後，在兩校區虛拟化平台上将業務虛拟機重新啟動，業務運行。
2.針對部署在實體機上的業務，如報表系統、短信平台等
（1）針對部署在實體機上的業務且操作系統為Window或者Linux系統，如報表系統、ESRS監控系統、AD域服務器等。我們采用VMwarevCenterConverter工具來實現實轉虛操作，将實體機轉化成兩校區虛拟化平台的虛拟機。
（2）針對部署在實體機上的業務且操作系統為solaris系統，如短信平台。我們隻能采用在兩校區虛拟化平台重新部署的方式，無法采用VMwarevCenterConverter工具來實現實轉虛操作。
通過上述操作，完成相關業務系統的遷移工作。經過一段時間觀察，業務運行穩定，達到預期效果。針對後續新增業務系統，如K2系統、資源管理系統等，采用直接部署在兩校區虛拟化平台上的方式，進一步提高業務的連續可用性和安全性。
多校區虛拟化平台采用EMCvplex設備創建的虛拟卷作為共享存儲，通過VMwarevSphere虛拟化技術來實現虛拟化業務在兩校區虛拟主機上高效穩定運行。到目前為止，在多校區虛拟化平台上遷移和新建的業務運行穩定，達到預期目标。多校區虛拟化平台建立了一個統一的、整體部署的虛拟化異地容災的系統框架，實現兩校區虛拟化業務的雙活容錯，有效解決了單校區安全隐患，提高信息化集成業務的連續可用性和安全性。
（作者單位為華東師範大學信息化辦公室）