Linux 群集大全

魚戀秋波 Neil Y.K. :

問題的部分原因在於術語集群用於不同場合。IT 經理可能關心如何使服務器運行時間更長，或使應用程序運行得更快，而數學家可能更關心在服務器上進行大規模數值計算。兩者都需要群集，但是各自需要不同特性的群集。

本文調查了不同形式的集群以及許多實現中的一部分，這些實現可以買到，也可以免費軟體形式獲得。儘管列出的所有解決方案並不都是開放源碼，但是大多數軟體都遵循分發 Linux 源碼的公共慣例，特別是由於那些實現集群的人還常常希望調整系統性能，以滿足需要。

集群總是涉及到機器之間的硬體連接。在現今大多數情況下，這只是指“快速以太網”網卡和集線器。但在尖端科學領域中，有許多專為集群設計的網路介面卡。

它們包括 Myricom 的 Myrinet、Giganet 的 cLAN 和 IEEE 1596 標準可伸縮一致介面 (SCI)。那些卡的功能不但在群集的節點之間提供高帶寬，而且還減少延遲（發送消息所用的時間）。對於在節點間交換狀態信息以使其操作保持同步情況，那些延遲是至關重要的。

• Myricom
  Myricom 提供網卡和交換機，其單向互連速度最高可達到 1.28 Gbps。網卡有兩種形式，銅線型和光纖型。銅線型 LAN 可以在 10 英尺距離內以全速進行通信，而在長達 60 英尺距離內以半速進行操作。光纖型 Myrinet 可以在 6.25 英里長的單模光纖或者 340 英尺長的多模光纖上全速運行。Myrinet 只提供直接點到點、基於集線器或基於交換機的網路配置，但在可以連接到一起的交換光纖數量方面沒有限制。添加交換光纖只會增加節點間的延遲。兩個直接連接的節點之間的平均延遲是 5 到 18 微秒，比以太網快得多。
  
  集群類型
  最常見的三種群集類型包括高性能科學群集、負載均衡群集和高可用性群集。
  1. 科學群集
     通常，第一種涉及為群集開發並行編程應用程序，以解決複雜的科學問題。這是並行計算的基礎，儘管它不使用專門的並行超級計算機，這種超級計算機內部由十至上萬個獨立處理器組成。但它卻使用商業系統，如通過高速連接來鏈接的一組單處理器或雙處理器 PC，並且在公共消息傳遞層上進行通信以運行並行應用程序。因此，您會常常聽說又有一種便宜的 Linux 超級計算機問世了。但它實際是一個計算機群集，其處理能力與真的超級計算機相等，通常一套像樣的群集配置開銷要超過 $100,000。這對一般人來說似乎是太貴了，但與價值上百萬美元的專用超級計算機相比還算是便宜的。
  2. 負載均衡群集
     負載均衡群集為企業需求提供了更實用的系統。如名稱所暗示的，該系統使負載可以在計算機群集中盡可能平均地分攤處理。該負載可能是需要均衡的應用程序處理負載或網路流量負載。這樣的系統非常適合於運行同一組應用程序的大量用戶。每個節點都可以處理一部分負載，並且可以在節點之間動態分配負載，以實現平衡。對於網路流量也是如此。通常，網路服務器應用程序接受了太多入網流量，以致無法迅速處理，這就需要將流量發送給在其它節點上運行的網路服務器應用。還可以根據每個節點上不同的可用資源或網路的特殊環境來進行優化。
  3. 高可用性群集
     高可用性群集的出現是為了使群集的整體服務盡可能可用，以便考慮計算硬體和軟體的易錯性。如果高可用性群集中的主節點發生了故障，那麼這段時間內將由次節點代替它。次節點通常是主節點的鏡像，所以當它代替主節點時，它可以完全接管其身份，並且因此使系統環境對於用戶是一致的。
  
  在群集的這三種基本類型之間，經常會發生混合與交雜。於是，可以發現高可用性群集也可以在其節點之間均衡用戶負載，同時仍試圖維持高可用性程度。同樣，可以從要編入應用程序的群集中找到一個並行群集，它可以在節點之間執行負載均衡。儘管集群系統本身獨立於它在使用的軟體或硬體，但要有效運行系統時，硬體連接將起關鍵作用。
• Giganet
  Giganet 是用於 Linux 平臺的虛擬介面 (VI) 體系結構卡的第一家供應商，提供 cLAN 卡和交換機。VI 體系結構是獨立于平臺的軟體和硬體系統，它由 Intel 開發，用於創建群集。它使用自己的網路通信協議在服務器之間直接交換數據，而不是使用 IP，並且它並不打算成為 WAN 可路由的系統。現在，VI 的未來取決於正在進行的“系統 I/O 組”的工作，這個小組本是 Intel 領導的“下一代 I/O”小組與 IBM 和 Compaq 領導的“未來 I/O 小組”的合並。Giganet 產品當前可以在節點之間提供 1 Gbps 單向通信，最小延遲為 7 微秒。
• IEEE SCI
  IEEE 標準 SCI 的延遲更少（低於 2.5 微秒），並且其單向速度可達到 400 MB／秒 (3.2 Gbps)。SCI 是基於環拓撲的網路系統，不像以太網是星形拓撲。這將使在較大規模的節點之間通信速度更快。更有用的是環面拓撲網路，它在節點之間有許多環形結構。兩維環面可以用 n 乘 m 的網格表示，其中在每一行和每一列都有一個環形網路。三維環面也類似，可以用三維立體節點網格表示，每一層上有一個環形網路。密集超級計算並行系統使用環面拓撲網路，為成百上千個節點之間的通信提供相對最快的路徑。

大多數操作系統的限制因素不是操作系統或網路介面，而是服務器的內部 PCI 匯流排系統。幾乎所有臺式 PC 通常有基本 32-位，33-MHz PCI，並且大多數低階服務器只提供 133 MB／秒 (1 Gbps)，這限制了那些網卡的能力。一些昂貴的高端服務器，如 Compaq Proliant 6500 和 IBM Netfinity 7000 系列，都有 64-位， 66-MHz 網卡，它們能夠以四倍速度運行。不幸地是，矛盾是更多公司使用低階的系統，因此大多數供應商最終生產和銷售更多低階 PCI 網卡。也有專門的 64-位，66-MHz PCI 網卡，但價格要貴許多。例如，Intel 提供了這種類型的“快速以太網”網卡，價格約 $400 到 $500，幾乎是普通 PCI 版本價格的 5 倍。

某些並行群集系統可以達到如此高的帶寬和低延遲，其原因是它們通常繞過使用網路協議，如 TCP/IP。雖然網際協議對於廣域網很重要，但它包含了太多的開銷，而這些開銷在節點相互已知的封閉網路群集中是不必要的。其實，那些系統中有一部分可以在節點之間使用直接記憶體訪問 (DMA)，它類似於圖形卡和其它外圍設備在一台機器中的工作方式。因此橫跨群集，可以通過任何節點上的任何處理器直接訪問一種形式的分佈式共享記憶體。它們也可以使用低開銷的消息傳遞系統，在節點之間進行通信。

消息傳遞介面 (MPI) 是並行群集系統間消息傳遞層的最常見實現。MPI 存在幾種衍生版本，但在所有情況下，它為開發者訪問並行應用程序提供了一個公共 API，這樣開發者就不必手工解決如何在群集的節點之間分發代碼段。其中一個，Beowulf 系統首先將 MPI 用作公共編程介面。

很難決定使用哪種高性能集群包。許多都提供類似服務，但計算的具體要求才是決定性因素。很多情況下，在那些系統中的研究工作只是解決需求的一半，而且使用那些軟體需要集群包開發者的特殊幫助和合作。

• Beowulf
  當談到 Linux 集群時，許多人的第一反映是 Beowulf。那是最著名的 Linux 科學軟體集群系統。沒有一個包叫做 Beowulf。實際上，它是一個術語，適用於在 Linux 內核上運行的一組公共軟體工具。其中包括流行的軟體消息傳遞 API，如“消息傳送介面”(MPI) 或“並行虛擬機”(PVM)，對 Linux 內核的修改，以允許結合幾個以太網介面、高性能網路驅動器，對虛擬記憶體管理器的更改，以及分佈式進程間通信 (DIPC) 服務。公共全局進程標識空間允許使用 DIPC 機制從任何節點訪問任何進程。Beowulf 還在節點間支持一系列硬體連通性選件。
  
  Beowulf 可能是考慮 Linux 時注意到的第一個高性能集群系統，這只是因為它的廣泛使用和支持。關於這個主題，有許多文檔和書籍。Beowulf 與以下一些科學集群系統之間的差異可以是實際的，或者只是在產品名稱中有差異。例如，儘管名稱不同，Alta Technologies 的 AltaCluster 就是一個 Beowulf 系統。某些供應商，如 ParTec AG，一家德國公司，提供了 Beowulf 模型的衍生版本，以包括其它管理介面和通信協議。
• Giganet cLAN
  Giganet 提供了一種定制的基於硬體的解決方案，它使用非 IP 協議在一個科學群集的節點間進行通信。如前所述，“虛擬介面”協議通過除去不少協議的開銷，如 IP，以支持服務器間更快的通信。另外，硬體系統可按千兆比特速度運行，並且延遲很短，使它非常適合構建最多達 256 個節點的科學群集。該供應商支持 MPI，這樣許多並行應用程序就可以在類似的系統（如 Beowulf）上運行。
  
  它也有 Beowulf 的缺點，即不能用作網路負載共享系統，除非想要編寫應用程序來監控和分發在服務器間傳送的網路包。
• Legion
  Legion 試圖構建一個真正的多計算機系統。這是一個群集，其中每個節點都是一個獨立系統，但在用戶看來，整個系統只是一台計算機。Legion 設計成支持一台世界範圍的計算機，由上百萬個主機以及數以萬億計的軟體對象組成。在 Legion 中，用戶可以創立他們自己的合作小組。
  
  Legion 提供了高性能並行、負載均衡、分佈式數據管理和容錯性。
  
  Legion 提供了高性能並行、負載均衡、分佈式數據管理和容錯性。它通過其容錯管理和成員節點間的動態重新配置來支持高可用性。它還有一個可擴充核心，該核心可以在出現新的改進和進展時動態替換或升級。系統並不是只接受單一控制，而是可以由任意數量的組織管理，而每個組織都支持整體的自治部分。Legion API 通過其內置的並行性提供了高性能計算。
  
  Legion 需要使用特別編寫的軟體，以使它可以使用其 API 庫。它位於用戶計算機操作系統之上，協調本地資源和分佈式資源。它自動處理資源調度和安全性，還管理上下文空間以描述和訪問整個系統中上億種可能之外的對象。然而，在每個節點上運行時，不需要使用系統管理員特權，並且可以使用無特權的用戶帳號進行工作。這將增加加入 Legion 的節點和用戶的靈活性。
• Cplant
  Sandia National Lab 中的 Computational Plant 是一個大規模整體並行群集，用於實現 TeraFLOP（萬億次浮點運算）計算並構建在商業組件上。整個系統由“可伸縮單元”組成，這些“可伸縮單元”可以劃分成適合不同目的（計算、磁盤 I/O、網路 I/O、服務管理）。群集中的每個節點都是一個 Linux 系統，帶有專門開發的、提供分區服務的內核級模塊。每個分區的功能可以通過裝入和卸載內核級模塊來修改。
  
  項目分三個階段完成，開始階段是原型，有 128 個基於 433-MHz DEC Alpha 21164 的系統，其中每個都有 192 MB RAM 和 2 GB 驅動器，相互之間用 Myrinet 網卡和 8-端口的 SAN 交換機連接。第 1 階段將它擴充為 400 個基於 21164 的工作站，這些工作站的運行速度為 500 MHz，有 192 MB RAM，沒有存儲器，用 16-端口的 SAN 交換機以超立方體結構連接起來，並且運行 Red Hat 5.1。當前的第 2 階段有 592 台基於 DEC 21264 的機器，它們的運行速度為 500 MHz，有 256 MB RAM，沒有驅動器。每個節點都使用 64-位，33-MHz PCI Myrinet 網卡，並且仍使用 16-端口交換機以超立方體結構連接。
  
  在 Cplant 上運行的應用程序包括解決稀疏線性系統、流體力學和結構力學中計算系統的優化、分子力學的模擬、線性結構力學的有限元分析，以及並行應用程序的動態負載均衡庫。
• JESSICA 2
  香港大學的系統研究小組有一個基於 Java 的群集，叫做支持 Java 的單系統映像計算體系結構 (JESSICA)，它作為一個中間件層以完成單系統映像的幻想。該層是每個使用分佈式共享記憶體 (DSM) 系統進行通信的節點上運行的所有線程的一個全局線程空間。該項目使用 ThreadMark DSM，但最終將用他們自己創建的 JiaJia Using Migrating-home Protocol (JUMP)。他們使用定制的基於 Java 的 ClusterProbe 軟體來管理群集的 50 個節點。
• PARIS
  法國的 IRISA 研究所的“大規模數字模擬應用程序的編程並行和分佈式系統”(PARIS) 項目提供了幾種用於創建 Linux 服務器群集的工具。該項目由三部分組成：群集的資源管理軟體、並行編程語言的運行時環境，以及分佈式數字模擬的軟體工具。
  資源管理軟體包括用於共享記憶體、磁盤和處理器資源的 Globelins 分佈式系統，及其 Dupleix 和 Mome 分佈式共享記憶體系統。

負載均衡群集在多節點之間分發網路或計算處理負載。在這種情況下，區別在於缺少跨節點運行的單並行程序。大多數情況下，那種群集中的每個節點都是運行單獨軟體的獨立系統。但是，不管是在節點之間進行直接通信，還是通過中央負載均衡服務器來控制每個節點的負載，在節點之間都有一種公共關係。通常，使用特定的算法來分發該負載。

網路流量負載均衡是一個過程，它檢查到某個群集的入網流量，然後將流量分發到各個節點以進行適當處理。它最適合大型網路應用程序，如 Web 或 FTP 服務器。負載均衡網路應用服務要求群集軟體檢查每個節點的當前負載，並確定哪些節點可以接受新的作業。這最適合運行如數據分析等串行和批處理作業。那些系統還可以配置成關注某特定節點的硬體或操作系統功能：這樣，群集中的節點就沒有必要是一致的。

• Linux 虛擬服務器
  “Linux 虛擬服務器”項目已經實現了許多內核補丁，它們為入網 TCP/IP 流量創建了負載均衡系統。LVS 軟體檢查入網流量，然後根據負載均衡算法，將流量重定向到一組充當群集的服務器。這允許網路應用程序，如 Web 服務器，在節點群集上運行以支持大量用戶。
  
  LVS 支持作為負載均衡服務器直接連接到同一個 LAN 的群集節點，但它還能夠以通道傳送 IP 包的方式連接到遠程服務器。後一種方法包括壓縮 IP 包中的均衡請求，這些 IP 信息包從負載均衡服務器直接發送到遠程群集節點。儘管 LVS 可以遠程支持網站的負載均衡，但它使用的負載均衡算法現在對於虛擬群集中的廣域 Web 服務器仍無效。因此，如果 Web 服務器都在同一個 LAN 中，LVS 最好當作負載均衡服務器使用。
  
  負載均衡系統的幾種硬體實現比在通用操作系統，如 Linux，上運行得更快。它們包括來自 Alteon 和 Foundry 的硬體，其硬體邏輯和最少操作系統可以在硬體中執行流量管理，並且速度比純軟體快。它們的價格也很高，通常都在 $10,000 以上。如果需要簡單和便宜的解決方案，一個有很多記憶體 (256 MB) 的中等 Linux 系統將會是一個好的負載均衡系統。
• TurboLinux TurboCluster 和 enFuzion
  TurboLinux 有一個產品叫 TurboCluster，它最初以“Linux 虛擬服務器”項目開發的內核補丁為基礎。因此，它可以得到大部分優點，但它的缺點也與原來的項目一樣。TurboLinux 為此還開發了一些工具，用於監控增加產品實用性的群集行為。一家主要供應商的商業支持也使它對於大型網站更具吸引力。
• EnFuzion 支持在節點之間實現自動負載均衡和資源共享，而且可以自動重新安排失敗的作業。
  EnFuzion 是 TurboLinux 即將推出的科學群集產品，它並不基於 Beowulf。但是，它可以支持上百個節點以及許多不同的非 Linux 平臺，包括 Solaris、Windows NT、HP-UX、IBM AIX、SGI Irix 和 Tru64。EnFuzion 非常有趣，因為它運行所有現有軟體，並且不需要為環境編寫定制的並行應用程序。它支持在節點間實現自動負載均衡和資源共享，而且可以自動重新安排失敗的作業。
• Platform Computing 的 LSF 批處理
  Platform Computing 是群集計算領域的老手，現在提供了 Linux 平臺上的“負載均衡設施 (LSF) 批處理”軟體。LSF 批處理允許中央控制器安排作業在群集中任意數量的節點上運行。在概念上，它類似於 TurboLinux enFuzion 軟體，並且支持在節點上運行任何類型的應用程序。
  這種方法對於群集大小是非常靈活的，因為可以明確選擇節點的數量，甚至是運行應用程序的節點。於是，可以將 64 個節點的群集分成更小的邏輯群集，每個邏輯群集都運行自己的批處理應用程序。而且，如果應用程序或節點失敗，它可以在其它服務器上重新安排作業。
  Platform 的產品在主要 Unix 系統和 Windows NT 上運行。目前，只有它們的 LSF 批處理產品已經移植到 Linux 上。最終，LSF Suite 組件的其餘部分也將緊隨其後移植到 Linux 上。
• Resonate Dispatch 系列
  Resonate 有一種基於軟體的負載均衡方法，類似於 Linux 虛擬服務器。但是，它支持更多特性，以及一些更好的負載均衡算法。例如，使用 Resonate，可以在每個群集節點裝入一個代理，以確定該節點當前的系統負載。然後，負載均衡服務器檢查每個節點的代理，以確定哪個節點的負載最少，並且將新的流量發送給它。另外，Resonate 還可以使用它的 Global Dispatch 產品更有效地支持地區性分佈式服務器。
  
  Resonate 已經在 Red Hat Linux 上徹底測試了該軟體，相信它也可以在其它發行版上運行。Resonate 的軟體還可以在其它各種平臺上運行，包括 Solaris、AIX、Windows NT，並且它還可以在混合環境中進行負載均衡。
• MOSIX
  MOSIX 使用 Linux 內核新版本來實現進程負載均衡集群系統。該群集中，任何服務器或工作站可以按指定加入或離開，即添加到群集的總處理能力，或從中除去。根據其文檔，MOSIX 使用自適應進程負載均衡和記憶體引導算法使整體性能最大化。應用程序進程可以在節點之間搶先遷移，以利用最好的資源，這類似於對稱多處理器系統可以在各個處理器之間切換應用程序。
  
  MOSIX 在應用層是完全透明的，並且不需要重新編譯或者重新鏈接到新的 Bank，因為所有一切都發生在內核級上。可以有幾種方法將它配置成多用戶共享環境群集。所有服務器可以共享一個 Pool，系統可以是群集的一部分，或者群集可以動態地分成幾個子群集，每種方法都有不同的用途。Linux 工作站還可以是群集的一部分，可以是固定的，也可以是臨時的，或者只是作為批處理作業提交者。作為臨時群集節點，工作站可以在其空閑時用於增加群集處理能力。也允許只以批處理方式使用群集，在這種方式中，群集被配置成通過隊列接受批處理作業。然後，守護程序取走作業並將它們發送到群集節點進行處理。
  MOSIX 的不利之處是它更改 Linux 內核行為的一些核心部分，於是系統級應用程序將不會按期望運行。
  
  除了高性能科學計算，MOSIX 提供了一個有趣的選項，用於以共同設置創建集群環境。通過使用服務器和工作站上的閑置資源，它可以更快更有效地創建和運行應用程序。由於訪問了多台服務器，並且可以動態調整群集大小和更改負載均衡規則，它還可以提供高度的服務器可用性。MOSIX 的不利之處是它更改 Linux 內核行為的一些核心部分，於是系統級應用程序將不會按期望運行。要使用網路應用程序時，而該程序使用基於單個服務器地址的套接字連接，MOSIX 通常也會受到限制。這意味著網路應用程序在一個服務器節點上開始運行時，如果 IP 地址與套接字綁定，那麼它必須繼續在該節點上運行。顯然，MOSIX 還正在開始遷移套接字，因此這很快就變成了爭論的焦點。

高可用性 (HA) 群集致力於使服務器系統的運行速度和響應速度盡可能快。它們經常使用在多台機器上運行的冗餘節點和服務，用來相互跟蹤。如果某個節點失敗，它的替補將在幾秒鐘或更短時間內接管它的職責。因此，對於用戶而言，群集永遠不會停機。

某些 HA 群集也可以維護節點間冗餘應用程序。因此，用戶的應用程序將繼續運行，即使他或她使用的節點出了故障。正在運行的應用程序會在幾秒之內遷移到另一個節點，而所有用戶只會察覺到響應稍微慢了一點。但是，這種應用程序級冗餘要求將軟體設計成具有群集意識的，並且知道節點失敗時應該做什麼。但對於 Linux，大多數現在還做不到。因為 Linux 系統沒有 HA 集群標準，並且也沒有公共 API 可供應用程序開發者構建有群集意識的軟體。

HA 群集可以執行負載均衡，但通常主服務器運行作業，而系統使輔助服務器保持閑置。輔助服務器通常是主服務器操作系統設置的鏡像，儘管硬體本身稍有不同。輔助節點對主服務器進行活動監控或心跳觀察，以查看它是否仍在運行。如果心跳計時器沒有接收到主服務器的響應，則輔助節點將接管網路和系統身份（如果是 Linux 系統，則是 IP 主機名和地址）。

但是，Linux 在這一領域仍有一點忽略。好消息是有一家著名的供應商正在努力儘快研製高可用性群集，因為它是企業級服務器都必需的功能。

Linux-HA 項目
高可用性 Linux 項目，根據其目標聲明，旨在為 Linux 提供高可用性解決方案，以通過社區開發成果提高可靠性、可用性和服務能力。Linux 達到高可用性集群時，這是一種試圖給予 Linux 與先進的 Unix 系統，如 Solaris、AIX 和 HP/UX，一樣具有競爭力的特性。因此，項目的目標是在 2001 年之前達到 Unix 集群比較報告 (http://www.sun.com/clusters/dh.brown.pdf) 中分析專家組 D. H. Brown 特定功能性級別。

項目中有可以維護節點間心跳並接管失敗節點的 IP 地址的軟體。如果一個節點失敗，它使用“偽造冗餘 IP”軟體包將失敗節點的地址添加到工作節點以承擔它的職責。於是，可以在幾毫秒時間內自動替換失敗的節點。實際使用中，心跳通常在幾秒範圍內，除非在節點之間有專用網路鏈接。因此，失敗系統中的用戶應用程序仍需要在新的節點上重新啟動。

無處不在的集群
對於 Linux，有許多集群系統可供選用。同時，那些項目中有幾個是非商業性的，甚至是實驗性質的。雖然對學術界和某些組織這也沒有形成問題，但大公司通常首選著名供應商的商業支持平臺。供應商，如 IBM、SGI、HP 和 Sun，提供了用於在 Linux 中構建科學群集的產品和服務，因為群集很流行，並且可以銷售大量的服務器設備。一旦商業機構認為其它形式的集群是可靠的，那些相同的服務器供應商或許會圍繞著開放源碼集群解決方案創建自己的產品。

Linux 作為服務器平臺的重要性依賴於支持大型服務器和服務器群集的能力。這就使它可以與 Sun、HP、IBM 和其它公司的 UNIX 服務器在更高層面上競爭。雖然 Windows NT 和 2000 不支持 Linux 能夠支持的集群範圍，但是 HA 集群正規方法的可用性以及用於構建有群集意識的 API 也使它能夠參與競爭。

如果正在考慮構建一個群集，那麼您應當仔細檢查那些可能性，並將它們與您的需求做比較。您也許會發現想要實現的目標還不能成為一個完整的解決方案，或許會發現已經有了現成的解決方案。不管是哪種情況，請相信許多現有公司將他們的應用程序託付給進行深度計算並提供大量網頁的 Linux 系統群集。集群是一種企業系統服務，已經在 Linux 下成功測試過。儘管新的集群將出現，但選擇的多樣性正是 Linux 超過其它系統，如 Windows NT，的優勢。

• 關鍵字 : Linux, 節點, 群集, 系統, 可以, Beowulf, 軟體, 提供, 服務器, MOSIX, Legion, 網卡, 集群, 使用, 它可以, Windows, Resonate, Giganet, 運行, 解決方案

q6986 :