linux內存管理論文

　　linux內存管理論文篇二

　　Linux環(huán)境下集群系統(tǒng)的資源管理

　　【摘要】隨著計算機網絡的發(fā)展及大規(guī)?？茖W計算如氣象預報、自動化處理較高單位等對服務器的性能要求越來越高，對計算機的性能提出了更高的要求：需要硬件有靈活的可擴展性，關鍵性的模塊需要可靠的容錯機制。計算機集群系統(tǒng)具有處理速度快、I/O吞吐量大，容錯性好、可靠性高，而且還具有良好的可擴展能力等諸多優(yōu)點，因此成為了當前的主流。本文敘述了集群系統(tǒng)的資源的管理和分配。

　　【關鍵詞】LINUX;集群系統(tǒng);資源管理

　　1.集群系統(tǒng)概述

　　集群是一組通過高速網絡互聯的相互獨立的計算機的集合，配以專門軟件以單一系統(tǒng)的模式加以管理。在用戶看來，它是運行在一系列自治處理單元上的普通系統(tǒng)，每個結點有各自物理內存空間并通過高速鏈路或者標準化網絡連接，實現對同一任務的協(xié)同計算。當一個用戶與集群相互作用時，集群就像是一個獨立的服務器。和傳統(tǒng)的高性能計算機技術相比，集群技術可以利用各檔次的計算機作為節(jié)點，不僅系統(tǒng)造價低，還可以實現很高的運算速度，完成大運算量的計算，能夠逐步滿足當今日益增長的超大數據量的石油物探處理需求。系統(tǒng)保持了分布式客戶機/服務器模式的開發(fā)性、可擴展性的優(yōu)點，同時又具備了終端/主機模式的資源共享和集中易于管理的優(yōu)點。相對集中的集群系統(tǒng)，降低了系統(tǒng)管理的成本，而且還提供了和大型服務器系統(tǒng)相媲美的處理能力。高可用和高性能是集群服務器系統(tǒng)的兩個重要特性。

　　2.集群系統(tǒng)(CLUSTER)的特點

　　集群系統(tǒng)使由完整的計算機互聯組成一個統(tǒng)一的計算機系統(tǒng)具有極高的性能價格比。它需要專有軟件的支持，比如支持集群技術的操作系統(tǒng)或數據庫等，硬件方面可以根據不同實際需求，采用現成的通用硬件設備或特殊應用的硬件設備。集群系統(tǒng)中可以動態(tài)地加入新的服務器和刪除需要淘汰的服務器，具備很強的可擴展性，從而能夠最大限度地擴展系統(tǒng)以滿足不斷增長的應用的需要;另外，要求集群系統(tǒng)具有可用性，即能夠為用戶提供不間斷的服務，當系統(tǒng)中的一個結點出現故障的時候，整個系統(tǒng)仍然能夠繼續(xù)為用戶提供服務。

　　3.集群系統(tǒng)的分類

　　集群系統(tǒng)可分為高可用性集群和高性能集群。高可用性集群的主要功能就是提供不間斷的服務。高性能集群通過將多臺機器連接起來同時處理復雜的計算問題，如模擬星球附近的磁場、預測龍卷風的出現、定位石油資源的儲藏地等情況都需要對大量的數據進行處理。傳統(tǒng)的處理方法是使用超級計算機來完成計算工作，但是超級計算機的價格比較昂貴，而且可用性和可擴展性不夠強，因此集群成為了高性能計算領域矚目的焦點。

　　4.集群系統(tǒng)的資源管理

　　系統(tǒng)資源是作業(yè)運行的基礎，這些資源包括集群的硬件資源和軟件資源，硬件資源是軟件資源的基礎。本系統(tǒng)是構建在操作系統(tǒng)上的，只對本系統(tǒng)所涉及的范圍進行分析。計算節(jié)點資源的利用率是系統(tǒng)性能的重要指標，資源利用率越高說明系統(tǒng)處理作業(yè)的計算能力越大，集群中的資源的有效利用程度直接影響系統(tǒng)中的作業(yè)運行效率，所以必須對集群中的所有可用資源進行有效管理，從而為資源分配和作業(yè)調度提供決策依據。服務器與計算節(jié)點上都有一個資源對象管理進程，它們所管理的資源內容與范圍是不同的。服務器對象管理進程對整個集群系統(tǒng)中所有計算資源進行統(tǒng)一管理，包含集群中所有的節(jié)點信息與作業(yè)信息。計算節(jié)點對象管理進程只對此節(jié)點上的計算資源進行管理，包含此節(jié)點上的資源信息與作業(yè)信息。

　　調配硬件資源，合理分配給每個項目的每一個用戶，一直是我們系統(tǒng)管理員的工作中的重要課題。某單位現擁有四套曙光集群和一套超微集群。全部運行在RedHat Server4.6/5.3之上，主要設備如表1所示。

　　從系統(tǒng)組成角度說，集群系統(tǒng)是由多臺計算機組成的超級計算機。但是從最終用戶看來，集群系統(tǒng)是一臺計算機，也就是說，集群系統(tǒng)的構成對用戶是透明的。所以集群系統(tǒng)的管理的目的就是讓集群系統(tǒng)象一臺計算機一樣利于管理和使用。

　　工作中我們發(fā)現一些問題：

　　(1)業(yè)務單位資料的運算處理通常伴隨著大容量的數據存取，由于數據量非常的大，所以只能存儲在一塊共用的硬盤陣列上，并由專門的I/O節(jié)點來管理存儲。當需要更多的計算節(jié)點來并行計算以提升運算速度的時候，由于同時對I/O節(jié)點進行數據讀寫訪問，當I/O傳輸達到的上限，過多的訪問申請反而會造成數據的擁堵。

　　(2)由于盤陣的容量相對較大，通常分成不同的卷，而在外部用戶來看，他們并不知道使用的卷具體位置在哪，所以會出現，一個盤陣由于劃分了多個卷，每個卷存儲多個項目的現象。

　　(3)直接在I/O服務器上啟動軟件服務和工作窗口，并且調度其他計算節(jié)點并行作業(yè);I/O服務器本身負荷就相當大，它要提供其他節(jié)點的數據讀寫訪問和傳輸服務，不但要給自己讀寫數據，它所控制的子節(jié)點也需要對它所掛載的盤陣并行讀寫，反而造成擁堵。

　　經過不斷的摸索，我們總結出：

　　(1)同一個項目中，最多不超過100個計算節(jié)點同時用來處理一個項目。

　　(2)對于大盤陣最多只分三個卷，每個卷盡量只允許用在一個項目上，項目結束后，才重新分配給下次個項目。

　　(3)每個處理員分配單獨的登陸節(jié)點，用來啟動軟件界面，不增加軟件服務器、數據庫服務器、I/O存儲服務器的額外負擔。

　　5.總結

　　隨著業(yè)務的不斷發(fā)展，單個服務器已經逐漸不能滿足用戶的需求，而超級計算機的價格非常昂貴，相比之下，集群系統(tǒng)具有高性價比、高可用性、高擴展性的特點，因此逐漸成為了高性能計算的主流。集群系統(tǒng)是通過高速網絡互連起來的一組計算機，它們作為一個整體為用戶提供應用服務。

　　在業(yè)務數據處理中，服務器與計算節(jié)點的故障都會給用戶帶來一定程度的損失，如果服務器停止工作會導致整個系統(tǒng)工作的癱瘓，節(jié)點發(fā)生故障也會對系統(tǒng)造成一定的影響。尤其是當系統(tǒng)中存在需要運行很長時間的大作業(yè)時，由于服務器或計算節(jié)點故障而導致作業(yè)的運行失敗，會導致時間的浪費與系統(tǒng)效率的降低。為了保證系統(tǒng)持續(xù)、可靠地提供服務，集群系統(tǒng)的災難恢復研究是非常重要的一部分內容?？梢圆捎卯斍氨容^流行的雙機備份方案，即采用兩臺服務器進行系統(tǒng)中數據的備份與恢復工作，從而保證為系統(tǒng)提供持續(xù)可靠的服務。

　　參考文獻

　　[1]Alex Vrenios(美)著.馬朝暉譯.LINUX集群體系結構[M].機械工業(yè)出版社.

　　[2]BarryWilkinson著.陸鑫達譯.Parallel Programming [M].北京：機械工業(yè)出版社，2002，1.

　　[3]James Turnbull，eter Liieverdink，Dennis Matotek(美)著.張錚，張勇，陳勇濤，劉春華，耿強譯.Linux系統(tǒng)管理大全[M].人民郵電出版社，2010，12.