國家高速網路與計算中心學術合作研究計畫
國家格網計算實驗平台之建置及應用
摘要 Abstract
The goal of Grid Computing is to coordinate resources under network environment. In this Unigrid project,
We will connect cluster systems in colleges and NCHC to build "An Experiment Platform of National Computing Grid".
Which is used to popularize the concept of grid computing to academia and industry. We establish
our platform using Globus Toolkits, which is in common used of grid computing technology. Globus Toolkits supplies
protocols and APIs/SDKs make us set up and handle resources which located everywhere more easily.
為什麼要做Grid Computing(格網計算)? Why use Grid Computing ?
Before we introduce grid computing, we look at some real case under grid computing: SETI@home,
SETI@home stands for Search for extra terrestrial intelligence at home, which means to search
civilizations out of earth just at home. SETI@home uses idle computing power of computers on the
internet to analysis data from the biggest space telescope to help scientist explore alians. this is
a kind of grid computing. after the project officially being launched, there are more the 3 miliion
valunteers participated this project. they downloaded some pieces of messenges of space telescope
from some specific site, and analysis data to search clues of life from space with theirown computers.
the amount of data being processed has reached 15 TB and each one contributes his computer 17.5 hours in
average. this means we have to compute for 472.023 years with a personal computer or 48 years with a super computer.
But with grid computing, we can process the same amount of data in just few years. If we can integrate more resources
on the internet, we can make the time shorter. how can your heart not be touched with knowing this kind of
tremedous computing power. the example we just mentioned is one of many applications of grid computing,
and what grid computing can do it more than what you can imagine.
let's look at the evolution of grid computing, and see what's in it.
什麼是格網計算? What is grid computing ?
近年來由於網路頻寬品質大幅進步,遠超越電腦效能提升的進展,使得過去認為是不同的各類 通訊與計算,如電信、
多媒體、資訊、工程模擬等領域,如今都得以整合,進而使得分散式計 算環境成為研究發展主流。而人們對計算資源
尤其是計算能量的需求,實際上已超越線性增長 ,使得分散式計算環境提供資源分享,而平行式計算環境提供計算能量
,將這二者結合即為這 幾年來國際學界積極推廣的格網技術。格網技術的訴求,即是以計算力比擬為電力,超級電腦
比擬為發電廠,網路即為傳輸計算力的線路,而Grid一詞即借用傳輸電力使用的電力線 (Power Grid)。 格網技術 (Grid
Technology) 所期望的就是使用起來就像自來水一般,水龍頭一開,水就來, 插頭一插,電器便可使用邊的一樣容易。
格網計算的特性如下:
-
格網運算指的是(藉由高速網路)大規模整合的電腦系統,可按照使用者的需求提供資料處理功能,或提供單台機器與一小群機器所無法達成的功能。
-
格網系統透過共用的語言及互動協定,連結全球各地的運算資源、資訊與服務,以滿足區域使用者的不同需求。
-
對使用者來說,格網系統這種高度整合的網路應該具有「通透性」。也就是說,遠端提供的服務用起來會像是由區域電腦提供的。
-
格網技術可讓虛擬組織的成員展開大規模的科學及商業合作,並促成遠端實驗,以及高性能的分散式運算與資料分析的完成。
資訊科技革命下一波的格網計算,已成為產經學界的熱門話題。格網架構可以結合網路上分散的電腦資源、儲存裝置及其他資源,
來處理需要巨量運算資源的龐大問題,使用者可以運用現有的伺服器、工作站、甚至是個人電腦,有效率的建立一個虛擬超級電腦,
完全不必改變機器上所執行的軟體或現有設定,繼續用於發展未來的專案計畫之程式碼、發展工具和程式語言專業能力上的投資。
轉移到格網計算,不管使用任何介面,都能提供更有效率的資源使用率、佈署時間、處理能力和處理量,降低企業總成本,
提高企業營收能力,完全不需要重新訓練或對新式的技術基礎建設作龐大的投資。
格網是繼傳統網際網路 (Internet)、Web之後的第三次網際網路浪潮,可以稱之第三代網際網路應用。傳統網際網路,
實現了電腦硬體的連結,Web實現了網頁的連結,而格網則試圖將網際網路上所有資源的全面整合,其中包括計算資源、
儲存資源、通信資源、軟體資源、資訊資源、知識資源等,乃至於實驗觀測儀器設施等均得以透過格網技術加以整合。換言之,
格網就是把整個網際網路及其所連結的各類資源整合成一台巨大的超級共享平台,實現各種資源的全面共用。當然,
格網並不一定非要這麼大,也可以構造地區性的格網,如台灣學術網、科學園區格網、企業內部格網、區域格網,
甚至家庭格網和個人格網等等。格網的基本特徵不在於它的規模大小,而是資源分享,目的在消除資源的浪費。
格網服務是能夠將分散式、獨立式的資源集合轉移成連貫式運算、儲存、和協同合作的組織結構。而經由提供統一、
一致性的平台系統,格網服務讓使用者可以輕易的經由應用程式和工具,或利用協調的方式來使用,亦可將不同的資源做核准、
解釋、或將資源的使用、資料的轉移、系統的監控、和資源的管理變成可能。
近幾年來格網之建置與應用,已是美、歐、日等國進行下一代前瞻科技發展之主流,此種將分散之計算能量、資料庫、
儀器與設施、以及專業人才之資源整合及有效運用,國際間無不投入大量資源推動。格網計算是利用互聯網路把分散在
不同地理位置的計算機組織成一個「虛擬的超級計算機」,其中每一台參與計算的計算機就是一個「節點」,
而整個計算是由成千上萬個「節點」組成的「一張格網」,所以這種計算方式叫格網計算。這樣組織起來的「虛擬的超級計算機」
有不僅數據處理能力超強,而且可能充分利用網上的閒置處理能力。格網看似普通,卻有過極其出色的表現。
格網技術是在巨型電腦與互聯網技術的基礎上推出的一項新變革,它將分佈在各地的電腦資源包括CPU、記憶體、資料庫等,
通過高速的互聯網組成充分共用的資源集成,整合其成為一台巨大的超級電腦。例如:
通過格網計算技術,位於日內瓦的西歐高能物理中心研究人員僅在一個網站上操作就可以送交給位於法國里昂的電腦叢集
上完成一項大型的計算任務。舉例而言,原本一部機器需要一個小時才能完成的工作,透過格網運算的技術,
到網路中尋找閒置的電腦,並將工作依據適當的比例分配,送到這些電腦上執行,然後將結果送回,因為有效的運用電腦資源,
也許不到十分鐘就能完成此工作。如果這些伺服器並不是屬於同一個組織,而只是透過網際網路將電腦資源分享出來,
這就是所謂虛擬組織
(virtual organization) 的概念。
Grid技術將建立共同開放性的標準,以達到高程度的相互運作,絕對是落實格網運算技術的必要關鍵。現階段實作
像芝加哥大學的Globus Toolkit提供了必要的相關機制;而國內在國科會國家高速電腦中心與台灣IBM公司合作的
「TIGER計畫」,亦與以之進行格網運算之測試平台規劃與建置合作,爾後也將應用平台技術進行多項相關研究計畫,
例如:奈米材料科學、生物資訊與生命科學等領域的研究。
格網計算的目的是用來整合網際網路環境下的各種資源
(如處理器cycles、磁碟空間、內容)。當使用者在面對大量資料和計算應用的時候,局部的計算資源是無法滿足這樣的需求的
,同時,由於各種因素的限制,有些資源由於成本過高或者是地理環境關係,往往是不可複製的,因此為了有效的使用這些資源,
打破地域的限制來實現更大範圍的資源共享就成為一種必需的要求。格網計算技術能夠提供一個高效能的計算平台供其使用,
像是在高能和核物理研究中,在重力波的研究中,在與時間有關的三維系統研究中(例:地球觀測、氣候模型、地震模型、
流體力學、空氣動力學、藥物設計、生物基因體、工業IC設計等),需要的都是具有超大規模的計算、分析、模擬和資料儲存能力。
|