Қазақстан республикасы білім және ғылым министірлігі

140 
 
жобасының жалпы құны 313 мың долларды құрады. LINPACK тестінде кӛреткен ӛнімділігі – 
47,7  Гфлопс,  Тор500  тізімінің  12-ші  редакциясында  оған  114  орынды  иеленуге  мүмкіндік 
берді.  Осы,  яғни  1998  жылы  жоғарыӛнімді  есептеулер  облысы  бойынша  ӛткен 
Supercоmputing‘98  конференциясында  Avalon  –ды  құрастырушылар  «Avalon»  деген 
тақырыпта  доклад  ұсынды,  және  ол  «ең  үздік  баға/ӛнімділік  арақатынасы»  номинациясы 
бойынша бірінші премияны иеленді.  
2000  ж.  Корнельский  университетінде  биомедициналық  зерттеулер  жүргізу  үшін 
Velocity+ кластері  орнатылды. Ол әрқайсысы тӛрт  Intel Pentium  III  процессорынан тұратын 
64  тораптан  құралды.  Тораптар  Windows  2000  операциялық  жүйесі  басқаруымен  жұмыс 
істейді және cLAN желісімен біріктірілген.  
Lots of Boxes on Shelfes жобасы АҚШ-ң ұлтық денсаулық институтында 1997 жылы іске 
асырылды.  Онда  коммуникациялық  орта  ретінде  Gigabit  Ethernet  технологиясы 
қолданылады.  Алғашында  бұл  кластер  екі  Pentium  Pro/200  МГц  процессорлы,  47  тораптан, 
128  Мбайт  жедел  жадысынан  және  әр  торапта  1,2  Гбайт  дискіден  тұрды.  1998  жылы 
жобаның  келесі  этапы  –  LoBoS2  іске  асырылды.  Онда  тораптар  кластерге  біріктірілуі 
сақталған  дәстүрлі  столға  қойылатын  компьютерлерге  ӛзгертілді.  Қазір  LoBoS2  әрбірі  екі 
Pentium II/450 МГц процессордан, 256 Мбайт жедел және 9 Гбайт дискілік жадыдан құралған 
100  есептеу  торабынан  тұрады.  Кластерге,  жалпы  кӛлемі  1,2  Тбайт  RAID-массивімен  4 
басқарушы компьютер қосымша қосылған.  
2000 жылы құрастырылған KLAT2 (Kentucky Linux Athlon Testbed 2) кластері әрбірінде 
AMD  Athlon/700  МГц  процессоры,  және  128  Мбайт  жедел  жадысы  бар  64  дискісіз 
тораптардан  тұрады.  Бағдарламалық  қамтама,  компиляторлар  және  математикалық 
кітапханалары  (SCALAPACK6  BLACS  және  ATLAS)  AMD  процессорларының  3D-Now! 
технологиясын  тиімді  пайдалану  үшін  түзетіліп  істеп  бітірілген.  Бұл  жұмыс  жүйенің 
ӛнімділігін айтарлықтай арттыруға мұмкіндік берді. Әрбір торапта тӛрт желілік адаптар Fast 
Ethernet  орнатылған,  ал  тораптар  тоғыз  32-порттық  коммутаторлар  кӛмегімен 
жалғастырылған. Сонымен қатар кез-келген екі  торап үшін коммутаторлардың бірі  арқылы 
әрқашанда тікелей жалғасу бар, бірақ мүнда барлық тораптарды бірыңғай (дара) коммутатор 
арқылы  жалғастырудың  қажеттілігі  жоқ.  AMD  архитектурасына  және  FNN  топологиясына 
бағдарламалық  қамтаманы  тиімділеу(оптимизациялау)  арқасында  LINPACK  тестінде 
баға/ӛнімділік  қатынасының  рекордты  кӛрсеткішін  алуға  қол  жеткізілді  –  650  доллар/1 
гфлопс. 
Кластерді бӛлімдерге(разделы) бӛлу идеясы Аргондық Ұлттық зертханада дайындалған 
Chiba  City  жобасында  жүзеге  асырылды.  Мұнда  басты  бӛлім  256  есептеу  тораптарын 
қамтиды,  олардың  әрбірінде  екі  Pentium  III/500  МГц  процессор,  512  Мбайт  жедел  және 
кӛлемі  9  Гбайт  жергілікті  жады  орнатылған.  Жүйеге  есептеу  бӛлімінен  басқа:  шолу 
(визуализация)  бӛлімі  (Мatrox  Millenium  G400  графикалық  карталарымен  32  IBM 
Intellistation,  512  Мбайт  жедел  жады  және  300  Гбайт  диск),  деректерді  сақтау  бӛлімі 
(Xeon/500  процесорларымен  және  300  Гбайт  дискімен  8  сервер  IBM  Netfinity  7000)  және 
басқарушы бӛлім (12 компьютер IBM Netfinity 500). Олардың бәрі параллель қолданбаларға 
(приложениелерге
)
  қолдау  кӛрсету  үшін  пайдаланылатын  Myrinet  желісімен  біріктірілген. 
Басқарушы  және  қызметтік  мақсаттар  үшін  Gigabit  Ethernet  және  Fast  Ethernet  желілері 
пайдаланылады.  Барлық  бӛлімдер  32  компьютерден  тұратын  «қалаларға»  (towns)  бӛлінеді. 
Олардың әрқайсысының ӛзінің «мэрі» бар, ол ӛзінің «қаласына» жергілікті қызмет атқарады 
және  қызметтік  желіге  жүктемені  азайтып,  жергілікті  ресурстарға  жылдам  қатынасты 
қамтамасыз етеді. 
Россияның  бас  қаласы  Москваның  Ведомостаралық  суперкомпьютерлік  орталығында 
орнатылған  МВС-1000М  суперкомпьютерін  де  кластер  қатарына  жатқызуға  болады. 
Компьютер әрқайсысы 64 екіпроцессорлық модульдерді қамтитын алты базалық блоктардан 
тұрады  (Сурет  1).  Әрбір  модульдің  құрамына  екі  процессор  Alpha  21264/667  МГц  (екінші 
деңгейлі  кэш-жады  4  Мбайт),  модуль  процессорларымен  бӛлінген  2  Гбайт  жедел  жады, 

141 
 
қатқыл  диск  кіреді.  Жүйедегі  процессорлардың  жалпы  саны  768,  ал  МВС-1000М 
суперкомпьютерінің шектік ӛнімділігі 1 Тфлопс-тан асады. 
  МВС-1000М  суперкомпьютерінің  барлық  модульдері  екі  тәуелсіз  желілермен 
байланысқан.  Пайдаланушылар  бағдарламаларында  Myrinet  2000  желісі  есептеу  барысында 
деректермен  алмасу  үшін  пайдаланылады.  MPI  пайдаланғанда  желі  каналдарының  ӛткізу 
қабілеті  110-170  Мбайт/сек  мәндеріне  жетеді.  Операциялық  жүйе  сервистік  функцияларды 
орындау үшін Fast Ethernet желісін пайдаланады.  
 
 
Сурет - 1.
 
МВС-1000М суперкомпьютерінің құрылымы 
 
Кластерлерді тұрғызудың коммуникациялық технологиялары. 
КластерДі  трғызудың  әртүрлі  нұсқалары  ӛте  кӛп.  Оларың  арасындағы  елеулі 
ӛзгешіліктің  бірі  пайдаланылатын  желілік  технологияда  жатыр,  ал  оны  таңдау  алдымен 
қойылған есептердің класымен анықталады.  
Алғашқыда  Beowulf-кластерлері  әдеттегі  10-мегабиттік  Ethernet  желісі  базасында 
тұрғызылды.  Қазіргі  күні  коммутаторлар  базасында  Fast  Ethernet  желісі  пайдаланылады. 
Бұндай шешімнің негізгі құндылығы – төмен баға. Сонымен қатар, Fast Ethernet шеңберінде 
хабарлама  жіберуге  үлкен  қосымша  шығындардың  болуы,  осындай  кластерлерде  тиімді 
шешілетін  есептер  аумағын  қатаң  шектеулерге  алып  келеді.  Егер  кластерден  жоғары 
әмбебаптылық  талап  етілсе,  онда  басқа  ӛнімділігі  жоғары  және  арнайы  коммуникациялық 
технологияларды  пайдалану  керек.  Кластерлік  жүйелерді  құрастырушылар  баға,  ӛнімділік 
және  масштабталу  ұғымдарын  ескере  отырып  Fast  Ethernet,  Gigabit  Ethernet,  SCI,  Myrinet, 
cLAN,  ServerNet  және  т.б.  желілік  технологиялар  арасынан  таңдау  жасайды. 
Коммуникациялық  технологиялар  және  олардың  негізгі  параметрлері  туралы  толық 
мәліметті, мысалы 
http://www.Parallel.ru
 сайтынан табуға болады.  
Кластерлі  жүйелерде,  коммуникациялық  желілердің  ӛнімділігі  қандай  сандық 
сипаттамалармен ӛрнектелетініне тоқталайық. Пайдаланушыға қажетті негізгі екі сипаттама 
бар:  латенттік  және  желінің  жіберу  (ӛткізу)  қабілеті.  Латенттілік  -  бұл  хабарламаларды 
жіберу  кезіндегі  бастапқы  бӛгелу  уақыты.  Желінің  жіберу  (өткізу)  қабілеті  байланыс 
каналдары бойынша ақпаратты жіберу (ӛтізу) жылдамдығымен анықталады
 
(Сурет 2). Егер 
бағдарламада  кішкене  хабарламалар  кӛп  болса,  онда  латенттілік  қатты  ӛзгерістерге 
ұшырайды.  Егер  хабарламалар  үлкен  порциялармен  берілетін  болса,  онда  байланыс 
каналдарының  ӛткізу  қабілетінің  жоғары  болуы  маңызды.  Латенттілік  әсерінен  шағын 
ұзындықты хабарламаларда желі бойынша жіберудің максималды жылдамдығы қамтамасыз 
етілмеуі мүмкін. 
 
Myrinet 2000 желісі 
128  
CPUs 
128  
CPUs
 
128  
CPUs
 
128  
CPUs 
 
128  
CPUs 
 
128  
CPUs 
 
Fast Ethernet желісі 
Gigabit Ethernet желісі 
 
Басқарушы 
компьютер 
 
Файл-
сервер 
Резервтегі 
басқарушы 
компьютер