не про внутрішньої пам'яті процесора, а про оперативну пам'ять кожного комп'ютера в кластері).
Рис. 2
Прикладом може служити Рис. 2: Кластер є множиною окремих комп'ютерів, кожен з яких має свою пам'ять. У такому випадку якщо процесору (або комп'ютера) 2 потрібна інформація від комп'ютера 3, то це займе вже більше часу: потрібно буде запросити інформацію і передати її (у разі кластера - по локальній мережі). Топологія мережі буде впливати на швидкість обміну інформацією, тому були розроблені різні типи структур.
SIMD.
SIMD - Singe Instruction stream, Multiple Data stream. Керуючий вузол один, він відправляє інструкції всім іншим процесорам. Кожен процесор має свій набір даних для роботи.
SIMD-системи зазвичай використовуються для конкретних завдань, що вимагають, як правило, не стільки гнучкості та універсальності обчислювальної машини, скільки самої обчислювальної сили. Наприклад, обробка відео, наукові дослідження (ті ж симуляції і моделювання).
MIMD.
MIMD - Multiple Instruction stream, Multiple Data Stream. Кожен процесор має свій власний керуючий модуль, кожен процесор може виконувати різні інструкціі.машіни мають більш широким функціоналом, тому в наших користувацьких комп'ютерах використовуються саме вони. Будь-які пристрої, що використовують хоча б двоядерний процесор - MIMD-машини із загальною пам'яттю. MIMD з розподіленою пам'яттю це суперкомп'ютери начебто IBM Blue Gene або кластери.
Щоб змусити працювати описані типи кластерів за призначенням використовують програмні інструменти паралелізму, наприклад, PVM
.2 ПОПУЛЯРНІ БІБЛІОТЕКИ паралелізму. АНАЛОГИ PVM
Безумовно, навіть у такого на перший погляд незрозумілого і неоднозначного для рядового користувача програмного пакета PVM існують свої аналоги. І перш ніж говорити про програмній системі PVM слід згадати деякі з них.
Message Passing Interface.
У 1994 р був прийнятий стандарт механізму передачі повідомлень MPI (Message Passing Interface). Він готувався з 1992 по 1994 рр. групою Message Passing Interface Forum, до якої увійшли представники більш ніж 40 організацій з Америки і Європи. Основна мета, яку ставили перед собою розробники MPI - це забезпечення повної незалежності додатків, написаних з використанням MPI, від архітектури багатопроцесорної системи, без якої-небудь істотної втрати продуктивності. За задумом авторів це повинно було стати потужним стимулом для розробки прикладного програмного забезпечення і стандартизованих бібліотек підпрограм для багатопроцесорних систем з розподіленою пам'яттю. Підтвердженням того, що ця мета була досягнута, служить той факт, що в даний час цей стандарт підтримується практично всіма виробниками багатопроцесорних систем. Реалізації MPI успішно працюють не лише на класичних MPP системах, але також на SMP системах і на мережах робочих станцій (у тому числі і неоднорідних) .- це бібліотека функцій, що забезпечує взаємодію паралельних процесів за допомогою механізму передачі повідомлень. Підтримуються інтерфейси для мов C і FORTRAN. Останнім часом додана підтримка мови C ++. Бібліотека включає в себе безліч функцій передачі повідомлень типу точка-точка, розвинений набір функцій для виконання колективних операцій і управління процесами паралельного додатка. Основна відмінність MPI від попередників в тому, що явно вводяться поняття груп процесів, з якими можна оперувати як з кінцевими множинами, а також областей зв'язку і комунікаторів, що описують ці галузі зв'язку. Це надає програмісту дуже гнучкі засоби для написання ефективних паралельних программ.является найбільш поширеним стандартом інтерфейсу обміну даними в паралельному програмуванні, також існують його реалізації для великого числа комп'ютерних платформ. MPI використовується при розробці програм для різнорідних наборів комп'ютерів і суперкомп'ютерів. Основним засобом комунікації між процесами в MPI є передача повідомлень один одному.
У першу чергу MPI орієнтований на системи з розподіленою пам'яттю, тобто коли витрати на передачу даних великі, в той час як OpenMP lt; # justify gt; .3 ОПИС СИСТЕМИ PVM
(Паралельна Віртуальна Машина) - це пакет програм, який дозволяє використовувати пов'язаний в локальну мережу набір різнорідних комп'ютерів, що працюють під операційною системою Unix, FreeBSD, Linux, Windows NT як один великий паралельний комп'ютер. Таким чином, проблема великих обчислень може бути вельми ефективно вирішена за рахунок використання сукупної потужності і пам'яті великої кількості комп'ютерів. Пакет програм PVM легко переноситься на будь-яку платформу.
Проект PVM був створений в 1989 ро...
