для досягнення високої продуктивності єдиного потоку команд, обробного і цілі числа і числа з плаваючою крапкою. При цьому доступ до пам'яті випадковий. У відеочіпів робота проста та розпаралеленого спочатку. Відеочіп приймає на вході групу полігонів, проводить всі необхідні операції, і на виході видає пікселі. Обробка полігонів і пікселів незалежна, їх можна обробляти паралельно, окремо один від одного. Тому, через споконвічно паралельної організації роботи в GPU використовується велика кількість виконавчих блоків, які легко завантажити, на відміну від послідовного потоку інструкцій для CPU. відрізняється від CPU ще й за принципами доступу до пам'яті. У GPU він пов'язаний і легко передбачуваний - якщо з пам'яті читається тексель текстури, то через деякий час прийде час і для сусідніх текселей.
Є безліч відмінностей і в підтримці багатопоточності. CPU виконує 1-2 потоки обчислень на одне процесорне ядро, а відеочипи можуть підтримувати до 1024 потоків на кожен мультипроцесор, яких в чіпі кілька штук. І якщо перемикання з одного потоку на інший для CPU коштує сотні тактів, то GPU перемикає декілька потоків за один такт.
Крім того, центральні процесори використовують SIMD (одна інструкція виконується над численними даними) блоки для векторних обчислень, а відеочипи застосовують SIMT (одна інструкція і кілька потоків) для скалярної обробки потоків. SIMT не вимагає, щоб розробник перетворював дані в вектори, і допускає довільні розгалуження в потоках.
Коротко можна сказати, що на відміну від сучасних універсальних CPU, відеочіпи призначені для паралельних обчислень з великою кількістю арифметичних операцій. І значно більше число транзисторів GPU працює за прямим призначенням - обробці масивів даних, а не управляє виконанням (flow control) нечисленних послідовних обчислювальних потоків. Це схема того, скільки місця в CPU і GPU займає різноманітна логіка:
Ріc.9 Схема розподілу функції обчислювальних блоків для CPU і GPU
У підсумку, основою для ефективного використання мощі GPU в наукових та інших неграфічних розрахунках є розпаралелювання алгоритмів на сотні виконавчих блоків, наявних в відеочіпах.
Виконання розрахунків на GPU показує відмінні результати в алгоритмах, що використовують паралельну обробку даних. Тобто, коли одну і ту ж послідовність математичних операцій застосовують до великого обсягу даних, як у випадку нейронів, в кожному шарі працюють аналогічно, але з різним набором даних. При цьому кращі результати досягаються, якщо відношення числа арифметичних інструкцій до числа звернень до пам'яті досить велике.
У результаті всіх описаних вище відмінностей, теоретична продуктивність відеочіпів значно перевершує продуктивність CPU. Компанія NVIDIA наводить такий графік зростання продуктивності CPU і GPU за останні кілька років:
Рис.10 Порівняння теоретичної продуктивності CPU і GPU
5.2 Прискорення навчання
Для роботи з нейронними мережами великих розмірностей була написана програма реалізує алгоритм Back Propagation на мові CUDA С. Навчання виконувалося на відеокарті NVidia GTX 570, з теоретичною продуктивністю +1405 гігафлоп. Фактично, вдалося домогтися збільшення продуктивності в 300 разів відносно CPU. Залежність прискорення від розмірності задачі при використанні CUDA представлена ??на Рис.11.
Рис.11 Залежність приросту прискорення від розмірності задачі
Використання паралельних обчислень на платформі CUDA дозволило вперше отримати наступні результати:
Для навчання нейромереж використовувалася база даних з 28 000 компонувань ЛА, кожна з яких заздалегідь обраховує в декількох режимах кута атаки й числа М. Частина даних використовувалася для навчання, і близько 5% оставлялось для перевірки інтерполяційних властивостей нейронної мережі.
5.3 Навчання аппроксіматора
Для апроксимації за допомогою нейронної мережі використовувалася вибірка з 19200 різних режимів обтікання 1200 різних компонувань. Середня помилка поділена на дисперсію склала 14% для основного безлічі і 15.6% для перевірочного.
5.4 Навчання репликатора
Створення стискає і відновлюючого відображення для компонувань, 14848 вхідних векторів. Відношення середньої помилки до дисперсії - 11%, для перевірочного безлічі також 11%. 662 координати відобразилися в 55. Діаграма розсіювання на Рис.12 дає деяке уявлення про якість навчання.
Рис.12 По осі Х - компоненти шуканого вектора, по осі У - вектора компоновки, одержуваного нейронною мережею
6. Блок схема ал...
