Эффективность выполнения тестов NAS NPB 3.3

Результаты получены в Мае 2017 г.

C помощью языка Fortran-DVMH были распараллелены тесты производительности из пакета NAS Parallel Benchmarks, нацеленные на проверку возможностей высокопараллельных суперкомпьютеров. Они были разработаны в рамках программы NASA Numerical Aerodynamic Simulation Program и поддерживаются в NASA Advanced Supercomputing (NAS) Division. Были распараллелены следующие тесты:

  • MG (MultiGrid) — Аппроксимация решения трехмерного дискретного уравнения Пуассона при помощи V-циклового многосеточного метода.
  • CG (Conjugate Gradient) – Приближение к наименьшему собственному значению большой разреженной симметричной положительно определенной матрицы с использованием метода обратной итерации вместе с методом сопряженных градиентов в качестве подпрограммы для решения СЛАУ.
  • FT (Fast Fourier Transform) – Решение трехмерного уравнения в частных производных при помощи Быстрого преобразования Фурье (FFT).
  • EP (Embarrassingly Parallel) – Генерация независимых нормально распределенных случайных величин при помощи Marsaglia polar метода.
  • BT (Block Tridiagonal), SP (Scalar Pentadiagonal) и LU (Lower-Upper) – Решают синтетическую систему нелинейных дифференциальных уравнений в частных производных (3-х мерная система уравнений Навье-Стокса для сжимаемой жидкости или газа), используя три алгоритма: блочная трехдиагональная схема с методом переменных направлений (BT), скалярная пятидиагональная схема (SP) и метод симметричной последовательной верхней релаксации (алгоритм SSOR, задача LU).

Для каждой задачи существует набор входных данных. Данный набор определяется классом теста. Всего существует 7 классов: S и W – задают очень маленькие входные данные, используются в основном для тестирования и отладки во время разработки; A, B, и С – задают маленькие, средние и большие входные данные, которые предназначены для тестирования одного узла; D и E – задают очень большие и огромные входные данные, которые предназначены для тестирования нескольких узлов.

В циклах тестов MG, CG, FT, EP  нет зависимостей по данным. В циклах тестов LU, BT, SP присутствуют регулярные зависимости по данным, так как в основном алгоритме используется метод попеременных направлений (BT, SP) и метод последовательной верхней релаксации (LU), который образует зависимость по трем измерениями массива.

В Таблице 1 представлены времена выполнения реализованных тестов, а ниже приведены графики, демонстрирующие ускорения тестов:

  • Последовательные версии исходных тестов, выполненных на одном ядре процессора Intel Xeon E5 1660 v2.
  • Параллельные версии тестов, написанные на  языке Fortran-DVMH,  выполненные на следующих графических ускорителях: NVIDIA Tesla C2070 с включенным ECC (поколения Fermi), NVIDIA GTX Titan (поколения Kepler), NVIDIA  Tesla k40 с выключенным ECC (поколения Kepler).
  • Параллельные версии тестов, написанные на  языке Fortran-DVMH,  выполненные на 6-ти ядерном процессоре Intel Xeon E5 1660 v2 с включенным Hyper Threading (2 потока на ядро) и отключенным Turbo Boost и на 60-ти ядерном Intel Xeon Phi 5110 с активным Hyper Threading (4 потока на ядро).

Последовательные версии программ были скомпилированы с помощью Intel Fortran Compiler V17.0 c опциями -O3 -mcmodel=medium -shared-intel. Для компиляции Fortran-DVMH программ использовались:

  • Intel Fortran Compiler V17.0 с опциями -O3 -no-scalar-rep -qopenmp;
  • Intel C/C++ Compiler V17.0 с опциями -O3 -no-scalar-rep -qopenmp;
  • NVIDIA Compiler V8.0 с опциями -arch=sm_35 -O3 -DCUDA_NO_SM_20_INTRINSICS.
Таблица 1. Времена выполнения тестов NAS NPB 3.3
Таблица 1. Времена выполнения тестов NAS NPB 3.3
ТестыFortranFortran-DVMH
Intel Xeon E5 1660 v2NVIDIA Tesla C2070
(c ECC)
NVIDIA GTX Titan
(без ECC)
NVIDIA Tesla k40
(без ECC)
Intel Xeon E5 1660 v2Intel Xeon Phi 5110
BTA40,79,612,511,6578,57
B166,946,48,065,0428,825,3
C713,3146,426,6916,42117,6997,11
SPA28,66,432,392,626,7513,6
B116,926,89,336,6825,230,1
C483,24106,3,629,331,26122,25116,6
LUA35,075,594,043,014,718,62
B158,516,8210,587,2321,857,04
C852,353,530,9120,394,37164,4
EPA16,70,240,420,121,50,77
B67,330,621,010,26,262,97
C266,32,643,770,925,0211,67
MGA1,060,230,160,160,380,54
B4,961,020,690,771,872,7
C42,36,243,663,5615,9620,65
CGA0,941,840,590,940,311,41
B78,855,1419,4736,8715,320,69
C221164,8860,1110,0340,864,4
FTA3,050,670,250,280,450,63
B39,59,353,644,146,388,41
C199,341,7915,71825,733,6
Графики, демонстрирующие ускорения тестов NAS NPB 3.3
GPU-BT-SP-LU-05-2017-ru
Рис. 1. Ускорения тестов BT, SP, LU на классах A, B, C с использованием графических ускорителей разных типов и архитектур
GPU-MG-CG-FT-05-2017-ru
Рис. 2.  Ускорения тестов MG, CG, FT на классах A, B, C с использованием графических ускорителей разных типов и архитектур
CPU-BT-SP-LU-05-2017-ru
Рис. 3. Ускорения тестов BT, SP, LU на классах A, B, C с использованием Intel Xeon E5 1660 v2 и Intel Xeon Phi 5110
CPU-MG-CG-FT-05-2017-ru
Рис. 4. Ускорения тестов MG, CG, FT на классах A, B, C Intel Xeon E5 1660 v2 и Intel Xeon Phi 5110

На Рис. 5 показано ускорение теста EP на классе С по сравнению с последовательной версией данной программы, выполненной на одном ядре Intel Xeon E5 1660 v2. Данный тест выполнялся на разных архитектурах по отдельности, а также в следующих комбинациях: Intel Xeon E5 1660 v2 + GTX Titan, Intel Xeon E5 1660 v2 + Intel Xeon Phi и Intel Xeon E5 1660 v2 + GTX Titan + Intel Xeon Phi. Сиреневым цветом показан случай, когда дополнительно использовалась балансировка нагрузки путем задания соотношения весов всех ядер центрального и графического процессоров и соотношения весов MPI-процессов, отображаемых на центральный процессор и сопроцессор.

EP-FDMH-12-2016-ru
Рис. 5. Ускорение теста EP на классе С

Также доступно сравнение FDVMH-версий тестов из пакета NAS NBP 3.3 со следующими вариантами программ, проведенное в марте 2015 года:

  • с исходными версиями тестов NAS, распараллеленными с помощью OpenMP;
  • с версиями тестов NAS, написанными на языке Си и распараллеленными на OpenCL;
  • с версиями тестов NAS, написанными на языке Си++ и распараллеленными на CUDA (только тесты LU, BT, SP).