Суперкомпьютерный апгрейд

В наступающем году исполнится 10 лет суперкомпьютеру СФУ (пиковая производительность 16 Tflop/s). С его появлением вуз сразу же вошёл в мировой список Top500 (занимал 183 место) и в этом рейтинге продержался целых три года. В 2008 году суперкомпьютер СФУ занимал пятую строчку в ТОП50 российских суперкомпьютеров. С 2010 года наш университет является членом Суперкомпьютерного консорциума университетов России, а с 2011 года ­— членом Национальной технологической суперкомпьютерной платформы. Говорят, на Западе такая техника живёт по инструкции ­— максимум пять лет…

ДОСЬЕ

На сегодняшний день в составе Центра высокопроизводительных вычислений ­— три высокопроизводительных системы, объединяющие 280 счётных вычислительных серверов, 8 серверов управления, SAN-сеть 8 Гбит/c, InfiniBand 20 Гбит/c.

Высокопроизводительный комплекс для геномных расчётов (в составе: 96-ядерный SMP сервер IBM x3950 X6 с объёмом ОЗУ 3 ТБ, сервер IBM dx360 M4 c двумя GPU NVIDIA Tesla K20, платформа NextIO c 4 GPU NVIDIA M2090, система хранения IBM IBM Storwize V3700).

Установлены программные комплексы с открытым кодом и проприетарное ПО, позволяющие проводить ресурсоёмкие расчёты в различных областях науки.

Дмитрий Александрович КУЗЬМИН (ныне начальник комплекса высокопроизводительных вычислений ИКИТ, к.т.н.) взял на себя руководство суперкомпьютерным центром в 2008 году, тогда же началось и формирование команды.

­— Перед нами стояли достаточно сложные задачи: разобраться с новым оборудованием IBM, создать комплексную систему управления, позволяющую эффективно управлять вычислительными ресурсами, ­— рассказывает Кузьмин. ­— Предстояло установить специализированные программные комплексы для проведения ресурсоёмких расчётов в различных областях науки, внедрить систему мониторинга комплекса, позволяющую отслеживать состояние систем обеспечения бесперебойной работы, а также осуществлять мониторинг ресурсов и задач пользователей. С развитием центра росла и квалификация команды. Вскоре постоянные пользователи стали приносить СФУ дивиденды. Не деньги, нет, а гранты, научные статьи, кандидатские и докторские диссертации.

Пик активности пользователей суперкомпьютера СФУ наблюдался в 2010-2014 годах. За этот период выпущено более 150 публикаций, в которых отражены результаты, полученные с помощью суперкомпьютера, защищено 19 диссертаций, из них 4 докторские.

­— До курьёзов доходило. Некоторые «находчивые» группы пользователей регистрировались у нас несколько раз, чтобы получить больший объём ресурсов. Мы, конечно же, их замечали, но по возможности шли навстречу ­— расширяли ресурсы, иногда призывали к совести, ­— улыбается Кузьмин и ведёт меня в аппаратное помещение, куда разрешён доступ только обслуживающему персоналу.

Монотонный гул массивных кондиционеров, специально оборудованный пол, скучные по дизайну рациональные технические «шкафы». Многочисленные провода, мигающие лампочки светодиодов ­— за всем этим скрываются скорости, дисковые подсистемы, управляющие контроллеры…

­— Это сервера-лезвия, они установлены в специальные шасси, ­— знакомит с инженерной инфраструктурой суперкомпьютера Дмитрий Александрович. ­— Плотная упаковка позволяет установить в одну стойку 56 таких серверов. Дальше умножаете и получаете количество ядер на весь комплекс. В идеале на большом суперкомпьютере мы можем запустить программу, которая будет использовать в расчётах более 1500 вычислительных ядер.

По сегодняшним меркам суперкомпьютерные ресурсы университета достаточно скромны, тем не менее Центр высокопроизводительных вычислений СФУ остаётся крупнейшим в регионе. Оборудование, к сожалению, стареет. В этом году, например, пришлось восстанавливать систему бесперебойного питания. Существует и проблема морального устаревания ­— вычислительные технологии не стоят на месте.

­— Решение современных научных и научно-практических задач в приоритетных областях развития СФУ невозможно без приведения ресурсов университета к современным реалиям, ­— считает Д.А. Кузьмин. ­— Так, например, для решения задач в области лесной геномики Центру геномных исследований нашего вуза требуются высокопроизводительные многопроцессорные ресурсы с объёмом ОЗУ не менее 1,5 Тб плюс большие объёмы систем хранения данных. Только с появлением в 2014 году 96­-ядерного SMP-сервера стало возможно решение задач сборки больших геномов ­— лиственницы и сосны сибирской. Объём предстоящих работ уже сейчас требует расширения сегмента подобных ресурсов.

Аналогичная ситуация наблюдается во всех областях исследований, проводимых научными группами СФУ. Для выхода на реальные уровни моделирования в области квантовой химии, гидрогазодинамики, сложных молекулярных систем; для обработки космических снимков, решения задач с применением такого перспективного направления, как глубокое обучение (Deep Learning), требуются значительные вычислительные ресурсы со специализированными графическими ускорителями. Соответственно, нужно наращивать ресурсную базу, иначе мы не сможем поддерживать передовые разработки наших учёных.

На мой взгляд, следует взять за основу концепцию посегментного развития высокопроизводительных ресурсов. Каждый такой создаваемый сегмент может обладать уникальными характеристиками и обеспечивать преимущество нашего вуза в масштабе региона в решении соответствующих классов задач.

Если вернуться к истории, то в числе первых воспользовался услугами суперкомпьютера СФУ исследовательский коллектив во главе с д.ф.-м.н. профессором кафедры прикладной математики КрасГАУ А.К. ШЛЁПКИНЫМ. Перед учёными стояла задача ­компьютерного моделирования больших алгебраических систем, иными словами ­— компьютерное доказательство теорем.

­— У нас был установлен пакет Matlab, позволяющий задействовать 128 ядер суперкомпьютера, ­— вспоминает Дмитрий Александрович. ­— В процессе работы выяснилось, что и этой мощности недостаточно, поэтому было разработано собственное параллельное программное обеспечение, что позволило нам в десятки раз ускорить процесс расчётов.

В какой-то момент коллектив обогнал своих коллег из США и Китая. Как результат ­— защищено несколько докторских диссертаций.

Ряд теорем, доказательство которых опирается на компьютерные вычисления, были опубликованы в ведущих периодических изданиях.

Сегодня центр не только обслуживает научные коллективы СФУ, взаимодействует с наукоёмкими предприятиями Сибири, РАН, университетами России, Европы, Израиля. На базе комплекса сотрудники и аспиранты, применяющие современные вычислительные средства, проходят обучение методам параллельного программирования. Кафедра высокопроизводительных вычислений осуществляет обучение студентов по программам магистратуры.

Проводятся фундаментальные исследования. Круг тем широк: виртуальный скрининг потенциальных лекарственных средств; квантово-химическое исследование атомных и электронных свойств наноструктур; исследование свойств биологических структур; разработка и совершенствование методов и подходов квантовой химии; теоретические расчёты сложных молекулярных систем; дистанционное зондирование Земли и т.д.

Многие из проектов получают федеральные гранты, в том числе РФФИ. К примеру, аспирант Сергей ЧЕРНИКОВ вместе с командой физиков задействован в проекте «Изучение гравитофотофоретического движения аэрозольных агломератов».

­— Мы исследуем поведение аэрозоля в атмосфере. Вот представьте: светит солнце, и мелкие частицы летают на разном расстоянии от поверхности Земли. Они могут двигаться против силы тяжести и даже способны подниматься очень высоко. Работая над проектом, мы изучали, например, продукты выбросов ТЭЦ, сажевые аэрозоли. Выяснилось, что какое-то количество сажи скапливается в атмосфере, ­— раскрывает актуальность темы Сергей. ­— Вот и пытаемся определить, почему эти частицы там висят, а не падают вниз и не улетают? Одна из причин ­— как раз воздействие фотофореза, явления, удерживающего аэрозоль на весу. Из-за этого могут возникать разные негативные эффекты, вплоть до образования озоновых дыр. Фотофорез играет существенную роль в атмосферных процессах, может применяться при очистке промышленных газов от аэрозольных частиц. Это современные научные задачи, для качественного моделирования которых требуются серьёзные высокопроизводительные ресурсы. Мы создали программный комплекс «Фотофорез и динамика аэрозоля», благодаря которому смогли набрать достаточное количество статистических данных для исследования.

­— Один из важных проектов, который выполняла наша команда, связан с организацией качественной поддержки пользователей (проект «Высокопроизводительные вычисления как сервис»). Например, учёные готовы сделать математическую модель, но не умеют работать с суперкомпьютером, и мы им помогаем в параллельном программировании, в адаптации их модели под суперкомпьютер. Таких проектов много, ­— добавляет Д.А. Кузьмин. ­— Мы одними из первых в России сделали рабочий прототип облачной рендер-фермы, позволяющей принимать 3D-модели в пакетах 3DMax и Maia с рабочих мест пользователей и в автоматическом режиме выполнять визуализацию этих 3D-моделей на суперкомпьютерных ресурсах. Реально было создать коммерческий сервис.

­— Что помешало?

­— Не хватило маркетинговой и финансовой поддержки, ну и ресурсы наши к моменту запуска фермы уже не удовлетворяли требованиям этого рынка услуг. Потом появились конкуренты с большим финансированием и, главное, лучшими по своим характеристикам ресурсами.

Так, коллеги из ЮУрГУ, можно сказать, по нашим стопам создали близкую по идее организации рендер-ферму и сейчас активно сотрудничают с киностудиями. Они, например, участвовали в создании фильма «Он ­— дракон» (российская фэнтезийная мелодрама режиссёра Индара ДЖЕНДУБАЕВА) ­— это очень хороший показатель и маркетинга в том числе.

Сейчас суперкомпьютер ЮУрГУ занимает восьмую строку в списке лучших суперкомпьютеров России, и нам было сложно конкурировать с такими ресурсами.

­— Какими направлениями будете заниматься в новом году?

­— Пожалуй, один из самых интересных проектов ­— это «Полногеномное исследование геномов сибирской лиственницы и сибирской кедровой сосны ­— основных видов хвойных бореальных лесов Сибири, являющихся лесным резервом России». Здесь и задачи масштабные, и ресурсы суперкомпьютера требуются, и большая вовлечённость в него сотрудников нашего комплекса.

Группа под руководством ведущего научного сотрудника Института общей генетики РАН профессора К.В. КРУТОВСКОГО сейчас занимается получением сборки геномов трёх хвойных пород ­— лиственницы, кедра и сосны.

Геномы этих организмов в несколько раз крупнее человеческого и имеют неизученную структуру. Это означает, что для работы с ними требуются экстраординарные методы. В мире сейчас собраны около пяти-шести геномов хвойных, а мы замахнулись аж сразу на три.

­— Что даст успешная сборка геномов хвойных?

­— Ну, во-первых, это продвижение фундаментальных и прикладных исследований в данной области. Из понятных прикладных задач ­— вывод пород, устойчивых к вредителям и разного рода заболеваниям, генная инженерия, биотопливо и т.п. Это достижение в конечном итоге будет работать на повышение рейтинга СФУ. Получается, что здесь и сейчас мы решаем задачи мирового уровня. Поэтому хотелось бы, чтобы в новом году суперкомпьютерное направление у нас развивалось, и если бы Дед Мороз помог нам в этом ­— было бы здорово!

Вера КИРИЧЕНКО