Вычислительные шаблоны для высокопроизводительных многомасштабных вычислений

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 18.11.2015 г. № 14.587.21.0024 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 2 в период с 01.01.2016 г. по 30.06.2016 г. выполнялись следующие работы:

  1. Разработаны параметрические модели производительности для шаблонов ES, RC, HMC.
  2. Выполнена разработка и проведено исследование программных алгоритмов для оптимизации размещения данных в процессе многомасштабных вычислений для шаблонов ES, RC,HMC.
  3. Проведен анализ путей адаптации приложений данного проекта (биомедицина, гидрометеорология, урбанистика) для использования шаблонов многомасштабного моделирования.
  4. Проведен анализ требований и выполнена разработка архитектуры ЭО ПК ComPat в части конструирования и трансляции многомасштабных приложений в исполнимую форму.
  5. Выполнена разработка архитектуры российского сегмента экспериментального стенда для развертывания ЭО ПК ComPat и проведения экспериментальных исследований.
  6. Разработан промежуточный отчет об исследованиях (выполнении проекта) и рассмотрен на научно-техническом совете.
  7. Выполнена разработка предметно-ориентированного языка описания многомасштабных приложений.
  8. Выполнен анализ путей адаптации приложений (биомедицина, материаловедение, астрофизика) проекта для использования шаблонов многомасштабного моделирования.
  9. Выполнен анализ требований и выполнена разработка архитектуры ЭО ПК ComPat в целом.
  10. Выполнена разработка архитектуры экспериментального стенда для развертывания ЭО ПК Compat и проведения экспериментальных исследований.

На первом этапе проекта были проведены работы по обоснованию выбора направления исследований, что включает в себя проведение патентных исследований, подготовку аналитического обзора, и обоснование выбора направления исследований и подходов к их проведению. Было проведено исследование существующих методов организации многомасштабных вычислений на различных высокопроизводительных вычислительных системах, исследование и разработка математических методов оптимизации масштабируемости многомасштабных вычислений с учетом специфики эксафлопсных вычислителей.

На втором этапе проекта проведены теоретические исследования. Это включает в себя разработку параметрических моделей производительности для шаблонов многомасштабного моделирования, разработку алгоритмов оптимизации размещения данных, анализ путей адаптации для рассматриваемых в ходе проекта многомасштабных приложений и разработку архитектуры подсистемы экспериментального образца программного комплекса. Построены параметрические модели производительности, проведено исследование алгоритмов оптимизации размещения данных для многомасштабных вычислений на высокопроизводительных вычислительных системах, а также разработана архитектура подсистем, отвечающих за конструирование и трансляцию многомасштабных приложений, и архитектура экспериментального стенда.

Получены следующие результаты:

- на основе проведенного анализа задач многомасштабного моделирования для различных предметных областей были выделены общие требования к организации вычислений, необходимые для формализации структуры типовых вычислительных шаблонов;

- была разработана модель вычислительной среды и функционирующего в ней многомасштабного композитного приложения, которая позволяет учитывать иерархичность организации вычислительных процессов, обеспечение требований к энергоэффективности за счет виртуализации и отказоустойчивости с помощью эффективного планирования вычислительных процессов, что является критически важным для использования систем эксафлопсного диапазона производительности;

- был разработан гибридный метод планирования MHGH (Meta-Heuristic – Greedy-Heuristic), позволяющий осуществлять статическое и динамическое планирование многомасштабных композитных приложений в распределенной вычислительной среде, которая включает суперкомпьютеры с собственными системами управления заданиями. Данный метод поддерживает механизмы коэволюции, которые обеспечивают не только оптимизацию структуры многомасштабного приложения, но и динамическую конфигурацию вычислительных ресурсов для эффективного исполнения его блоков;

- на основе анализа шаблонов многомасштабных вычислений построены модели производительности для шаблонов extreme scaling, replica computing и heterogeneous multiscale computating, позволяющие осуществлять необходимую для планирования оценку времени выполнения, и проведено их параметрическое исследование;

- на основе анализа шаблонов многомасштабных вычислений и специфики работы многомасштабных моделей в целом, были разработаны алгоритмы TCGA (Tiered Categorical Genetic Algorithm) и MDCGA (Multiscale Dynamic Categorical Genetic Algorithm) для оптимизации размещения используемых данных в распределенном хранилище, а также для ускорения процесса обработки данных в целом.

- выделены и проанализированы возможные пути адаптации многомасштабных приложений проекта для использования указанных шаблонов;

- выделены и проанализированы требования к отвечающим за конструирование и трансляцию подсистем экспериментального образца программного комплекса (разработана архитектура данных подсистем, предназначенная для осуществления процесса, начиная от формирования многомасштабного приложения пользователем с помощью специального предметно-ориентированного языка, визуальной среды или специального веб-сервиса, включая осуществление планирования приложения с учетом особенностей его строения и использованных шаблонов и заканчивая организацией запуска отдельных блоков приложения на распределенном наборе ресурсов);

- разработана архитектура российского сегмента экспериментального стенда, позволяющая использовать для проведения экспериментальных запусков СК “Ломоносов” и СК “Лобачевский”.

Соответствие полученных результатов требованиям к выполняемому проекту подтверждается выполнением формальных требований технического задания данного проекта, а также результатами экспериментальных исследований, демонстрирующих целесообразность использования выбранных подходов и методов за счет демонстрации значительного прироста в сравнении с традиционными методами, используемыми в области организации вычислений в распределенных вычислительных средах.

Комплекс разрабатываемых научно-технических решений может применяться в составе программного инструментария суперкомпьютерных центров. Он обеспечивает пользователям таких центров возможности быстрой разработки и эффективного исполнения многомасштабных приложений в различных предметных областях на ресурсах как самого центра, так и нескольких территориально разнесенных центров в рамках модели метакомпьютинга.

На основе разработок данного проекта будет создано промежуточное программное обеспечение, доступное в виде облачного сервиса. Предполагается, что для всех участников проекта будет общая система с точкой входа через Интернет, которая будет обслуживать все суперкомпьютерные ресурсы и группировать их под конкретную задачу. Возможен вывод разработки на международный рынок, используя связи зарубежных партнеров по проекту. В частности, коммерческий интерес к использованию результатов проекта официально выражен компанией IBM.

Комиссия Минобрнауки России признала обязательства по Соглашению на отчетном этапе исполненными надлежащим образом.