Система мониторинга эффективности задач на суперкомпьютере НИУ ВШЭ включена в Реестр российского ПО
Разработанная в Высшей школе экономики система мониторинга эффективности задач на суперкомпьютере HPC TaskMaster включена в Реестр российского программного обеспечения. Для этого был выполнен большой комплекс подготовительных работ. Доказав эффективность системы, Вышка готова распространять ее и в другие университеты и компании.
С момента появления суперкомпьютеров обеспечение эффективности их использования является важнейшей задачей. Для крупных вычислительных кластеров разрабатываются собственные системы мониторинга. Суперкомпьютер «cHARISMa», который используется сотрудниками, преподавателями и студентами Высшей школы экономики для проведения научных исследований, не стал исключением.
Отечественная программная система HPC TaskMaster была разработана с применением научного подхода и внедрена в 2022 году. Она помогает пользователям суперкомпьютера эффективнее выполнять вычисления: предоставляет информативные отчеты о выполненных задачах, указывает на ошибки, выдает рекомендации по повышению эффективности. Кроме того, система позволяет эффективнее использовать ресурсы суперкомпьютера в целом, экономя дорогостоящее машинное время. По статистике, в первом полугодии 2023 года система позволила повысить эффективную производительность суперкомпьютера на 20,5%.
Для включения в Реестр российского программного обеспечения пришлось выполнить довольно объемный комплекс работ по пересмотру используемых технологий и подробному документированию разработанной системы. Например, пришлось отказаться от использования в качестве базовой операционной системы Linux Ubuntu из-за лицензионных ограничений. Была улучшена безопасность кода, сформирован тестовый набор данных для демонстрации работы эксперту, разработаны варианты развертывания системы как в docker-контейнере, так и в виде образа виртуальной машины.
Далеко не всякая зарегистрированная российская программа может попасть в Реестр российского программного обеспечения. Это видно из статистики: в реестре на сегодняшний день около 18 тысяч программ, а количество обычных свидетельств о регистрации программ, выданных Роспатентом, приближается к 300 тысячам. Для включения в реестр программа должна удовлетворять множеству законодательных и технических требований.
Дмитрий Бондарь, старший директор по цифровой трансформации НИУ ВШЭ
«Продуктивная работа современного суперкомпьютерного комплекса в многопользовательском режиме невозможна без создания программной системы по контролю и оптимизации потока задач. В Вышке такой системой стал HPC TaskMaster. Над его разработкой на протяжении нескольких лет трудилась команда отдела суперкомпьютерного моделирования, при этом разработка базируется на опыте всего коллектива университета, выполняющего исследования при помощи суперкомпьютера.
В современном мире скорость проверки гипотез, обучения искусственного интеллекта и решения инженерных задач на высокопроизводительных машинах определяет конкурентоспособность организации в целом. Без автоматизации процессов взаимодействия с суперкомпьютером новые задачи могут просто не дождаться своей очереди или потерять актуальность.
Доказав эффективность системы у нас, мы готовы ее распространять и в другие университеты и компании. Таким образом мы хотим поделиться своим опытом и повысить эффективность заинтересованных научных и производственных коллективов.
Включение HPC TaskMaster в Реестр российского программного обеспечения — существенный шаг в этом направлении. Адаптация программного обеспечения и его описание под требования реестра — трудоемкий процесс, но он показывает, что продукт соответствует всем требованиям российского законодательства и готов к использованию за пределами Вышки».
Павел Костенецкий, начальник отдела суперкомпьютерного моделирования НИУ ВШЭ
«Наш отдел не просто вручную администрирует суперкомпьютер. Мы создали систему, которая теперь нам и помогает. Она в сотни раз превосходит инженера по скорости анализа эффективности вычислений, выполняющихся на вычислительном кластере. Соответственно, эффективность работы нашего суперкомпьютерного центра стала выше, чем классического центра с ручным отслеживанием ошибок пользователей.
Наша система сама может рекомендовать пользователям суперкомпьютера, что нужно улучшать в их вычислительных задачах, а при серьезных ошибках даже прекращать некорректно запущенные вычисления одного пользователя в пользу запуска эффективных задач другого. Этот подход позволяет не допускать простоя оборудования, повышает количество одновременно выполняемых исследований».
Вам также может быть интересно:
Исследователи изучили, как в малых российских университетах заботятся о студентах
Исследователи из Института образования НИУ ВШЭ провели социологическое исследование в четырех малых неселективных университетах и на основе 135 интервью показали, что в таких вузах забота о студентах имеет двойственную природу. Она объединяет искреннюю помощь с постоянным надзором, напоминая родительскую опеку. Это первое детальное описание того, как формальные и неформальные практики заботы переплетаются в постсоветском образовательном контексте. Исследование опубликовано в British Journal of Sociology of Education.
«Наш результат признан не только в рамках защиты проекта, но и на международном уровне»
В этом году на Европейскую конференцию по ИИ (ECAI 2025) была принята статья Multi-Agent Path Finding For Large Agents Is Intractable второкурсника бакалавриата «Прикладная математика и информатика» (ПМИ) факультета компьютерных наук ВШЭ Артема Агафонова. Работа написана в соавторстве с Константином Яковлевым, заведующим базовой кафедрой «Интеллектуальные технологии системного анализа и управления» ФИЦ ИУ РАН, доцентом ФКН. Как возникла идея написать статью и как удалось попасть на конференцию уровня А, Артем Агафонов рассказал в интервью.
Ученые ВШЭ оптимизировали обучение генеративных потоковых нейросетей
Исследователи факультета компьютерных наук НИУ ВШЭ улучшили метод обучения генеративных потоковых нейросетей для работы с неструктурированными задачами. Это поможет искать новые лекарства эффективнее. Результаты работы были представлены на одной из ведущих конференций по машинному обучению — ICLR 2025. Текст работы доступен в репозитории Arxiv.org.
«Человеческое существование без математики сегодня трудно, а завтра будет просто невозможно»
Математики всего мира говорят на одном языке и продолжают сотрудничество, несмотря на сложности последних лет. Центр их общения перемещается в Китай, где ученые разных стран встречаются на конференциях и других научных мероприятиях. Сотрудничество с ведущими китайскими университетами перспективно для продолжения прежних и организации новых контактов. Об этом, а также о том, что такое ИИ и почему государство должно сотрудничать с математиками, новостной службе «Вышка.Главное» рассказал заведующий Международной лабораторией зеркальной симметрии и автоморфных форм НИУ ВШЭ Валерий Гриценко.
Вузы разделились на шесть лагерей в отношении к искусственному интеллекту
Каким должно быть образование в эпоху ИИ? Чтобы разобраться, какие есть точки зрения и какие решения уже формируются, команда Института образования ВШЭ весной 2025 года провела серию интервью с проректорами российских университетов. Об итогах этого исследования рассказывает директор института Евгений Терентьев.
«Креативные индустрии»: экспертиза, кейсы и прогнозы
Институт развития креативных индустрий (ИРКИ) факультета креативных индустрий НИУ ВШЭ выпустил монографию «Креативные индустрии». Издание объединяет исследования, экспертные материалы и практические кейсы по самым важным и актуальным направлениям креативного сектора — от мер поддержки креативных индустрий, стратегии развития креативной экономики, креативного образования, креативного предпринимательства до территориального брендинга, народных промыслов и локальных ремесел.
Как разработать честный тест: зачем нужны параллельные тексты для диагностики дислексии
Исследователи из Центра языка и мозга ВШЭ разработали тест для точной оценки навыков чтения у взрослых — например, до и после занятий с логопедом. Он включает два разных по содержанию, но одинаковых по сложности текста: участники читали их с равной скоростью, делали равное количество ошибок и одинаково понимали смысл. Подобные параллельные тексты позволят точнее диагностировать дислексию и отслеживать прогресс коррекции. Исследование опубликовано в журнале «Вопросы образования».
ВШЭ представила четыре сценария развития российского ИТ-рынка до 2028 года
Институт статистических исследований и экономики знаний Высшей школы экономики (ИСИЭЗ НИУ ВШЭ) в рамках реализованного при поддержке «Яндекса» форсайт-исследования выделил четыре сценария развития отечественного ИТ-рынка до 2028 года. Результаты изложены в аналитическом докладе «Информационные технологии в России: сценарии развития».
Ростех и Вышка стали партнерами в сфере инженерной подготовки и научных исследований
Госкорпорация Ростех и Высшая школа экономики заключили соглашение о стратегическом партнерстве в сфере науки и образования. Документ направлен на проведение совместных исследований, подготовку высококвалифицированных кадров и формирование научно-технического задела в интересах высокотехнологичных отраслей России. Кроме того, совместно с московской школой № 58 будет вестись профориентация школьников по направлениям инженерии, ИТ и кибербезопасности.
В Вышке пройдет Международная школа БРИКС: Новое поколение
Открыта регистрация на Международную школу БРИКС: Новое поколение — один из ведущих международных образовательных проектов, ориентированных на молодых лидеров, интересующихся повесткой глобального развития и сотрудничества в рамках БРИКС.