Система мониторинга эффективности задач на суперкомпьютере НИУ ВШЭ включена в Реестр российского ПО
Разработанная в Высшей школе экономики система мониторинга эффективности задач на суперкомпьютере HPC TaskMaster включена в Реестр российского программного обеспечения. Для этого был выполнен большой комплекс подготовительных работ. Доказав эффективность системы, Вышка готова распространять ее и в другие университеты и компании.
С момента появления суперкомпьютеров обеспечение эффективности их использования является важнейшей задачей. Для крупных вычислительных кластеров разрабатываются собственные системы мониторинга. Суперкомпьютер «cHARISMa», который используется сотрудниками, преподавателями и студентами Высшей школы экономики для проведения научных исследований, не стал исключением.
Отечественная программная система HPC TaskMaster была разработана с применением научного подхода и внедрена в 2022 году. Она помогает пользователям суперкомпьютера эффективнее выполнять вычисления: предоставляет информативные отчеты о выполненных задачах, указывает на ошибки, выдает рекомендации по повышению эффективности. Кроме того, система позволяет эффективнее использовать ресурсы суперкомпьютера в целом, экономя дорогостоящее машинное время. По статистике, в первом полугодии 2023 года система позволила повысить эффективную производительность суперкомпьютера на 20,5%.
Для включения в Реестр российского программного обеспечения пришлось выполнить довольно объемный комплекс работ по пересмотру используемых технологий и подробному документированию разработанной системы. Например, пришлось отказаться от использования в качестве базовой операционной системы Linux Ubuntu из-за лицензионных ограничений. Была улучшена безопасность кода, сформирован тестовый набор данных для демонстрации работы эксперту, разработаны варианты развертывания системы как в docker-контейнере, так и в виде образа виртуальной машины.
Далеко не всякая зарегистрированная российская программа может попасть в Реестр российского программного обеспечения. Это видно из статистики: в реестре на сегодняшний день около 18 тысяч программ, а количество обычных свидетельств о регистрации программ, выданных Роспатентом, приближается к 300 тысячам. Для включения в реестр программа должна удовлетворять множеству законодательных и технических требований.
Дмитрий Бондарь, старший директор по цифровой трансформации НИУ ВШЭ
«Продуктивная работа современного суперкомпьютерного комплекса в многопользовательском режиме невозможна без создания программной системы по контролю и оптимизации потока задач. В Вышке такой системой стал HPC TaskMaster. Над его разработкой на протяжении нескольких лет трудилась команда отдела суперкомпьютерного моделирования, при этом разработка базируется на опыте всего коллектива университета, выполняющего исследования при помощи суперкомпьютера.
В современном мире скорость проверки гипотез, обучения искусственного интеллекта и решения инженерных задач на высокопроизводительных машинах определяет конкурентоспособность организации в целом. Без автоматизации процессов взаимодействия с суперкомпьютером новые задачи могут просто не дождаться своей очереди или потерять актуальность.
Доказав эффективность системы у нас, мы готовы ее распространять и в другие университеты и компании. Таким образом мы хотим поделиться своим опытом и повысить эффективность заинтересованных научных и производственных коллективов.
Включение HPC TaskMaster в Реестр российского программного обеспечения — существенный шаг в этом направлении. Адаптация программного обеспечения и его описание под требования реестра — трудоемкий процесс, но он показывает, что продукт соответствует всем требованиям российского законодательства и готов к использованию за пределами Вышки».
Павел Костенецкий, начальник отдела суперкомпьютерного моделирования НИУ ВШЭ
«Наш отдел не просто вручную администрирует суперкомпьютер. Мы создали систему, которая теперь нам и помогает. Она в сотни раз превосходит инженера по скорости анализа эффективности вычислений, выполняющихся на вычислительном кластере. Соответственно, эффективность работы нашего суперкомпьютерного центра стала выше, чем классического центра с ручным отслеживанием ошибок пользователей.
Наша система сама может рекомендовать пользователям суперкомпьютера, что нужно улучшать в их вычислительных задачах, а при серьезных ошибках даже прекращать некорректно запущенные вычисления одного пользователя в пользу запуска эффективных задач другого. Этот подход позволяет не допускать простоя оборудования, повышает количество одновременно выполняемых исследований».
Вам также может быть интересно:
НИУ ВШЭ и ПСБ провели хакатон по ИИ для студентов ведущих вузов страны
В конце сентября онлайн-кампус НИУ ВШЭ и ПСБ организовали хакатон для студентов, которые увлекаются анализом данных, визуализацией и машинным обучением, а также студентов креативных индустрий. На хакатон зарегистрировалось 620 человек, приняло участие 428 человек из разных регионов РФ. За первое место боролись студенты лучших российских университетов, а также учащиеся из других государств. Победителями турнира стала команда из Вышки.
Искусственный интеллект в университете: вызовы и задачи
На форуме «Технопром-2024», прошедшем в Новосибирске, Высшая школа экономики организовала круглый стол, посвященный обсуждению роли искусственного интеллекта в образовании. Как технологии ИИ помогают выводить качество образования в НИУ ВШЭ на новый уровень, рассказали представители университета.
Законы физики: как Высшая школа экономики стала Высшей школой IT-технологий и ИИ
Сотрудничество лидеров IT-индустрии и ведущих вузов в подготовке высококлассных специалистов стало ключевым трендом последних лет. Как построено IT-образование в Вышке и как университет стал лидером в сфере искусственного интеллекта, рассказал ректор НИУ ВШЭ Никита Анисимов на пресс-завтраке «Яндекс Образования» «Бигтехи и университеты: итоги приемной кампании — 2024/25 и модели партнерства».
ИИ и чат-боты: будущее образования уже здесь
Нейросети открывают новые возможности для образовательного процесса. Об их использовании в образовании для построения чат-ботов ученые НИУ ВШЭ рассказали на интерактивной лекции в рамках фестиваля-форума «Москва 2030». Эксперты поделились опытом разработки ИИ-помощника для студентов в рамках стратегического проекта «ИИ-технологии для человека».
НИУ ВШЭ и «Ромир» изучили отношение россиян к развитию ИТ
Школа коммуникаций НИУ ВШЭ и исследовательский холдинг «Ромир» представили результаты первого масштабного исследования о восприятии россиянами информационных технологий. Его целью стало создание эффективного инструментария для регулярного мониторинга отношения жителей страны к новым вызовам цифровой эпохи. Использовалась методология смешанного дизайна, включающая комплексный анализ обсуждений российского медиаполя (охват — 1 млн сообщений, 470 тыс. авторов, 16,7 млрд просмотров) и репрезентативный опрос населения (выборка — 2500 человек в возрасте 18–65 лет).
В НИУ ВШЭ состоялась первая конференция «Искусственный интеллект в медиа»
В работе форума приняли участие представители бизнеса, коммуникационных агентств, медиа, а также эксперты Вышки. Они обсудили то, как ИИ изменит креативные индустрии и повлияет на личный бренд и может ли искусственный интеллект помочь бизнесу лучше понять своего клиента. Стоит отметить, что прошедшая конференция — первая из серии запланированных мероприятий для профессионалов медиарынка и коммуникаций.
Law & IT: в нижегородской Вышке открылась новая программа профпереподготовки
Новая совместная междисциплинарная программа ДПО двух факультетов — факультета права и факультета информатики, математики и компьютерных наук НИУ ВШЭ — Нижний Новгород — позволит выпускникам сделать бизнес-процессы более эргономичными.
Код с добром: студенты разработали IT-решения для благотворительных фондов
В Вышке прошел первый IT-марафон «Код со смыслом». Студенты пяти вузов в течение 24 часов разрабатывали IT-решения для благотворительных фондов, чтобы сделать жизнь их подопечных лучше, а работу сотрудников — комфортнее. Команды победителей получили денежные призы, а НКО-участники — новые программные решения.
Не спуская глаз: как будет выглядеть устройство для самоконтроля зрения
В рамках стратегического проекта «Успех и самостоятельность человека в меняющемся мире» ученые из НИУ ВШЭ провели исследование для создания электронного устройства, которое поможет снизить риски возникновения и прогрессирования глазных заболеваний. Это устройство может давать рекомендации по отдыху глаз и указывать на необходимость посещения медицинского учреждения при выявлении нарушения в зрении.
Кружковое движение НТИ подвело итоги Всероссийского конкурса проектов с открытым кодом
Объявлены победители и призеры третьего Всероссийского конкурса проектов с открытым кодом для школьников и студентов, организованного Кружковым движением Национальной технологической инициативы (НТИ). Результаты по трекам «Создатели» и «Контрибьюторы» опубликованы на официальном сайте и учитываются в конкурсе цифровых портфолио «Талант НТО», победители и призеры которого смогут получить до 10 дополнительных баллов к ЕГЭ при поступлении в вузы в 2024 году.