Система мониторинга эффективности задач на суперкомпьютере НИУ ВШЭ включена в Реестр российского ПО
Разработанная в Высшей школе экономики система мониторинга эффективности задач на суперкомпьютере HPC TaskMaster включена в Реестр российского программного обеспечения. Для этого был выполнен большой комплекс подготовительных работ. Доказав эффективность системы, Вышка готова распространять ее и в другие университеты и компании.
С момента появления суперкомпьютеров обеспечение эффективности их использования является важнейшей задачей. Для крупных вычислительных кластеров разрабатываются собственные системы мониторинга. Суперкомпьютер «cHARISMa», который используется сотрудниками, преподавателями и студентами Высшей школы экономики для проведения научных исследований, не стал исключением.
Отечественная программная система HPC TaskMaster была разработана с применением научного подхода и внедрена в 2022 году. Она помогает пользователям суперкомпьютера эффективнее выполнять вычисления: предоставляет информативные отчеты о выполненных задачах, указывает на ошибки, выдает рекомендации по повышению эффективности. Кроме того, система позволяет эффективнее использовать ресурсы суперкомпьютера в целом, экономя дорогостоящее машинное время. По статистике, в первом полугодии 2023 года система позволила повысить эффективную производительность суперкомпьютера на 20,5%.
Для включения в Реестр российского программного обеспечения пришлось выполнить довольно объемный комплекс работ по пересмотру используемых технологий и подробному документированию разработанной системы. Например, пришлось отказаться от использования в качестве базовой операционной системы Linux Ubuntu из-за лицензионных ограничений. Была улучшена безопасность кода, сформирован тестовый набор данных для демонстрации работы эксперту, разработаны варианты развертывания системы как в docker-контейнере, так и в виде образа виртуальной машины.
Далеко не всякая зарегистрированная российская программа может попасть в Реестр российского программного обеспечения. Это видно из статистики: в реестре на сегодняшний день около 18 тысяч программ, а количество обычных свидетельств о регистрации программ, выданных Роспатентом, приближается к 300 тысячам. Для включения в реестр программа должна удовлетворять множеству законодательных и технических требований.
Дмитрий Бондарь, старший директор по цифровой трансформации НИУ ВШЭ
«Продуктивная работа современного суперкомпьютерного комплекса в многопользовательском режиме невозможна без создания программной системы по контролю и оптимизации потока задач. В Вышке такой системой стал HPC TaskMaster. Над его разработкой на протяжении нескольких лет трудилась команда отдела суперкомпьютерного моделирования, при этом разработка базируется на опыте всего коллектива университета, выполняющего исследования при помощи суперкомпьютера.
В современном мире скорость проверки гипотез, обучения искусственного интеллекта и решения инженерных задач на высокопроизводительных машинах определяет конкурентоспособность организации в целом. Без автоматизации процессов взаимодействия с суперкомпьютером новые задачи могут просто не дождаться своей очереди или потерять актуальность.
Доказав эффективность системы у нас, мы готовы ее распространять и в другие университеты и компании. Таким образом мы хотим поделиться своим опытом и повысить эффективность заинтересованных научных и производственных коллективов.
Включение HPC TaskMaster в Реестр российского программного обеспечения — существенный шаг в этом направлении. Адаптация программного обеспечения и его описание под требования реестра — трудоемкий процесс, но он показывает, что продукт соответствует всем требованиям российского законодательства и готов к использованию за пределами Вышки».
Павел Костенецкий, начальник отдела суперкомпьютерного моделирования НИУ ВШЭ
«Наш отдел не просто вручную администрирует суперкомпьютер. Мы создали систему, которая теперь нам и помогает. Она в сотни раз превосходит инженера по скорости анализа эффективности вычислений, выполняющихся на вычислительном кластере. Соответственно, эффективность работы нашего суперкомпьютерного центра стала выше, чем классического центра с ручным отслеживанием ошибок пользователей.
Наша система сама может рекомендовать пользователям суперкомпьютера, что нужно улучшать в их вычислительных задачах, а при серьезных ошибках даже прекращать некорректно запущенные вычисления одного пользователя в пользу запуска эффективных задач другого. Этот подход позволяет не допускать простоя оборудования, повышает количество одновременно выполняемых исследований».
Вам также может быть интересно:
Вышка стала соорганизатором Международного диктанта по финансовой безопасности
С 1 по 30 сентября пройдет Международный диктант по финансовой безопасности. Масштабный онлайн-проект разработан с целью повышения осведомленности людей разного возраста о проблемах в сфере экономической стабильности. Тема этого года — «Новые технологии на страже финансовой безопасности: от личной защиты до суверенитета государства». В новом сезоне НИУ ВШЭ вошел в состав организаторов.
Эпоха ИИ: университеты и бигтехи обсудили трансформацию системы образования
В рамках круглого стола, организованного «Яндекс Образованием», эксперты из ведущих университетов и технологических компаний обсудили будущее системы образования и подготовки IT-специалистов в условиях развития технологий искусственного интеллекта. Высшую школу экономики представляла проректор университета Елена Одоевская.
Ученый в цифровую эпоху: как определить свой профессиональный путь в новом мире
Центр научной интеграции НИУ ВШЭ запускает программу «Современный ученый: инструменты развития научной карьеры», ориентированную на развитие профессиональных компетенций молодых исследователей. В течение 6 недель слушатели в синхронном онлайн-формате изучат 5 тематических блоков. Обучение начнется 22 сентября. На программу могут поступить все желающие, имеющие или получающие высшее или среднее специальное образование.
Ученые ВШЭ выяснили, почему люди доверяют науке
Исследователи ИСИЭЗ НИУ ВШЭ проанализировали степень доверия научному знанию в российском обществе и выявили факторы, которые влияют на восприятие. Оказалось, что доверие к науке больше зависит от повседневного опыта, социальных ожиданий и представлений о пользе, а не от объективных знаний. Статья опубликована в журнале «Мир России».
НИУ ВШЭ и Центр им. Дмитрия Рогачева подписали соглашение о научно-практическом сотрудничестве
Высшая школа экономики и Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева подписали соглашение о научно-практическом сотрудничестве. Подписи под документом поставили ректор НИУ ВШЭ Никита Анисимов и генеральный директор центра Николай Грачев.
Вышка доверит ИИ рутинную работу по созданию программ ДПО
НИУ ВШЭ совместно с EdTech-компанией CDO Global запускает AI-конструкторы для оптимизации разработки курсов дополнительного профессионального образования (ДПО). Новый сервис позволит автоматизировать подготовку учебных материалов и оценочных средств, значительно сократив время и ресурсы, затрачиваемые преподавателями и методистами.
На портале Вышки доступны обновленные «Цифры и факты» и дашборды
Дирекция по аналитике и управлению данными совместно с отделом визуальных коммуникаций разработали новую страницу «Цифры и факты о НИУ ВШЭ» на портале Вышки. Также всем сотрудникам университета доступен дашборд с показателями обновленной программы «Приоритет-2030».
Исследователи изучили, как в малых российских университетах заботятся о студентах
Исследователи из Института образования НИУ ВШЭ провели социологическое исследование в четырех малых неселективных университетах и на основе 135 интервью показали, что в таких вузах забота о студентах имеет двойственную природу. Она объединяет искреннюю помощь с постоянным надзором, напоминая родительскую опеку. Это первое детальное описание того, как формальные и неформальные практики заботы переплетаются в постсоветском образовательном контексте. Исследование опубликовано в British Journal of Sociology of Education.
На Международной летней школе в КНР Вышка поделилась опытом изучения городских стратегий
На фоне усиления глобальной геополитической и технологической конкуренции ведущие китайские вузы Чжэцзянский университет международных исследований и Пекинский университет организовали совместную Международную летнюю школу. Центральной ее темой стало изучение глобальных региональных и городских стратегий развития. Факультет городского и регионального развития НИУ ВШЭ принял участие в работе школы.
ВШЭ и Московский аналитический центр объединят усилия в сфере ИИ
НИУ ВШЭ подписал соглашение о сотрудничестве с ГБУ «Московский аналитический центр». Документ закрепил намерение сторон развивать совместные исследования и внедрять технологии искусственного интеллекта в управление городским хозяйством.