«Безопасность технологий ИИ: от разработки до эксплуатации» — двухнедельная образовательная программа от Альфа-Банка и Университета «Сириус» по MLSecOps в индустрии.

Попробуйте себя в области на стыке машинного обучения, кибербезопасности и инженерии ИИ-систем. Программа поможет разобраться, как защищать модели и ИИ-агентов от атак и утечек данных. Вы научитесь анализировать риски, строить модели угроз, тестировать устойчивость ИИ и применять эти подходы на примере реальных задач из практики Альфа-Банка.

Первая неделя: 25–30 мая

1. Безопасность и этика ИИ

• Надёжность и предсказуемость ИИ-систем;

• Выравнивание целей: соответствие действий ИИ намерениям человека;

• Механизмы подтверждения критических действий;

• Этические аспекты применения ИИ: предвзятость, дискриминация, прозрачность;

• Регуляторные требования: требования ФСТЭК России, рекомендации Банка России к ИИ;

• Управление рисками ИИ: классификация систем, модель операционных рисков.

2. Безопасность машинного обучения

• Введение в безопасность ИИ: цели, задачи, ландшафт угроз;

• Модель угроз для систем машинного обучения;

• Угрозы на этапе подготовки данных: отравление выборки, внедрение закладок;

• Состязательные атаки: атаки уклонения, методы возмущения входных данных;

• Атаки на конфиденциальность: извлечение данных из модели, кража модели;

• Безопасность цепочки поставок: риски загрузки моделей, проверка целостности.

3. Безопасность генеративного ИИ

• Модель угроз для больших языковых моделей;

• Внедрение вредоносных инструкций: прямые и косвенные атаки;

• Утечка данных через модели: раскрытие конфиденциальной информации;

• Безопасность ИИ-агентов: избыточные полномочия, перехват целей;

• Безопасность протоколов взаимодействия с внешними инструментами;

• Защитные механизмы: входная и выходная фильтрация, обнаружение персональных данных.

4. Безопасность ИИ-инфраструктуры

• Защита данных для ИИ: защита обучающих выборок, управление доступом;

• Управление секретами и аутентификация компонентов ИИ-систем;

• Требования к журналированию и трассируемости операций;

• Безопасность конвейеров машинного обучения;

• Шлюз для ИИ: аутентификация, авторизация, ограничение частоты запросов.

5. Тестирование безопасности ИИ

• Методология тестирования безопасности ИИ-систем;

• Инструменты для тестирования устойчивости моделей;

• Тестирование больших языковых моделей: разработка сценариев атак;

• Тестирование ИИ-агентов: злоупотребление инструментами, повышение привилегий;

• Исследование уязвимостей: анализ известных уязвимостей, тестирование компонентов;

• Разработка инструментов: автоматизация тестирования, создание модулей.

Проекты и защита командных проектов.

Программа реализуется Научным центром информационных технологий и искусственного интеллекта Университета «Сириус».

Учебно-методические материалы

На программу приглашаются участники образовательных организаций высшего образования 1–4-х курсов бакалавриата или специалитета, обучающихся по направлениям «Машинное обучение» и «Информационная безопасность» или смежным дисциплинам.

Подайте заявку до 23:59 27 марта на сайте Сириуса и на платформе Аьфа-Банка — без неё не сможем засчитать остальные этапы отбора.

Решите тестовое задание на платформе. Приступить можно в любой день до дедлайна, но изменить решение после отправки нельзя.

В период с 27 марта по 27 апреля – собеседование с экспертами Альфа-Банка. На собеседование будут приглашены авторы лучших решений контеста.

Всем, кто прошел конкурсный отбор и был приглашен на программу, необходимо предоставить справку с места обучения, взятую не ранее, чем за 3 месяца до начала образовательной программы.

Для участников предоставляется проживание и питание во время обучения на программе.

Проезд/перелёт, питание на программу оплачивается участником самостоятельно или за счёт Университета, в котором он обучается.

Плата за обучение на программе не взимается.

К участию в программе допускаются только граждане РФ.

На программу не допускаются студенты, принимавшие ранее участие в других дополнительных образовательных программах Университета «Сириус» в 2025 году за счёт средств Университета «Сириус» более 2-х раз.

Приглашённые на программу студенты, не сообщившие о невозможности прибыть на программу, не будут допущены к отбору на следующие дополнительные образовательные программы за счёт средств Университета «Сириус».

Студенты, отчисленные с дополнительной профессиональной программы как не прошедшие успешно итоговую аттестацию, не будут допущены к отбору на следующие дополнительные образовательные программы за счёт средств Университета «Сириус».

У вас будет две недели, чтобы решить тестовое задание и отправить результат на проверку. Приступить можно в любое время до наступления дедлайна, но внести правки в уже отправленное решение нельзя. Время на решение будет ограничено — когда вы приступите к заданию, запустится таймер

По вопросам участия в программе просим обращаться по адресу https://vk.com/alfafuture