02.11.2026 17:45
Аналитика.
Просмотров всего: 563; сегодня: 13.

Академия АйТи: атаки на ИИ формируют рынок MLSecOps

Академия АйТи fabricaONE.AI (акционер ГК Softline) отмечает рост потребности бизнеса в специалистах по безопасности искусственного интеллекта. Корпоративные ИИ-системы получают доступ к внутренним документам, базам данных и рабочим приложениям, что создает новые возможности для кибератак. Злоумышленники могут воздействовать на поведение моделей, внедрять вредоносные инструкции в обрабатываемые данные и использовать избыточные полномочия ИИ-агентов. Для защиты таких систем компаниям требуются специалисты MLSecOps, объединяющие компетенции в машинном обучении, информационной безопасности и эксплуатации ИТ-инфраструктуры.

Распространение искусственного интеллекта меняет требования к корпоративной кибербезопасности. Если традиционные средства защиты преимущественно контролируют инфраструктуру, программный код, учетные записи и сетевые взаимодействия, то при использовании ИИ появляется дополнительная задача: предотвращать атаки, направленные на поведение модели, обрабатываемые ею данные и действия подключенных инструментов.

Особенно заметны эти риски при внедрении корпоративных ИИ-ассистентов, которые работают с внутренними базами знаний, CRM, электронным документооборотом, репозиториями кода и другими системами. Если ассистент имеет возможность не только получать информацию, но и выполнять действия через API, последствия успешной атаки могут выходить далеко за пределы генерации некорректного ответа.

Один из характерных сценариев связан с непрямой промпт-инъекцией (Indirect Prompt Injection). Злоумышленник размещает вредоносную инструкцию в PDF-документе, HTML-странице или другом источнике, к которому обращается ИИ-система. Когда ассистент использует содержимое такого источника для подготовки ответа, модель может ошибочно воспринять внедренный текст как команду. Если система недостаточно разграничивает доверенные инструкции и внешние данные, атакующий получает возможность повлиять на ее поведение.

Например, вредоносная инструкция может потребовать раскрыть системный промпт, извлечь конфиденциальные сведения из корпоративной базы знаний или передать информацию во внешний сервис. Для реализации последних сценариев злоумышленнику необходимо, чтобы ИИ-система имела соответствующие права доступа и инструменты выполнения действий. Поэтому опасность определяется не только уязвимостью модели, но и архитектурой приложения, настройками доступа и предусмотренными ограничениями.

В Академии АйТи выделяют еще несколько характерных угроз. Одна из них связана с отравлением данных (Data Poisoning), когда злоумышленник намеренно изменяет обучающие данные или вмешивается в процесс подготовки модели. В результате система может усвоить нежелательную закономерность или начать ошибаться при определенных условиях, сохраняя высокую точность на обычных тестовых выборках. Другой сценарий связан с неограниченным потреблением ресурсов (Unbounded Consumption). Атакующий формирует запросы, которые вызывают длительную обработку, чрезмерный расход токенов или многократные обращения к внешним инструментам. Такие действия способны увеличивать задержки, создавать дополнительную нагрузку на вычислительную инфраструктуру и приводить к существенным расходам при использовании облачных моделей с оплатой по объему вычислений.

Отдельного внимания требуют избыточные полномочия ИИ-агентов (Excessive Agency). Современные агентные системы могут самостоятельно выстраивать последовательность операций: обращаться к корпоративным приложениям, создавать задачи, отправлять письма и изменять записи в информационных системах. Если такому агенту предоставлены чрезмерные права, ошибка в интерпретации задания или успешная промпт-инъекция может привести к выполнению нежелательных действий от имени легитимной учетной записи.

«Главная сложность защиты ИИ заключается в том, что привычные проверки безопасности не охватывают все возможные способы воздействия на модель. Система может успешно противостоять стандартным атакам на веб-приложения, но при этом выполнять инструкции из недоверенных документов или неправильно использовать предоставленные ей инструменты. Поэтому специалисту по безопасности ИИ необходимо понимать, как устроена модель, откуда она получает данные, какие действия может выполнять и как контролировать ее поведение на всех этапах эксплуатации», - отметил Николай Павлов, архитектор MLSecOps и AI Governance, преподаватель Академии АйТи fabricaONE.AI.

Для решения таких задач развивается направление MLSecOps, объединяющее методы машинного обучения (ML), информационной безопасности (Security) и эксплуатации систем (Operations). Специалисты этого профиля отвечают за защиту данных, моделей, программного окружения и процессов разработки, развертывания и сопровождения ИИ-приложений.

В отличие от традиционного подхода к информационной безопасности, MLSecOps предполагает проверку не только программных компонентов и инфраструктуры, но и устойчивости самой модели к вредоносным воздействиям. Для этого применяются специализированное тестирование, анализ обучающих данных, контроль изменений, оценка качества ответов, мониторинг действий ИИ-агентов и проверка их полномочий.

При этом стандартные метрики качества машинного обучения, такие как Accuracy и F1-score, не позволяют оценить защищенность модели. Высокая точность на тестовой выборке не гарантирует устойчивости к специально подготовленным входным данным или атакам, направленным на изменение поведения системы. Поэтому проверка ИИ требует отдельных сценариев тестирования, включая попытки обхода ограничений, манипулирования контекстом и несанкционированного использования подключенных инструментов.

Развитие MLSecOps меняет и требования к квалификации специалистов. Экспертам по информационной безопасности необходимо осваивать Python, основы машинного обучения, архитектуру больших языковых моделей, токенизацию, эмбеддинги, механизмы внимания и принципы построения RAG-систем. Дополнительно требуются знания архитектуры ИИ-агентов и механизмов управления их полномочиями.

Специалистам по машинному обучению, в свою очередь, необходимо разбираться в моделях разграничения доступа, мониторинге событий безопасности, реагировании на инциденты, защите инфраструктуры и практиках безопасной разработки. Наиболее востребованными становятся компетенции на пересечении этих направлений, позволяющие оценивать безопасность ИИ-приложения на протяжении всего жизненного цикла.

В ответ на развитие этого направления Академия АйТи реализует образовательную программу «MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения». На сегодняшний день проведено более 10 потоков обучения. Программа построена в формате двухнедельного интенсивного курса, включающего теоретическую подготовку и практические задания. Участники изучают подходы к аудиту безопасности и отказоустойчивости ИИ-систем, защите моделей и данных, контролю процессов разработки и эксплуатации. Полученные навыки позволяют проводить первичную оценку защищенности корпоративных ИИ-решений, выявлять характерные риски и разрабатывать меры по их снижению. Отдельное внимание уделяется подготовке сотрудников к безопасной работе с искусственным интеллектом.

По оценке Академии АйТи, дальнейшее распространение ИИ-агентов и интеграция языковых моделей с корпоративными информационными системами будут увеличивать потребность в специалистах MLSecOps. Для бизнеса их работа становится важной частью управления технологическими рисками: чем больше действий компании доверяют искусственному интеллекту, тем выше требования к контролю его полномочий, защите данных и проверке результатов.

Развитие MLSecOps также потребует пересмотра существующих процессов информационной безопасности. Компаниям предстоит включать ИИ-системы в корпоративные модели угроз, проводить специализированные проверки защищенности, контролировать подключенные источники данных и инструменты, а также заранее определять порядок реагирования на инциденты с участием ИИ.

В Академии АйТи считают, что безопасность искусственного интеллекта постепенно становится самостоятельным направлением профессиональной подготовки. По мере перехода компаний от экспериментального использования моделей к их промышленной эксплуатации спрос будет расти на специалистов, способных одновременно понимать алгоритмы машинного обучения, выявлять киберугрозы и обеспечивать надежную работу ИИ-систем в корпоративной инфраструктуре.


Ньюсмейкер: Академия АйТи — 59 публикаций
Сайт: academyit.ru

Интересно:

Otvetdesign разработал коллекцию мерча для «Балтики»
17.11.2026 19:33 Новости
Otvetdesign разработал коллекцию мерча для «Балтики»
Брендинговое агентство Otvetdesign представило коллекцию одежды и аксессуаров для амбассадоров и сотрудников пивоваренной компании «Балтика». Переосмыслив визуальную айдентику бренда через эстетику old money и современного стритстайла, команда создала линейку, которая объединила фирменные коды, функциональный дизайн и нестандартные детали. Балтийский дух в новом прочтении За последние годы «Балтика» последовательно обновляет образ бренда, сохраняя связь с историей и одновременно открываясь новым аудиториям. Сегодня его присутствие не ограничивается продуктом: бренд становится частью повседневной городской культуры. Одним из способов такого взаимодействия с аудиторией стала новая коллекция мерча.  Изначально проект предполагал создание линейки одежды и аксессуаров для амбассадоров и сотрудников компании. Перед агентством стояла задача выйти за рамки привычного корпоративного...
Музыкальное исполнительское искусство: мир Валерия Вороны
14.11.2026 16:30 Персоны
Музыкальное исполнительское искусство: мир Валерия Вороны
Валерий Иосифович Ворона — из тех деятелей российской культуры, в чьей биографии исполнитель, педагог, организатор и общественный деятель неотделимы друг от друга. Скрипач и дирижёр, ректор Государственного музыкально-педагогического института имени М. М. Ипполитова-Иванова, президент Фонда «Русское исполнительское искусство», солист Московской филармонии, художественный руководитель и главный дирижёр Московского молодёжного камерного оркестра, профессор Московской консерватории — за каждым из этих слов стоит не формальная должность, а десятилетия работы на сохранение и развитие российского исполнительского искусства. Путь музыканта Валерий Ворона родился 12 декабря 1950 года в Херсоне. Профессиональное образование получил в Государственном музыкально-педагогическом институте имени Гнесиных по классу скрипки, а затем прошёл ассистентуру-стажировку при Московской государственной...
Кто изобрёл антибиотики?
13.11.2026 09:05 Аналитика
Кто изобрёл антибиотики?
Многие врачи и учёные раз за разом приходили к выводу: плесень может помочь организму бороться с бактериями. Зачем нам антибиотики? Почему появление антибиотиков стало событием в мире медицины? Всё просто — благодаря им стали лечить заболевания, которые на протяжении многих веков были лотереей со смертью — бактериальные инфекции. Долгое время медики и другие учёные пытались разобраться, что же именно вызывает болезнь. Врачи Античности интуитивно угадали, что должны быть некие внешние «агенты». Миазмы, невидимые семена, живые контагии, мельчайшие животные — как только ни называли бактерии. Но понимать — понимали, а справиться с ними не могли. Туберкулёз, сифилис, пневмония представляли огромную опасность, жертв от них было не меньше, чем от войн. Например, в середине XVIII в. две трети пациентов Петербургского генерального сухопутного госпиталя были, помимо основного заболевания...
Объявлен шорт-лист литературной премии «История будущего»
08.11.2026 18:09 Мероприятия
Объявлен шорт-лист литературной премии «История будущего»
Организаторы II Международной литературной премии в области научной фантастики «История будущего» огласили шорт-лист второго сезона. В финал вышли авторы в четырех номинациях: «Лучший рассказ», «Лучший рассказ для детей и подростков», «Лучший рассказ на иностранном языке» и «Лучшая сценарная заявка». Финал премии состоится 4 декабря 2026 года в музее «Атом» на ВДНХ в Москве.Авторы исследуют, как научные открытия и технологические достижения могут изменить жизнь общества, какие возможности открываются перед человечеством и с какими нравственными и социальными вызовами ему предстоит столкнуться.«Для нас „История будущего“ – гораздо больше, чем литературная премия. Это возможность говорить о будущем языком, который понятен и близок людям разных поколений. Неслучайно премия, учрежденная Музеем „АТОМ“ при поддержке Госкорпорации „Росатом“, посвящена научной фантастике. Атомная отрасль...
Николас Руни – о русской культуре, миссии документального кино
05.11.2026 18:30 Интервью, мнения
Николас Руни – о русской культуре, миссии документального кино
Британский режиссер и сценарист Николас Руни – член жюри международного конкурса студенческих фильмов на XXI Международном кинофестивале «Победили вместе» имени Владимира Меньшова – обсудил с ведущей рубрики о кино в журнале «Международная жизнь», членом жюри прессы МКФ «Победили вместе» Аидой Соболевой фестиваль, прошедший в Москве и Сочи с 14 по 24 сентября 2026 года. А.С.: В вашем творчестве, особенно в фильме-беседе с Александром Дугиным «Волк в лунном свете», чувствуется острый интерес к России, к ее философским поискам. Откуда он? Н.Р.: Интерес к России и ее культуре зародился у меня давно: я всегда был неравнодушен к русской опере и балету. В Европе, изучая латинскую и греческую философию, параллельно слушал курсы по русской литературе, погружаясь в произведения Чехова, Тургенева, Достоевского и Толстого. Около пятнадцати лет назад, уже имея магистерскую степень по философии и...