Все те, кто когда-либо посещал занятия по компьютерной безопасности, уже, вероятно, знают о трёх её столпах — конфиденциальности, целостности и доступности, — известных, как «триада безопасной устойчивости». Когда специалисты говорят об устойчивости системы, они имеют в виду именно это. Все три компонента важны, но в разной степени и в разных контекстах. В мире, насыщенном системами искусственного интеллекта (ИИ) и интеллектуальными агентами, целостность будет иметь первостепенное значение.
Что такое целостность данных? Это гарантия того, что никто не сможет изменить информацию. Данный аспект безопасности охватывает точность, полноту и качество данных — как во времени, так и в пространстве. Он предотвращает случайную потерю даже одного бита в процессе передачи. Такое требование гарантирует, что данные поступают из надёжного источника, что ничего важного не пропущено и что они не меняются при переходе из одного формата в другой. Возможность перезагрузка компьютера — это упрощённая наглядная мера целостности.
Упомянутая «триада» развивалась вместе с Интернетом. Первая итерация возникла в эпоху Веб 1.0, развивавшегося с начала 1990-х и до 2000-х годов — в ней превалировал приоритет доступности. В эту эпоху организации и отдельные лица спешили оцифровывать свой контент, создавая то, что стало беспрецедентным хранилищем человеческих знаний. Организации по всему миру установили своё цифровое присутствие, что привело к масштабным проектам, где количество имело приоритет над качеством. Акцент на обеспечении доступности информации затмил другие проблемы.
По мере развития веб-технологий фокус сместился на защиту огромных объёмов данных, проходящих от различных серверов и целых дата-центров через различные онлайн-системы. Это Web 2.0 — современный Интернет. Интерактивные функции и контент, создаваемый пользователями, превратили его из среды, доступной только для чтения, в платформу для участия. Рост объёма персональных данных и появление интерактивных платформ для электронной коммерции, социальных сетей, всего другого онлайн-пространства, потребовали, как защиты критически важной информации, так и конфиденциальности пользователей. Конфиденциальность стала первостепенной задачей.
Таким образом мы вступили на порог новой парадигмы Web 3.0. Это распределённая, децентрализованная, интеллектуальная Сеть. Одноранговые социальные сети обещают разрушить контроль технологических монополий над тем, как люди взаимодействуют друг с другом. Открытый протокол W3C представляет собой фундаментальный сдвиг в том, как мы думаем о владении данными и контроле. Будущее, наполненное агентским ИИ, требует проверяемых, заслуживающих доверия персональных данных для вычислений. В таком цифровом мире целостность занимает центральное место.
Например, революция в области коммуникаций 5G заключается не только в более быстром доступе к видео, а в том, что подключённые к Интернету вещей юниты могут общаться с другими, похожими по функциональности, устройствами без нашего вмешательства. Например, без целостности данных не будет никакой связи между автомобилями в режиме реального времени о движении и состоянии дорог. Не будет никакой координации интеллектуальной электросети. И не будет способа безопасно предоставить агентам ИИ полномочия. В частности, такие системы нейросетей требуют надёжного контроля целостности из-за того, как они обрабатывают весь поступающий массив информации. Это технический контроль, гарантирующий точность данных, сохранение их смысла при обработке (сборка пакетов), получение надёжных результатов и возможность изменения людьми, если они неверны. Так же, как научный инструмент должен быть откалиброван для точного измерения в реальности, системы ИИ нуждаются в контроле целостности, сохраняющем связь между их данными и истинной реальностью.
Эта проблематика выходит даже за рамки предотвращения подделки или подстановки, а означает создание систем, которые поддерживают проверяемые цепочки доверия между входами, обработкой и выходами, чтобы люди могли понимать и подтверждать, что делает ИИ. Системам нужны чистые, последовательные и проверяемые процессы управления для эффективного глубокого обучения и принятия решений. Без этой основы проверяемой истины любые нейросети рискуют превратиться в ряд сбоящих систем, наносящих вред человечеству.
Недавняя история развития цифровых инструментов даёт множество отрезвляющих примеров провалов целостности, которые естественным образом подрывают общественное доверие к системам ИИ. Модели машинного обучения, обучавшиеся бездумно, на обширных наборах данных, дали предсказуемо предвзятые результаты в различных сферах деятельности. Автономные транспортные средства с неверными данными приняли неверные — и фатальные — решения. Системы медицинской диагностики давали неверные рекомендации, не имея возможности объяснить свой выбор такого плана лечения. Отсутствие контроля целостности подрывает доверие к цифровой интеллектуальной среде и вредит людям, которые от них зависят.
Сбой целостности может проявляться на нескольких уровнях работы системы. На уровне обучения данные могут быть тонко повреждены или предвзяты ещё до начала разработки модели. На уровне модели математические основы и процессы обучения могут вносить новые проблемы целостности даже с «чистыми» (достоверными) данными. Во время выполнения изменения и модификации среды исполнения задачи, они могут повредить ранее действовавшие рабочие модели. А на уровне вывода проблема проверки контента, сгенерированного искусственным интеллектом, и его отслеживания по системным цепочкам создаёт новые проблемы целостности. Каждый уровень усугубляет проблемы предыдущих, в конечном итоге проявляясь в человеческих издержках, таких как усиление предвзятости и уменьшение доверия.
Для наглядности, можно рассмотреть пример защиты дома. Человек не просто запирает дверь, а он также использует безопасный бетонный фундамент, прочный каркас, долговечную крышу, безопасные двухкамерные окна и, возможно, камеры с датчиками движения. Аналогично этому, людям нужна цифровая безопасность на каждом уровне, чтобы гарантировать, что всей системе можно доверять.
Этот многоуровневый подход к пониманию безопасной функциональности становится всё более важным по мере того, как разрабатываемые нейросети становятся более сложными и автономными. Особенно это касается систем глубокого обучения, способных принимать самостоятельные решения – тут ставки могут быть невероятно высоки. В меньшей степени это касается больших языковых моделей (LLM). Необходимо проверять целостность каждого слоя при создании и развёртывании цифровых двойников объектов критической инфраструктуры, которые влияют на жизни людей и общественные результаты.
На базовом уровне биты хранятся в компьютерном оборудовании. Это представляет собой самую базовую кодировку цифровой информации и вычислительных инструкций. Следующий уровень — это архитектура файловой системы: способ, которым эти двоичные последовательности организованы в структурированные файлы и каталоги, к которым компьютер может эффективно получать доступ для дальнейшей обработки различными прикладными программами. В системах искусственного интеллекта похожая архитектура включает в себя то, как мы храним и организуем данные обучения для «машинного разума», контрольные точки моделей и конфигурации гиперпараметров. Но поверх всего этого находятся ещё прикладные слои — программы и фреймворки, которые позволяют непосредственно обучать модели, обрабатывать данные и генерировать выходные результаты. Этот слой обрабатывает сложную математику нейронных сетей, градиентного спуска и других операций машинного обучения.
Наконец, на уровне пользовательского интерфейса, у человека должны быть системы визуализации и взаимодействия — то, что люди на самом деле видят и с чем взаимодействуют (клавиатура, мышь, монитор, сенсорный экран, голосовой ввод). А для интеллектуальных нейросетей это может быть всё: от оценок уверенности и вероятностей прогнозирования, до сгенерированного текста и изображений, видео или автономных данных о движении робота.
Почему эта многоуровневая перспектива имеет значение? Уязвимости и проблемы могут проявляться на любом уровне, поэтому понимание работы помогает инженерам (экспертам по безопасности) выполнять комплексное моделирование угроз, для реализации стратегии глубокой защиты — от криптографической проверки обучающих данных до надёжных архитектур моделей и интерпретируемых выходных результатов. Такой многоуровневый подход к безопасности становится особенно важным, поскольку современные системы агентского ИИ берут на себя более автономные роли принятия решений в критически важных областях (здравоохранение, финансы, общественная безопасность). Поэтому критически важно обеспечить целостность и надёжность на каждом уровне стека.
Риски развертывания без надлежащих мер контроля целостности серьёзны и часто недооцениваются. Когда системы ИИ работают без достаточных мер безопасности по обработке повреждённых или скомпрометированных (манипулирование) данных, они могут выдавать слегка ошибочные результаты, которые на первый взгляд кажутся допустимыми. Но сбои могут каскадно распространяться по взаимосвязанным системам, увеличивая ошибки. Без надлежащего контроля целостности система станет принимать решения на основе вводящих в заблуждение предположений или изменять результаты (что может быть сложно сразу обнаружить даже профессионалу). Результаты этого могут варьироваться от ухудшения производительности до катастрофических сбоев инфраструктуры.
К счастью, человечество не начинает работу в этом направлении с нуля — протоколы Web 3.0 могут встраивать средства контроля целостности в свою основу, создавая более надёжную инфраструктуру для систем искусственного интеллекта. Сегодня люди воспринимают доступность как должное — всё, что меньше 100% времени безотказной работы для критически важных веб-сайтов, недопустимо. В будущем обществу понадобятся те же гарантии целостности. Успех потребует соблюдения практических рекомендаций по поддержанию работоспособности на протяжении всего жизненного цикла. Эти рекомендации будут касаться не только технических средств контроля, но и структур управления, а особенно человеческого надзора, подобно тому, как политики конфиденциальности превратились из юридического шаблона в комплексные структуры для управления данными. Общие стандарты и протоколы, разработанные посредством отраслевого сотрудничества и нормативных рамок, обеспечат единообразный контроль целостности в различных системах и приложениях искусственного интеллекта. Так же, как протокол HTTPS создал основу для надёжной электронной коммерции, настало время для новых стандартов, ориентированных на всю «триаду», которые позволят обеспечить надёжное функционирование всех служб цифрового будущего.
