Для кого-то термин «черный ящик» ассоциируется с бортовыми самописцами самолетов, незаменимыми для расследования причин катастроф, если происходит непредвиденное. Для других — с небольшими, минималистично оформленными театральными залами. Но «черный ящик» — это еще и важнейшее понятие в мире искусственного интеллекта.
«Черными ящиками» в ИИ называют системы, внутренние механизмы работы которых скрыты от пользователя. Вы можете передать им входные данные и получить результат, однако не способны изучить программный код или логику, приведшую к такому ответу.
Машинное обучение — это ведущее направление искусственного интеллекта. Именно оно лежит в основе генеративных систем ИИ, таких как ChatGPT и DALL-E 2. В машинном обучении выделяют три составляющих: алгоритм (или набор алгоритмов), обучающие данные и модель. Алгоритм представляет собой последовательность инструкций. В машинном обучении алгоритм учится находить закономерности, тренируясь на огромном массиве примеров — обучающих данных. После завершения обучения получается готовая модель машинного обучения. Именно ее в конечном счете и используют люди.
Например, алгоритм машинного обучения можно разработать для поиска определенных образов на изображениях, а в качестве обучающих данных использовать фотографии собак. Полученная в итоге модель станет «распознавателем собак». Вы загружаете изображение на вход и получаете на выходе ответ: есть ли на фото собака и в какой именно области изображения находится соответствующая группа пикселей.
Любой из трех компонентов системы машинного обучения может быть скрыт, то есть помещен в «черный ящик». Зачастую сами алгоритмы общеизвестны, поэтому прятать их нет особого смысла. Чтобы защитить свою интеллектуальную собственность, разработчики чаще всего делают «черным ящиком» саму модель. Другой распространенный подход — скрывать информацию, на которой обучалась модель, то есть превращать в «черный ящик» обучающие данные.
Противоположностью «черного ящика» иногда называют «стеклянный ящик». В таком ИИ алгоритмы, обучающие данные и сама модель полностью открыты и доступны для изучения любому желающему. Однако исследователи порой называют «черным ящиком» даже отдельные аспекты полностью прозрачных систем.
Причина в том, что ученые до конца не понимают, как именно функционируют алгоритмы машинного обучения, особенно в сфере глубокого обучения. Область объяснимого ИИ (Explainable AI) как раз стремится создать такие алгоритмы, которые, пусть и не всегда будучи абсолютными «стеклянными ящиками», станут намного более понятными и прозрачными для человека.
Почему проблема «черного ящика» так важна
Во многих ситуациях есть веские основания относиться к закрытым алгоритмам и моделям машинного обучения с настороженностью. Предположим, система машинного обучения поставила вам медицинский диагноз. Какой системе вы бы доверились больше — «черному» или «стеклянному ящику»? А как насчет лечащего врача, назначающего терапию? Доктору наверняка захочется понимать, на основании каких признаков и выводов модель приняла такое решение.
Или что, если модель машинного обучения, оценивающая вашу заявку на бизнес-кредит в банке, ответит отказом? Разве вам не хотелось бы узнать, почему? Имея точные сведения, можно гораздо успешнее оспорить вердикт или изменить свое финансовое положение, чтобы повысить шансы на одобрение займа в следующий раз.
Концепция «черного ящика» также напрямую влияет на безопасность программных систем. Долгие годы среди IT-специалистов бытовало мнение, что сокрытие логики программы внутри «черного ящика» помешает хакерам изучить ее код и тем самым сделает систему безопасной. Однако эта идея оказалась ошибочной: хакеры научились проводить обратную разработку (реверс-инжиниринг) — то есть детально анализировать поведение программы, воссоздавать ее логику и находить критические уязвимости для последующих атак.
Если же программа спроектирована по принципу «стеклянного ящика», тестировщики и этичные хакеры могут заблаговременно проверить ее, выявить слабые места и сообщить разработчикам об ошибках, предотвращая кибератаки.
Саурабх Багчи — профессор электротехники и вычислительной техники в Университете Пердью. Он получает финансирование на исследовательские проекты из широкого спектра источников, включая федеральные и региональные государственные программы, а также частный бизнес.
Эта статья переведена и опубликована с разрешения The Conversation в соответствии с лицензией Creative Commons. Вы можете ознакомиться с оригинальной версией статьи.
