DALL·E 2 была представлена OpenAI в 2022 году как система, способная создавать изображения по текстовому описанию. Сегодня её разумнее рассматривать как важный этап развития text-to-image-моделей, а не как актуальную инструкцию к отдельной программе: интерфейсы и доступные модели OpenAI с тех пор менялись.
Название объединяет отсылку к художнику Сальвадору Дали и роботу WALL·E, но сама система не «понимает» текст и изображение по-человечески. Она сопоставляет статистические представления описаний и визуальных признаков, а затем строит изображение, подходящее запросу.
Что умела DALL·E 2
Модель создавала несколько вариантов по одной подсказке, могла редактировать выделенную область изображения с учётом окружения и строить вариации загруженной картинки. По сравнению с первой DALL·E разработчики заявляли более реалистичные результаты и разрешение в четыре раза выше.
Качество зависело от формулировки. Конкретное описание объекта, среды, композиции и освещения обычно задавало направление лучше, чем набор оценочных слов. Но никакой «идеальной формулы промпта» не гарантировало фактической точности.
Почему результат нельзя принимать за свидетельство. Генератор строит правдоподобную картинку, а не фотографическую запись события. Он мог путать пространственные отношения, детали рук, текст на вывесках и редкие объекты. Реалистичность поэтому нельзя использовать как доказательство того, что человек, место или событие существовали.
Система также наследовала смещения данных обучения. OpenAI сообщала, что фильтрация нежелательного контента сама могла усиливать дисбаланс представлений, например менять частоту изображений мужчин и женщин.
Безопасность, авторство и память модели
Перед расширением доступа OpenAI применяла фильтры запросов и изображений, ограничения на реалистичные лица и мониторинг злоупотреблений. В отдельном исследовании команда описала риск воспроизведения обучающих изображений и удаление близких дубликатов из данных, чтобы снизить запоминание.
Эти меры не снимают обязанности пользователя проверять права на исходные материалы, маркировать синтетическую графику там, где это важно, и не выдавать генерацию за документальный кадр. Юридические условия конкретного сервиса следует проверять в момент использования.
Что осталось от наследия DALL·E 2
DALL·E 2 помогла сделать генерацию изображений массовым инструментом и наглядно показала две стороны технологии: гибкое визуальное прототипирование и риск убедительных ошибок. Её полезно изучать именно в этом историческом контексте.
Источники: страница DALL·E 2 и исследование мер до обучения OpenAI.
Два пространства представления. Техническая работа DALL·E 2 описывала связку моделей. CLIP помогал представить текст и изображение в общем семантическом пространстве, prior строил представление изображения по тексту, а diffusion decoder превращал его в пиксели. Это упрощённая схема: внутри каждого этапа находились обученные нейросети и вероятностное сэмплирование.
Практическое следствие состоит в том, что один и тот же запрос не задаёт единственную картинку. Модель выбирает один из многих визуально правдоподобных вариантов, поэтому повторный запуск меняет композицию и детали.
Редактирование не было обычным фотомонтажом. При inpainting пользователь отмечал область и описывал замену. Модель учитывала тени, отражения и окружение, чтобы новый объект выглядел частью сцены. Outpainting расширял изображение за исходные границы. Эти возможности ускоряли эскизы, раскадровки и поиск композиции.
Но генератор не хранил трёхмерную модель сцены. Он мог нарисовать убедительную тень, не согласующуюся с источником света, или повторить объект. Для научной иллюстрации каждый элемент требовал проверки специалистом.
Данные, смещения и невидимая цена фильтрации. Обучение на сотнях миллионов подписанных изображений позволяло охватывать множество стилей и объектов, но переносило в модель частоты и стереотипы исходного массива. Если определённые профессии чаще были показаны людьми одного пола или происхождения, генерация могла повторять этот перекос.
Фильтрация откровенного и жестокого контента снижала один риск, но меняла распределение данных. OpenAI описывала повторное взвешивание, чтобы уменьшить возникшее усиление предвзятости. Это хороший пример того, почему безопасность модели нельзя решить одним фильтром.
Почему старые инструкции быстро устаревают
Старая дублирующая страница рассказывала о несуществующей настольной программе «Dale 2», установке на компьютер, макросах и работе с файлами. Эти функции не относились к DALL·E 2 и не содержат полезного материала для переноса. Для актуального использования нужно открывать текущую документацию продукта, а историческую статью сохранять как объяснение технологии и её ограничений.
