Нейросеть DALL- E 2 – это передовая технология, разработанная OpenAI, которая взяла мир генерации изображений штурмом. Это замечательный прорыв в области искусственного интеллекта, позволяющий пользователям генерировать высококачественные изображения с беспрецедентным уровнем детализации и сложности.
DALL- E 2 построен на основе GPT-3, одной из самых передовых языковых моделей в мире, и был обучен на огромном наборе данных изображений, что позволяет ему генерировать действительно потрясающе реалистичные и разнообразные изображения. В этой статье рассмотрена базовая технология и то, как использовать ее для создания потрясающих изображений.
Что такое нейросеть DALL- E 2 ?
Это генеративная модель глубокого обучения, которая принимает текстовую подсказку и генерирует новое изображение, которое визуально изображает текст. Он был представлен в январе 2021 года OpenAI.
Нейросеть DALL-E является диффузионной моделью и использует процесс диффузии для слияния нескольких визуальных концепций вместе для создания новых изображений, которые не были замечены ранее, например:
DALL- E 2 является 2-м поколением диффузионной модели OpenAI апреля 2022 года выпуска. Он строится поверх предыдущей модели Dall – E.
Разработчикам из OpenAI удалось увеличить производительность модели, поскольку она создает более реалистичные изображения на 1024×1024 пикселей, то есть в 4 раза больше предыдущего разрешения. Количество параметров, используемых в модели, также было сокращено с 12 миллиардов в Dall-E до 3,5 миллиардов в Dall-E 2.
Как использовать DALL – E 2 ?
В сентябре 2022 года OpenAI открыл доступ к DALL – E 2, и для получения доступа необходимо просто зарегистрироваться. Пользовательский интерфейс веб-сайта очень прост и очень интуитивно понятен, с текстовым полем для вашей подсказки и кнопкой «Создать».
После того, как вы введете интересующую вас текстовую фразу или слово и нажмете кнопку «Сгенерировать», будут сгенерированы четыре изображения с различными визуальными вариациями. Качество изображения, создаваемого генератором изображений DALL – E 2, напрямую зависит от того, насколько хорошо вы его задаете. Для того чтобы получить то, что вы хотите, следует быть как можно более подробными в своих текстовых подсказках. Это дает модели больше информации для работы. Хорошо детализированная подсказка необходима, если мы хотим объединить несколько визуальных концепций вместе.
Как только вы получите сгенерированное произведение искусства, предположим, что вы хотите отредактировать некоторые части изображения, не изменяя общую визуальную композицию и дизайн. Это можно сделать с помощью функции окрашивания, добавленной в DALL – E 2. Для редактирования необходимо замаскировать область изображения, которую вы хотите изменить, и дать ей запрос на создание заменяющего изображения, которое будет помещено в это место. Все предыдущие правила создания подсказки по-прежнему применяются.
Out painting – это еще одна функция, добавленная позже в инструмент редактирования изображений OpenAI. Концептуально это похоже на inpainting, где вы указываете область и создаете новое изображение, чтобы объединить его с существующим изображением. Но он работает вне существующего изображения вместо редактирования части внутри изображения.
Создание вариантов изображений
Также могут быть сгенерированы несколько вариантов существующих изображений. Процесс генерации вариации еще проще, чем использование inpainting. Нужно просто загрузить изображение и нажать «Создать варианты».
Для того чтобы понять, как работает DALLE-2, необходимо посмотреть на его архитектуру и понять, какие концепции делают работу DALL – E реальной. Архитектура состоит из 3 различных моделей, работающих вместе для достижения желаемого результата, а именно:
- Клип
- Предыдущая нейронная сеть
- Нейронная сеть декодера
CLIP – это модель, которая принимает пары изображение-подпись и создает встраивание текста / изображения.
Предыдущая модель принимает заголовок или встраивание текста CLIP и создает встраивание изображений CLIP.
В-третьих, модель диффузии декодера (unCLIP) принимает встраивание изображения CLIP и генерирует изображения.
Декодер называется unCLIP, потому что он выполняет процесс, противоположный исходной модели CLIP. Вместо того, чтобы создавать встраивание из изображения, он создает исходное изображение из встраивания.
Встраивание клипа кодирует семантические особенности изображения, такие как люди, животные, объекты, стиль, цвета и фон, что позволяет DALL-E 2 генерировать новое изображение, которое сохраняет эти характеристики, изменяя несущественные функции.
API
Помимо веб-сайта, OpenAI также анонсировала API, который можно использовать для взаимодействия с моделью Dall – E 2.
API предоставляет три метода:
- Создание изображение с текстовым запросом.
- Создание изменений в существующем изображении на основе нового текстового запроса.
- Создание вариантов существующего изображения.
OpenAI также предоставляет библиотеку Python, которая упрощает интеграцию возможностей модели Dall – E 2 в ваше собственное приложение.
