Публикации
Исследование возможностей графических нейросетей для генерации изображений
Всероссийский сборник статей и публикаций института развития образования, повышения квалификации и переподготовки.
Скачать публикацию
Язык издания: русский
Периодичность: ежедневно
Вид издания: сборник
Версия издания: электронное сетевое
Публикация: Исследование возможностей графических нейросетей для генерации изображений
Автор: Балыхин Даниэль Владмирович
Периодичность: ежедневно
Вид издания: сборник
Версия издания: электронное сетевое
Публикация: Исследование возможностей графических нейросетей для генерации изображений
Автор: Балыхин Даниэль Владмирович
Министерство образования Красноярского краяКраевое государственное бюджетное профессиональное образовательное учреждение «Шушенский Сельскохозяйственный Колледж»НАУЧНО-ИССЛЕДОВАТЕЛЬСКАЯ РАБОТАТема: «Исследование возможностей графических нейросетей для генерации изображений»Направление «Информационные технологии»Автор: Балыхин Даниэль ВладимировичРуководитель:Вейс Светлана Николаевна2024АННОТАЦИЯДанная исследовательская работа раскрывает тему возможностей искусственного интеллекта в области компьютерного зрения и генерации картинок, при котором нейросети создают фотореалистичные изображения с высокой степенью детализации. В свете постоянного спроса общества на новые и качественные визуальные материалы, данное исследование направлено на изучение потенциала графических нейросетей в создании уникальных и привлекательных изображений. Развитие и применение графических нейросетей имеют неоценимое значение для удовлетворения потребностей в инновационных и креативных визуальных материалах, способных вдохновлять и оставлять глубокий след в мире визуального искусства. В данном исследовании рассматриваются технологии машинного обучения и алгоритмы глубокого обучения, используемые для создания реалистичных фотографий, абстрактных работ и других видов изображений. Результаты исследования могут способствовать развитию новых методов генерации изображений с использованием графических нейросетей и обеспечить новые возможности в области визуального искусства и дизайна.СОДЕРЖАНИЕВВЕДЕНИЕ1. ОСНОВНЫЕ ПОНЯТИЯ В СФЕРЕ ГРАФИЧЕСКИХ НЕЙРОСЕТЕЙ1.1 История нейросетей.1.2 Сравнение графических нейросетей и традиционного способа создания изображений.1.3 Методы и алгоритмы генерации изображений с использованием графических нейросетей.2 ИССЛЕДОВАНИЕ И СРАВНИТЕЛЬНЫЙ АНАЛИЗ РАЗЛИЧНЫХ МОДЕЛЕЙ ГРАФИЧЕСКИХ НЕЙРОСЕТЕЙ2.1 Модель CounterfeitXL2.2 Модель Flatter2.3 Модель astra2.4 Модель darksushi3. АНАЛИЗ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ3.1 Примеры работ графических нейросетей, проблемы, пути решения.3.2 Применений графических нейросетей для различных сферЗАКЛЮЧЕНИЕСПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫПРИЛОЖЕНИЯВВЕДЕНИЕ Большими шагами продвигается развитие графических нейросетей, и в современном мире их актуальность крайне высока. Мы все в постоянном поиске новых и качественных визуальных материалов. Ведь именно благодаря художественным и привлекательным изображениям, мы находим вдохновение, развлечение и иногда даже учимся.Общество стремится к продвижению и инновациям и графические нейросети становятся настоящим революционным инструментом в этой сфере. Они способны создавать уникальные и визуально привлекательные изображения, которые вызывают интерес и эмоции. Благодаря прогрессу в области машинного обучения и алгоритмам глубокого обучения, графические нейросети могут удовлетворять наши потребности в новых, оригинальных и качественных визуальных материалах.Нейросети для создания изображений обладают огромным потенциалом и множеством областей применения. Они могут использоваться для разработки уникальных и творческих дизайнов, создания графики для видеоигр, а также для генерации изображений в медицинских и научных исследованиях. Нейронные сети позволяют создавать новые формы искусства и медиа контента, которые ранее были невозможны. С учетом данных преимуществ, нейросети для генерации изображений имеют огромные перспективы развития и могут принести значительные выгоды в различных областях. Таким образом, актуальность темы исследования в создании изображений при помощи ИИ заключается в постоянной потребности в обществе в новых и качественных визуальных материалах, которые будут олицетворять инновации, креативность и высокий уровень исполнения. Это означает, что развитие и применение графических нейросетей имеют неоценимое значение для удовлетворения наших потребностей и обеспечения нас новыми и захватывающими изображениями, которые оставят глубокий след в мире визуального искусства. Цель работы: создание коллекции эстетически привлекательных изображений, разработанных с использованием графических нейросетей, демонстрация их потенциала и возможностей в области создания изображений. Задачи:Изучить существующие методы и алгоритмы генерации изображений с использованием графических нейросетей. Провести исследование и сравнительный анализ различных моделей графических нейросетей на основе их способности генерировать высококачественные и реалистичные изображения. Создать наглядный альбом, включающий различные результаты работы с графическими нейросетями, в том числе оригинальные изображения. Подготовить документацию, описывающую методы, алгоритмы и результаты исследования. 5. Провести презентацию проекта и альбома с результатами перед аудиторией.Объект исследования: графические нейросети.Предмет исследования: 1. Что такое графическая нейросеть и как она отличается от других типов нейросетей?2. Каким образом графическая нейросеть может быть применена в различных областях?3. Какие типы графических нейросетей существуют и как они функционируют?5. Какие проблемы могут возникнуть при использовании графических нейросетей и как их можно преодолеть?Гипотеза: я предполагаю, что использование графических нейросетей для генерации изображений может привести к существенному улучшению процесса создания компьютерной графики и визуальных эффектов в различных областях, включая анимацию, игровую индустрию, дизайн и рекламу.Основными источниками получения информации: научные статьи и публикации в журналах, содержащие результаты исследований в области нейросетей; отчеты и документы, представленные на конференциях и симпозиумах, посвященных графическим нейросетям. Методы исследования: Анализ литературы, исследование существующих моделей графических нейросетей, сбор и подготовка данных, практическая работа.Практическая значимость: практическая значимость исследования возможностей графических нейросетей для генерации изображений является важным аспектом проекта раскрывающая широкий потенциал практического применения в различных областях и может значительно упростить и усовершенствовать процессы создания и использования визуального контента для любого пользователя, даже не владеющего искусством рисования.Нейросети для создания изображений обладают огромным потенциалом и множеством областей применения. Они могут использоваться для разработки уникальных и творческих дизайнов, создания графики для видеоигр, а также для генерации изображений в медицинских и научных исследованиях.Нейронные сети позволяют создавать новые формы искусства и медиаконтента, которые ранее были невозможны. С учетом данных преимуществ, нейросети для генерации изображений имеют огромные перспективы развития и могут принести значительные выгоды в различных областях.1. ОСНОВНЫЕ ПОНЯТИЯ В СФЕРЕ ГРАФИЧЕСКИХ НЕЙРОСЕТЕЙНейросеть — математическая модель, работающая по принципам нервной системы живых организмов. Ее основное назначение — решать интеллектуальные задачи. То есть те, в которых нет изначально заданного алгоритма действий и спрогнозированного результата.Главной особенностью нейросетей является способность к обучению. Они могут обучаться как под управлением человека, так и самостоятельно, применяя полученный ранее опыт.Графическая нейронная сеть - это современный метод машинного обучения, который используется для выполнения различных операций с графическими данными. Уже существуют традиционные нейронные сети для анализа и выполнения операций, но они ограничены только текстовыми данными. Когда нам нужно работать с графическими данными, мы используем графическую нейронную сеть. Графические нейронные сети позволяют исследовать эти связи новыми способами, потому что графики представляют собой надежные структуры данных, которые хранят взаимосвязи между элементами. GNN можно использовать, например, для определения, какие пользователи с наибольшей вероятностью одобрят что-либо на сайтах социальных сетей.Графические нейросетей – это, чаще всего, онлайн-сервисы, позволяющие создавать и обрабатывать изображения. Работают на основе алгоритмов машинного обучения. С их помощью можно генерировать простые рисунки и настоящие произведения искусства.Основные понятия:Модель – определяет в каком стиле будет ваша генерация.LoRA (от английского «Low-Rank Adaptation») – это дополнительные компоненты (или библиотеки) для нейросети. Которые позволяют обучать искусственный интеллект процессу создания тех объектов, которые он еще не умеет создавать. Стиль – это настроенные LoRA, которые позволяют легко кастомизировать генерацию.Промпт (от англ. prompt – «побуждать») для нейросетей — это текстовые инструкции или вопросы, которые пользователь задает нейросети, чтобы получить изображение, текст или код.Формат – соотношение сторон вашего генерируемого изображения.Img2img - вариант генерации картинок, при котором часть нейросети создавать фотореалистичные изображения с высокой степенью детализации.основывается на уже существующей картинке, дополняя информацию из текстового описания и немного рандома. Шаги – это количество проходов нейросетью для достижения результата.Сила - это параметр, который используется только для img2img чтобы сделать изображение ближе или дальше от оригинала.CFG Scale - это параметр, который делает изображение "более целостным" или "ближе к входным промптам или изображению".HyperScale – технология для многократного улучшения и детализации изображения созданного нейросетью.История нейросетей 2022: Нейросеть научилась рисовать совместно с художником.Облачная платформа Yandex Cloud, студия Arka и мультимедиа-художник Andrey Berger представили нейросеть-соавтора. Об этом Яндекс сообщил 8 декабря 2022 года.2021: Nvidia представила ИИ-систему GauGAN для преобразования текста в изображение. 24 ноября 2021 года стало известно, что Компания Nvidia представила систему на базе технологий искусственного интеллекта GauGAN2 (преемник первой модели GauGAN), позволяющую создавать правдоподобные фотографии несуществующих пейзажей. С помощью таких техник, как сегментированное картирование, ретушь и преобразование текста в изображение, GauGAN2 способна создавать реалистичные изображения на основе текста и набросков от руки.2020: Microsoft и MIT создали ИИ-алгоритм для поиска взаимосвязей между предметами искусства 18 августа 2020 года стало известно о том, что исследователи из Microsoft и Массачусетского технологического института (MIT) разработали систему MosAIc для поиска взаимосвязей между предметами искусства из различных культур и эпох. 2019: Microsoft представила генератор изображений на основе произведений искусства. В начале марта 2019 года Microsoft анонсировала проект по генерации изображений на основе произведений искусства. Для создания этого сервиса разработчики использовали микросервисную архитектуру глубоких нейросетей, службы Azure и хранилище BLOB-объектов. Visual Studio Code и Azure Kubernetes Service позволяют создавать новые изображения в режиме реального времени и отвечают за интерактивный внешний вид сайта.2018: Написанный искусственным интеллектом портрет продан за $433 тыс.В октябре 2018 года на аукционе в Нью-Йорке продали картину, написанную искусственным интеллектом. За «Портрет Эдмонда Белами» из серии «Семья Белами», который создан на основе полотен известных живописцев, заплатили 432 тысяч $ при первоначальной цене лота в 7–10 тысяч $.2016: Представители Google выручили с психоделических картин, написанных ИИ, порядка $98 тыс. 26 февраля 2016 года в Сан-Франциско на специальном аукционе представители Google выручили с психоделических картин, написанных искусственным интеллектом, порядка 98 тысяч $. Данные средства были пожертвованы на благотворительность. В начале 2016 года с помощью подобной технологии была написана картина «Следующий Рембрандт». Исследователи проекта Next Rembrandt в ходе своей работы проанализировали порядка 350 картин великого художника, используя 3D-сканеры, которые позволили нейронной сети уловить даже мельчайшие детали работ и копировать стиль написания всех произведений.1.2 Сравнение графических нейросетей и традиционных способов генерации изображенийИзображения играют важную роль в современном обществе, и создание высококачественных изображений является предметом постоянного интереса для исследователей и инженеров. Традиционные способы создания изображений, такие как рисование и фотография, имеют свои ограничения в точности, скорости и стоимости. В последние десятилетия графические нейросети стали популярным инструментом для создания и обработки изображений.Графические нейросети представляют собой компьютерные системы, которые используют алгоритмы машинного обучения для анализа и обработки изображений. Они обучаются на больших наборах данных, чтобы автоматически извлекать признаки из изображений и создавать новые изображения на основе обученных моделей. Это позволяет графическим нейросетям создавать изображения с высокой точностью и скоростью, превосходя традиционные методы.Традиционные способы создания изображений, такие как рисование или фотография, требуют много времени и усилий, чтобы достичь высокой степени реализма. Техники компьютерной графики, такие как растровая и векторная графика, предоставляют более эффективные способы создания изображений, но они все еще ограничены своими математическими моделями и алгоритмами.Графические нейросети преодолевают эти ограничения, используя сложные модели глубокого обучения, которые могут автоматически изучать и анализировать изображения. Они способны создавать фотореалистичные изображения, имитирующие стиль и содержание обучающих данных. Кроме того, графические нейросети могут автоматически улучшать качество изображений, удалять шумы и артефакты, а также выполнять другие операции обработки изображений.Тем не менее, графические нейросети имеют свои недостатки, такие как требования к вычислительным ресурсам и сложность в обучении. Традиционные методы создания изображений все еще остаются важными в определенных областях, таких как искусство и дизайн, где человеческое творчество и интуиция играют ключевую роль.Таким образом, графические нейросети представляют собой мощный инструмент для создания и обработки изображений, превосходя традиционные методы в точности и скорости. Однако они требуют дополнительных усилий в обучении и вычислительных ресурсах, и не полностью заменяют традиционные методы в определенных областях.Таблица 1.Таблица 1. Сравнительная таблица преимуществ и недостатков графических нейросетей и традиционных способов создания изображений.1.3 Методы и алгоритмы генерации изображений с использованием графических нейросетей.Благодаря развитию глубокого обучения и искусственного интеллекта, нейросети стали мощным инструментом, позволяющим генерировать новые оригинальные изображения. Генерация изображений с помощью нейронных сетей — это новый и быстро развивающийся способ создания изображений. Нейросети могут создавать изображения, которые не только соответствуют определенным требованиям, но и являются неповторимыми. Это связано с тем, что нейросети обучаются на больших наборах данных изображений, которые позволяют им распознавать закономерности в изображениях.Нейронные сети могут быть использованы для генерации изображений из текстовых описаний или существующих изображений:1.Генерация изображений на основе текстового описания – в этом случае нейронная сеть получает на вход текстовое описание изображения, которое она затем пытается воспроизвести.2.Генерация изображений на основе существующих изображений – в этом случае нейронная сеть получает на вход существующее изображение, которое она затем пытается изменить или дополнить.Для начала ознакомимся с генерацией изображений на основе текстового описания. В этом случае нейронная сеть получает на вход текстовое описание изображения, которое она затем пытается воспроизвести. Например, если пользователь вводит описание "белая собака с пушистым хвостом", нейронная сеть может попытаться сгенерировать изображение по данному описанию. Чтобы сделать это, нейронная сеть сначала анализирует текстовое описание и определяет основныехарактеристики изображения, такие как цвет, форма и расположение объектов. Затем она использует эти характеристики для создания нового изображения.Наиболее знаменитый подход к генерации изображений при помощи текстового описания является метод, который основан на применении генеративных состязательных сетей (GAN). GAN отделяется на две нейронной сети: генератор и дискриминатор. Генератор получает изложение изображения при помощи текста и стремится его воспроизвести. Дискриминатор же изображение, определяя действительное ли оно. Обе нейросети обучаются одновременно, и генератор стремится формировать иллюстрации, у которых будет трудно вычислить на подлинность. Данная операция будет проводиться столько, сколько понадобится генератору на создание качественных изображений, которые будет сложно отличить от действительных.Генерация изображений на основе текстового описания является сложной задачей, поскольку нейронная сеть должна быть способна понять и интерпретировать естественный язык. Однако, современные нейронные сети способны генерировать изображения, которые часто неотличимы от реальных. Так, используя несколько нейросетей, таких как Сatalog.ngc.nvidia и Dezgo, по запросу «черный кот с гетерохромией в горах» мы получили изображения, представленные на рисунке 1.Рисунок 1 – Пример генерация изображений на основе текстового описанияРассмотрим тип генерации изображений на основе существующих изображений.В этом случае нейронная сеть получает на вход существующее изображение, которое она затем пытается изменить или дополнить. Например, нейронная сеть может добавить на изображение новый объект или изменить его цвет.Чтобы сделать это, нейронная сеть сначала анализирует исходное изображение и определяет его основные характеристики. Затем она использует эти характеристики для создания нового изображения.Наиболее известным подходом к генерации изображений на основе уже существующих является подход, основанный на использовании циклических генеративных состязательных сетей (CycleGAN).CycleGAN разделяется на две нейронные сети: генератор и дискриминатор. Генератор получает изображение одного типа и стремится преобразовать в изображение другого типа. Дискриминатор получает изображение одного типа, которое он пытается определить, реальное ли оно.Генерация изображений на основе существующих изображений является более простой задачей, чем генерация изображений на основе текстового описания, поскольку нейронная сеть не должна понимать естественный язык.Так, используя нейросеть Imagine.art, на основе изображений, сгенерированных нейросетями, в последнем примере сгенерировали абсолютно новые изображения, поменяв им стиль (рис.2). Рисунок 2 – Пример генерация изображений на основе существующих изображений.С использованием нейронных сетей я создал изображения в разных стилях. Были использованы методы GAN и CycleGAN, которые позволяют генерировать изображения на основе текста или существующих изображений. Нейронные сети для генерации изображений - это мощный инструмент, который может создавать и изменять изображения на основе имеющихся данных. С развитием искусственного интеллекта и глубокого обучения, нейронные сети для генерации изображений будут продолжать прогрессировать и изменять все области, связанные со созданием и восприятием изображений.2 ИССЛЕДОВАНИЕ И СРАВНИТЕЛЬНЫЙ АНАЛИЗ РАЗЛИЧНЫХ МОДЕЛЕЙ ГРАФИЧЕСКИХ НЕЙРОСЕТЕЙНейронные сети - это математические модели, которые имитируют работу биологических нервных сетей. Они состоят из множества элементов, называемых искусственными нейронами, которые обрабатывают информацию и передают ее друг другу по связям. Нейронные сети способны обучаться на данных и решать различные задачи, такие как распознавание образов, прогнозирование, управление и т.д.Существует много видов нейронных сетей, которые отличаются по архитектуре, функции активации, алгоритму обучения и области применения. 2.1 Модель CounterfeitXLМодель CounterfeitXL для графической нейросети – это передовая и масштабируемая модель, которая была обучена на огромном и разнообразном датасете генерации с использованием методов подделки изображений. Она разработана специально для работы с контентом, который не соответствует оригиналу или является подделкой.Модель CounterfeitXL имеет уникальные возможности в области обнаружения и борьбы с контрафактными изображениями. Она обучается распознавать и идентифицировать подделки, позволяя пользователям справляться с проблемой фальсификации и сохранять целостность своего контента.Применение модели CounterfeitXL позволяет обнаружить и изолировать контрафактные изображения в графических нейросетях. Она способна выявлять такие ошибки, как несоответствие цветовой палитры, артефакты сжатия, неправильные перспективы и другие признаки, которые могут свидетельствовать об искажении или фальсификации контента.Модель CounterfeitXL позволяет пользователю проверить истинность и подлинность изображений, а также защитить свои графические нейросети от нежелательных изменений или введения контрафактного контента. Она помогает сохранить интегритет и достоверность графического материала, что является важной особенностью для различных сфер деятельности, включая медиа, рекламу и дизайн.В результате модель CounterfeitXL для графической нейросети является мощным инструментом, обеспечивающим защиту и подлинность в графическом контенте. Она помогает предотвратить несанкционированное изменение, фальсификацию или введение поддельного контента, исключая потребность в использовании больших и простых обучающих наборов данных. (приложение 1)2.2 Модель FlatterМодель Flatter – это нейросетевая модель, специализирующаяся на создании изображений в классической 2D стилистике. Она отличается особыми навыками в создании лайнартов и выдаче высококачественных черт лица и глаз.Одним из основных достоинств модели FLATTER является ее способность создавать особые лайнарты. Лайнарты – это четкий, контурный рисунок без цветовой заливки, который является важным этапом в создании иллюстраций и комиксов. Модель Flatter обладает высокой точностью и детализацией в создании лайнартов, что делает ее идеальным инструментом для художников и иллюстраторов.Модель также проявляет высокую экспертизу в генерации черт лица и глаз. Черты лица, такие как форма, пропорции, асимметрия и выразительность, играют важную роль в создании реалистичного портрета или персонажа. Flatter поддерживает высокий уровень детализации и точности в создании этих черт, что позволяет ей создавать выразительные и живые изображения.Модель Flatter может быть полезна для различных приложений, связанных с иллюстрацией, комиксами, аниме и игровой индустрией. Она позволяет быстро и эффективно создавать черновые наброски, разработать основу для окончательных иллюстраций или создавать уникальные и оригинальные персонажи.Flatter обладает хорошей производительностью и быстрым временем генерации изображений. Она может быть успешно использована в процессе обучения на большом объеме данных и легко интегрируется в существующие системы и платформы.В целом, модель Flatter представляет собой мощный инструмент для создания иллюстраций в классической 2D стилистике, сфокусированный на создании лайнартов и выдаче качественных черт лица и глаз. (приложение 2)2.3 Модель astraМодель astra – это нейросетевая модель, разработанная для создания реалистичных изображений с использованием техники 2.5 D. Она отличается высокой силой и способностью создавать детализированные и качественные фоны, элементы и портреты людей.Одним из главных преимуществ модели является ее гибкость. Она способна создавать изображения как в стиле аниме, так и в стиле реализма, что делает ее очень универсальной и подходящей для разных типов и стилей рисунка.Astra обладает большой эффективностью и точностью в создании изображений. Она способна улавливать и передавать мелкие детали, создавая реалистичные текстуры и освещение. Это позволяет ей создавать впечатляющие и убедительные визуальные эффекты.Модель также может быть использована для создания сложных сцен и композиций. Она способна обрабатывать большое количество объектов на сцене, создавая гармоничное и сбалансированное визуальное восприятие. Это особенно полезно при создании архитектурных моделей, пейзажей или сцен, в которых присутствуют многочисленные персонажи.Модель astra демонстрирует высокую производительность, быструю скорость генерации изображений и способность к обучению на большом объеме данных. Она может быть успешно применена в области компьютерной графики, игровой индустрии, разработке virtual reality (VR) и augmented reality (AR) приложений, а также в других сферах, где требуются фотореалистичные изображения. (приложение 3)2.4 Модель darksushiМодель darksushi представляет собой глубокую нейронную сеть, специально разработанную для создания артов в тёмных тонах. Эта модель отличается от других своей способностью создавать детальные тени и особую стилистику, которая придает работам некоторую мистическую и погружающую атмосферу.Одной из главных особенностей модели darksushi является ее огромный спектр возможностей. Она способна детально передавать тени и освещение на изображениях, создавая реалистичный эффект. Благодаря этому, арты, созданные с помощью этой модели, выглядят глубокими и пленительными.В модель darksushi также встроен богатый набор поведенческих алгоритмов. Он позволяет нейросети адаптироваться к различным входным данным и гибко регулировать стиль и тон отображаемых теней. Благодаря этому, каждая работа, созданная этой моделью, имеет свою уникальную стилистику и атмосферу.Объем модели darksushi позволяет работать с высоким разрешением изображений без значительной потери деталей и качества. Она способна обрабатывать большие объемы данных и создавать потрясающие арты с высоким качеством графики.В целом, модель darksushi является мощным инструментом для создания артов в тёмных тонах с тонкими деталями и уникальной стилистикой. Она предоставляет художникам широкий спектр возможностей и позволяет воплотить в жизнь самые смелые идеи. (приложение 4)3. АНАЛИЗ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВВсе больше людей говорит о замене человеческого труда искусственным интеллектом (AI – Artificial Intelligence) и о всеобъемлющей оптимизации процессов, и как результат создается ложное представление о роли моделей ИИ в нашей жизни (часто негативное). Однако, машинное обучение и нейронные сети могут быть отдельным инструментом, который помогает человеку, а не замещает его. Эта концепция IA (Intelligence Amplification) предполагает, что технологии помогают нам по-новому посмотреть на привычные рутинные задачи, найти новые креативные подходы и генерировать идеи.Наиболее ярко этот подход отражается в работе с графикой. Нейронные сети упрощают сложные задачи, в которых специалистам приходится работать с 2D и 3D-данными, и уже сейчас можно за считанные минуты создавать совершенно новые концепты, изменять лицо человека на фотографии и переносить предмет напрямую в 3D-движок по фотографии.3.1 Примеры работ графических нейросетей, проблемы, пути решения.Использование крайне большого промпта при создании изображений через нейросеть может иметь несколько возможных последствий. Во-первых, большой промпт может способствовать генерации более детализированных и сложных изображений, так как модель будет иметь больше информации для обработки и интерпретации. Однако, использование крайне большого промпта также может привести к увеличению времени обучения и генерации изображений, поскольку модели потребуется больше вычислительных ресурсов для обработки большого объема данных.Более того, использование крайне большого промпта может повлиять на разнообразие и оригинальность сгенерированных изображений. Возможно, что модель начнет повторять или переиспользовать элементы из промпта, что может привести к уменьшению уникальности сгенерированных изображений.Таким образом, использование крайне большого промпта при создании изображений через нейросеть может привести как к улучшению детализации и сложности изображений, так и к увеличению времени обработки и возможному снижению оригинальности результатов. (приложение 5)Использование четкого описания изображения в качестве промпта для генерации с помощью нейросети может значительно повысить качество результирующего изображения. Например, если описание содержит информацию о форме, цвете, текстуре и других важных аспектах изображения, то нейросеть будет иметь более ясное представление о желаемом результате.Четкое описание изображения также может помочь нейросети более точно интерпретировать задачу и избежать «размытости» или дефекты в результате. Это может быть особенно важно при генерации изображений с высокой степенью детализации, например, при создании фотореалистичных портретов или пейзажей.Короткий промпт с четким описанием изображения также может упростить управление процессом генерации. Пользователь может лучше контролировать конечный результат, указывая на ключевые аспекты изображения, которые необходимо учесть в процессе генерации.Возможность использования четкого описания изображения для генерации изображений также может быть полезной в контексте визуального поиска или анализа изображений. Такие описания могут служить в качестве удобной формы запроса для получения изображений по заданным критериям.Однако стоит отметить, что нейросети все еще имеют свои ограничения и недостатки, и использование четкого описания изображения не исключает возможность появления артефактов, несоответствий или других проблем в результатах генерации.Таким образом, использование нейросети для генерации изображения по короткому промпту с четким описанием изображения может предоставить ценные преимущества в виде улучшения качества, точности интерпретации, возможности управления и улучшения визуального поиска, при этом оставаясь подверженным определенным ограничениям и недостаткам. (приложение 6)Функция скрытого текста в определенном участке арта при создании графической нейросетью изображения представляет собой метод, который позволяет внедрять информацию в изображение таким образом, чтобы она была незаметной.Для реализации данной функции используются методы изменения значений пикселей на изображении или внедрения информации в некоторые структурные элементы изображения, такие как частота цвета, яркость и тень.Применение функции скрытого текста в определенном участке арта при создании графической нейросетью изображения может иметь различные цели, включая скрытую передачу информации или защиту авторских прав.Кроме того, данная функция имеет важное значение с точки развития методов обработки изображений и компьютерного зрения. Возможность обучения нейронных сетей на изображениях с внедренным скрытым текстом представляет собой важный этап в разработке методов распознавания и извлечения скрытой информации, что может быть применено в области анализа изображений, медицинской диагностики, автоматизированной обработки документов и других областях.Таким образом функции скрытого текста в определенном участке арта при генерации графической нейросетью представляет собой важный этап в развитии методов шифрования, компьютерного зрения и содержит потенциал для дальнейшего расширения научных знаний и технологических возможностей в данной области. (приложение 7)При использовании различных значений параметра CFG Scale при генерации изображения через графические нейросети не наблюдается существенного изменения в выходном изображении. Параметр CFG Scale, по сути, не оказывает значительного влияния на процесс генерации изображения, а результаты остаются практически неизменными в зависимости от его значения.Независимо от того, увеличивается или уменьшается значение CFG Scale, выходное изображение сохраняет примерно ту же степень детализации и верности воспроизведения входных промптов или изображений. Таким образом, в данном контексте параметр CFG Scale можно рассматривать как незначительный или даже пренебрежимый фактор, поскольку он не вносит существенных изменений в результат работы графических нейросетей.Это означает, что при использовании параметра CFG Scale для генерации изображений через графические нейросети можно ожидать, что результат будет достаточно стабильным и не сильно зависящим от его значения. (приложение 8)Технология img2img основывается на использовании глубоких нейронных сетей для генерации изображений. Для получения изображения сгенерированного нейросетью с использованием технологии img2img, необходимо подать на вход нейросети исходное изображение или текстовое описание. Нейросеть затем использует свои алгоритмы и данные для генерации нового изображения, дополняя информацию из текстового описания и добавляя случайные факторы. Результатом является фотореалистичное изображение с высокой степенью детализации, которое может быть использовано в различных областях, таких как компьютерное зрение, графический дизайн, медицинская диагностика и другие.Технологию img2img можно применить в различных областях и использовать с помощью различных инструментов машинного обучения. Некоторые платформы и фреймворки глубокого обучения, такие как TensorFlow, PyTorch, и другие, предоставляют доступ к нейросетям, способным генерировать изображения с использованием технологии img2img. Также существуют специализированные приложения и онлайн-сервисы, которые предоставляют возможность экспериментировать с этой технологией. (приложение 9)Изображение, сгенерированное нейросетью с использованием параметра «Сила», будет отличаться от оригинала в зависимости от значения этого параметра. Если значение «Силы» будет сбалансированное, то изображение будет ближе к оригиналу, сохраняя его основные характеристики, но возможно с некоторыми изменениями в деталях. Если значение «Силы» не сбалансированное, то изображение будет дальше от оригинала, возможно с более существенными изменениями и искажениями.Например, при сбалансированном значение «Силы» нейросеть может усилить контраст, увеличить яркость или насыщенность цветов, что приведет к более выразительному изображению. В то время как не сбалансированное значения «Силы» может привести к размытию деталей или изменению текстуры изображения.Таким образом, параметр «Сила» позволяет контролировать степень изменений, вносимых нейросетью в изображение, и регулировать баланс между сохранением основных характеристик оригинала и созданием новых визуальных эффектов. (приложение 10)Генерация изображений через мало обученные графические нейросети – это процесс создания новых изображений с использованием нейронных сетей, которые имеют ограниченные знания из-за небольшого объема обучающих данных.Для генерации изображений с помощью мало обученных графических нейросетей можно применять методы, такие как генеративно-состязательные сети (GAN) или вариационные автокодировщики (VAE). Эти модели могут быть обучены на небольшом объеме данных и использоваться для создания новых изображений.Мало обученные графические нейросети могут столкнуться с ограничениями в разнообразии и качестве генерируемых изображений из-за ограниченного опыта, полученного в процессе обучения. Это может привести к появлению артефактов, искажений или недостаточной детализации в сгенерированных изображениях. (приложение 11)Одна из первых функций, с которыми стали успешно справляться нейросети, — реставрация старых фотографий. Теперь процесс колоризации и восстановления занимает всего несколько минут, а иногда и секунд. Восстановление старых фотографий можно назвать одним из самых кропотливых процессов в редактировании. Некоторые снимки приходится восстанавливать буквально по пикселям, что занимает несколько часов. С помощью фоторедактора Movavi реставрация фотографий занимает не более пяти минут. Нейросеть сама восстанавливает изображение, от пользователя требуется лишь загрузить отсканированный снимок в программу и пару раз кликнуть мышкой.Аналогичные возможности предлагают и другие фоторедакторы. Но только Movavi использует для реставрации изображений нейросеть. Машинный алгоритм обучали с помощью десятков тысяч старых фото. Приложение постоянно совершенствуется, ведь в процессе эксплуатации обучение продолжается. Фоторедактор убирает даже крупные заломы и трещины, не говоря уже о мелких потертостях и дефектах. При желании можно доработать снимок: раскрасить черно-белую фотографию, убрать шум и зернистость. С помощью сервисов фоторедактора можно отрегулировать баланс белого, сделать автоматическую тоновую и цветокоррекцию.Фоторедактор Movavi содержит в себе набор инструментов для полноценной работы над фотографиями. С его помощью можно отреставрировать старые снимки и улучшить их качество. Использование нейросети позволяет сделать процесс максимально простым и удобным, комфортным даже для новичка. Программа имеет англоязычный и русскоязычный интерфейс, который снабжен подсказками, что помогает быстро разобраться во всех опциях. (приложение 12)3.2 Применений графических нейросетей для различных сфер.Нейросети стали неотъемлемой частью нашей повседневной жизни, проникая в самые разнообразные области: от медицины и финансов до игр и виртуальной реальности. Искусственные нейронные сети (ИНС) имеют большой потенциал и уже сегодня научились обрабатывать и анализировать огромные объемы данных и извлекать ценную информацию из них. Вот некоторые примеры практического применения нейросетей:Распознавание образов и обработка изображений — сегодня ИИ уже научился идентифицировать лица, отдельные объекты, жесты, обрабатывать изображения и решать другие сложные задачи.Обработка и анализ человеческого языка — нейросеть может быть задействована для машинного перевода, суммаризации символов, определения тональности отзывов, автоматической классификации текстов по тематике и других заданий, касающихся обработки естественного языка.Прогнозирование и анализ данных — такая способность ИИ находит применение в экономике, климатических исследованиях и других областях. Виртуальный мозг также используется для анализа данных, поиска скрытых закономерностей и паттернов в больших объемах информации.Автоматизация и оптимизация задач — сюда можно отнести такие сферы применения нейросетей, как оптимизация производственных процессов, управление запасами, прогнозирование спроса, автопилоты для транспорта и т. д.Развлечения и искусство — нейросети применяются в игровой индустрии для создания более умных и реалистичных виртуальных противников и персонажей, а также для визуализации различного рода контента. Помимо этого, они нашли применение в кинематографии для создания спецэффектов и анимации.Автономные системы — нейронные сети служат основой при создании роботов, беспилотных авто, летательных аппаратов и дронов.Образовательный процесс — нейросеть используется для персонализации образовательного процесса, адаптации к ученикам, создания интерактивных обучающих материалов и оценки успеваемости.[7]В целом, нейросети могут быть использованы для анализа большого количества данных, собранных с устройств IoT, и для принятия автоматических решений на основе этих данных. Это может помочь улучшить эффективность, безопасность и удобство использования устройств IoT в различных областях.Кроме того, нейросети — это мощный инструмент, который может быть использован в других областях, таких как экология, энергетика, производство и многих, многих других.Они могут обрабатывать большие объемы данных, находить скрытые связи и использовать их для предсказаний и оптимизации различных процессов.Но, как и все технологии, они также имеют свои ограничения и вызывают определенные вопросы в области этики и безопасности.В конечном итоге, нейросети играют все большую роль в нашей жизни, и их использование будет продолжать расти в будущем. Важно продолжать исследовать и развивать эту технологию, учитывая ее потенциал и вызовы, которые она представляет.ЗАКЛЮЧЕНИЕВ данной исследовательской работе были изучены возможности графических нейросетей для генерации изображений. В результате проведенного исследования были получены следующие выводы.Во-первых, графические нейросети представляют собой мощный инструмент для генерации реалистичных изображений. Они позволяют создавать изображения с высоким качеством и детализацией, неотличимые от настоящих фотографий. Это достигается благодаря использованию больших наборов данных для обучения и сложных архитектур нейросетей.Во-вторых, исследования показывают, что графические нейросети способны генерировать разнообразные изображения, включая портреты людей, пейзажи, архитектуру и другие объекты. Они могут быть использованы для создания реалистичных моделей или симуляций, для развлекательных целей или для создания иллюстраций в живописи, науке и других отраслях.В-третьих, хотя графические нейросети показывают впечатляющие результаты, существует некоторая проблема с их использованием. Нейронные сети работают на основе сложных математических моделей и часто сложно понять, как они приходят к своим выводам. Это может быть проблемой в случаях, когда требуется объяснить принятые решения нейросетью или проверить правильность её работы.Кроме того, графические нейросети требуют больших вычислительных ресурсов для обучения и генерации изображений. Они требуют мощных графических процессоров и большого объема памяти для хранения и обработки данных.В целом, исследования по использованию графических нейросетей для генерации изображений продолжаются, и они представляют огромный потенциал в различных областях.Таким образом, выдвинутая гипотеза в начале исследования подтвердилась: действительно, материалы исследования подтверждают, что использование графических нейросетей для генерации изображений в процессе своего развития обязательно приведут к существенному улучшению процесса создания компьютерной графики и визуальных эффектов в различных областях, включая анимацию, игровую индустрию, дизайн и рекламу. На сегодняшний день идет большое развитие и апробации графических нейронных сетей и есть уже доказательства о высоких результатах работы в данном направлении.СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫЛекун Ян «Как учится машина: Революция в области нейронных сетей и глубокого обучения», 2021 г., 370 с. Гудфеллоу Я., Бенджио И., Курвилль А. «Глубокое обучение», 2017 г., 653 с. Безгачев Ф.В. «ПРИМЕНЕНИЕ НЕЙРОСЕТЕЙ В ИСКУССТВЕННОЙ ГЕНЕРАЦИИ ЛИЦ», 2021 г. Сантану Паттанаяк. «Генерация изображений с помощью TensorFlow», 2022 г., 698 с. Andrea Cigliano «GENERATIVE ADVERSARIAL NETWORKS», 2018 г. Интернет ресурсы: Telegram Bot @StableDiffusionPic_bot [сайт], 2023 год, URL: (дата обращения 12.12.2023) J. Ho, A. Jain, P. Abbeel, Denoising Diffusion Probabilistic Models, 2020, (дата обращения 29.01.2024)Художники против нейросетей: справедливый протест или неолуддизм? 2023, (дата обращения 26.12.2023). Kandinsky 2.2, URL: (дата обращения 26.01.2024).Арт с телеграм-канала, 2023, URL: (дата обращения 26.01.2024) Кузьмин Е., Как отличить фото людей, которые сгенерировала нейросеть? 2023, URL: (дата обращения 16.01.2024). ПРИЛОЖЕНИЯПРИЛОЖЕНИЕ 1Результат работы с применением модели CounterfeitXL.Использованный промпт: cat riding turtle.ПРИЛОЖЕНИЕ 2Результат работы с применением модели Flatter.Использованный промпт: anime girl, red hair, blue eyes, bob hairstyle, wavy hair, girl in a black dress with a lace neckline.ПРИЛОЖЕНИЕ 3Результат работы с применением модели ASTRAИспользованый промпт: 1 military man, helmet, male focus, the building from which there is fire and smoke, destruction, motor vehicle, military, fire, solo, ruins, ground vehicle, blue eyes.ПРИЛОЖЕНИЕ 4Результат работы с применением модели DARKSUSHI.Использованый промпт: blue theme, monochrome, nature, night, no people.ПРИЛОЖЕНИЕ 5Результат работы с использованием крайне большого промпта.Использованный промпт: 1girl, jewelry, solo, earrings, necklace, brown hair, dress, hair ornament, ocean, braid, bare shoulders, sky, day, outdoors, upper body, lips, brown eyes, purple dress, cloud, off shoulder, off-shoulder dress, long hair, hair flower, collarbone, blue sky, looking to the side, curly hair, looking away, flower, water, anime girl, jewelry, solo, hair ornament, flower, brown hair, earrings, hair flower, necklace, ocean, purple flower, outdoors, braid, off shoulder, bare shoulders, day, sky, brown eyes, upper body, long hair, parted lips, collarbone, cloud, blush, off-shoulder dress, blue sky, water, dress, off-shoulder shirt, purple dress, looking away.ПРИЛОЖЕНИЕ 6Результат работы с использованием короткого промпта но с четким описанием изображенияИспользованый промпт: 1 boy, male focus, solo, blue t-shirt, back, short sleeves, short hair, standing, black hair, t-shirt, black pants, fire, looks at the fire.ПРИЛОЖЕНИЕ 7Результат работы выполненной с использованием интегрированного (скрытого) текстаСкрытое слово: НадеждаИспользованный промпт: anime girl, red hair, blue eyes, quads, wavy hair, a girl in a black dress with lace on decatelte.ПРИЛОЖЕНИЕ 8Результат работы выполненной с использованием разного значения параметров CFG ScaleИспользованный промпт: 1 guy, black hair, blue sky, bow, brown eyes, cloud, cloudy sky, day, looking at viewer, male focus, mountain, outdoors, realistic, sky, solo, upper bodПРИЛОЖЕНИЕ 9Пример изображения сгенерированного нейросетью с использованием технологии img2imgИспользованный промпт: bare tree, building, cloud, cloudy sky, house, lamppost, no humans, ocean, outdoors, power lines, road, scenery, sky, sunset, treeПРИЛОЖЕНИЕ 10Пример изображения, сгенерированное нейросетью сИспользованием параметра «Сила»Использованный промпт: blue sky, building, church, cloud, day, grass, house, no humans, outdoors, path, road, scenery, sky, tree, windowПРИЛОЖЕНИЕ 11Результат генерации изображения через мало обученные графические нейросетиИспользованный промпт: Five girls, in dresses, each girl has a dress of a different color, the girls are dancing, the girls have long dresses.ПРИЛОЖЕНИЕ 12Пример восстановления старых фотографий через графические нейросети Использованный промпт для первой фотографии: 1boy, belt, depth of field, earflap hat, male focus, military, military uniform, realistic, solo, Soviet, star, uniform, wristwatchИспользованный промпт для второй фотографии: 1boy, black eyes, black hair, tie, hat, looking at viewer, male focus, portrait, real life insert, smile, solo, teeth, upper body
