Чудо света (2024-04-25)

Чудо света (2024-04-25)

Уже упоминавшееся заблуждение о том, что описание для генеративных моделей воспринимается программой примерно так же, как автором описания (обычно человеком) ведёт и к другим достаточно интересным находкам.

Оптические иллюзии и "смешение сцен" — достаточно сложная категория изображений. Сложная в том смысле, что вряд ли получится описать её словами и получить от электронного художника именно то, что заказывал. Простой пример:

Чудо света

Обратите внимание — там, где стоит человек, вероятнее всего сухо, но вот прямо над ним уже толща воды. Плюс расположение теней, плюс "переливающийся в воду" луч света. Всё верно, это тоже галлюцинация модели "HelloWorld", а сцена описывается как extremely detailed, oil painting, "wonder of the world". Т.е., "чудо света". Некоторые из таких галлюцинаций очень, я бы сказал, пугающие.

Поэтому стало привычкой время от времени запускать длинный прогон (обычно на ночь) нескольких тысяч галлюцинаций на проверенные опытом описания, а поутру быстренько пролистывать это всё. И всегда там можно найти что-то любопытное, что нарочно не придумаешь.v

Вообще достаточно занятно осваивать технологии, которые не реже раза в год меняются так основательно, что сама мысль сопровождать это учебником или хотя бы рабочими записями лишена смысла: всё устаревает не то чтобы в момент написания, но очень вскоре.

Поэтому правило здесь примерно такое же, как при наблюдении за цветущей "ночной красавицей" (кактус, цветок которого к утру следующего дня уже увядает): смотри, восхищайся и пользуйся, пока возможно. Завтра будет уже что-то совсем другое. Ну, почти совсем.

===== Перейти к комментариям

Последние дни (2024-04-19)

Фраза "last days" (последние дни) также оказалась плодотворной в смысле галлюцинаций.

Занятно, что на портретную ориентацию двигатель выдал огромное количество очень интересных (и вовсе не жутких) портретов, преимущественно женских.

На ландшафтную... Там и собственно ландшафты, и, неожиданно, большое количество т.н. "body horror" — ужасы, опирающиеся на сцены жутких изменений тела и всевозможные уродства. Кто видел "The Thing" Карпентера, тот поймёт, о чём речь.

50

55

65

83

90

101

107

Но бывает и другое, и тоже не редкое, примеры выше.

===== Перейти к комментариям

Галлюцинации (2024-04-14)

Предыдущие опыты с "ультракороткими" описаниями дали интересные результаты. Обозначился ряд моделей, которые, если можно так сказать, очень эффектно галлюцинируют. А именно, выдают самые разные по направленности картинки в ответ на короткий запрос.

Дело, конечно, не в краткости определения, а в том, как тренировалась модель. Неожиданный всплеск "галлюцинаций" в ответ на описание "sound of silence", "звук тишины", объясняется именно этим: в рамках свободы творчества (коэффициента CFG) модель находит более или менее весомые цепочки ассоциаций, которые и разрастаются в очень странные картинки.

Чемпионы по части галлюцинирования, среди моделей на CivitAI:

LEOSAM's Hello World

Copax Art Brush

ICBINP ("I can't believe it's not photo" — "Поверить не могу, что это не фото")

Lah Mysterious

Epic Fantasy Vision

Составлять списки моделей в данном случае дело неблагодарное (очень уж быстро меняется ситуация в этой отрасли — SD 3 уже не за горами), но упомянутые модели с очень живым воображением также входят в список тех, что я отобрал для работы (куда входят также Proteus RunDiffusion, Crystal Clear Lightning, Cinematix, Lightning Bloom, Real Good Fast Pass, Realism from Hades, Real Vis, WLOP Style и Zavy Chroma, всего изучено 50+ моделей).

Ну а теперь сами картинки (все построены на модели LEOSAM's Hello World, легко найдёте на CivitAI).

Через Вселенную

Дивный новый мир

Сумерки времени

Полёт воображения

Бесконечная рекурсия

Страна тайн

Главное чудо дня

Иной мир

Чудо света

===== Перейти к комментариям

Звук тишины (2024-04-07)

Песню "Звук тишины" ("Sound of silence") наверняка знают все, пусть даже не зная ни названия, ни исполнителя. Для архива: оригинальное исполнение (Simon & Garfunkel), исполнение Gregorian

В целом и общем короткие определения дают стохастические результаты. В данном случае на выходе есть несколько типичных результатов: лодки, река в лесу, река на фоне гор, портреты, дома и "всякое странное".

Текст определения: extremely detailed, oil painting, sound of silence, by Greg Rutkowski and Tyler Edlin

Сами картинки ниже. Заголовки условные, поскольку электронный художник именно так "увидел" звук тишины.

Пагода

Лес

Корабль

Корабль-дом

Воздушный шар

Вечер на Югготе

Мягкая посадка

Закат в лесу

Дом-дерево

Портрет

Дерево на холме

Трое в лодке

Закат над рекой

Ущелье

Извержение

Древняя раса

Дом у ручья

===== Перейти к комментариям

Дополненная реальность (2024-04-04)

Логично звучали вопросы, почему в предыдущем посте (см. ниже) итоговые картинки не имеют ничего общего с оригиналом. Ниже краткое пояснение.

В инструменте "img2img" (картинка в картинку) SD использует минимум два параметра, чтобы обозначить, насколько итоговая картинка близка к оригиналу. Первый уже известен, CFG, очень упрощая — насколько двигатель будет придерживаться описания, а насколько — следовать своей "фантазии" (чем выше коэффициент, тем более послушным будет двигатель).

Вторым, специфическим для "картинки в картинку", является т.н. коэффициент подавления шума (denoising strength), вещественное число от 0 до 1 (0: двигатель не участвует; 1: двигатель может вносить произвольные правки). Судя по сказанному ранее, "шумом" является исходная картинка.

Выяснилось, уже экспериментально, что важным фактором также является число шагов синтеза изображения. В предыдущем случае я использовал скоростную модель ("Lightning"); она характерна тем, что работает только с низкими коэффициентами CFG и с малым количеством шагов (и в среднем, даёт изображение худшего качества за счёт значительного увеличения скорости работы).

На этот раз взята модель типа SDXL (Juggernaut RunDiffusion), но не скоростная. Итоги см. ниже.

1. Обработка фотографии. Исходная картинка:

Текст определения (во что переделываем): extremely detailed, oil painting, close-up portrait of middle-aged wizard, calm smile, fantasy, majestic mansion in the background, by Tyler Edlin and Nick Avallone

Итоги ниже (числом обозначен коэффициент подавления шума, при прочих равных условиях).

При подавлении шума ниже 0.35 двигатель, по сути, себя почти не проявляет. Резкий скачок изменений происходит между 0.45 и 0.60. Всё, что выше — по сути, уже в чистом виде фантазия двигателя, ничем не похожая на оригинал (примерно так выглядят итоги работы со скоростными моделями).

2. Дополненная реальность. Исходная картинка (фото поблизости от места, где я живу):

Добавляем воздушный шар в небе (коэффициент 0.45):

Добавляем сторожевую башню (коэффициент 0.45):

Если поиграть определениями при диапазоне 0.4-0.5, вполне можно убедительно "дополнить реальность", внося минимальные искажения и порождая более или менее реалистичные новые подробности.

===== Перейти к комментариям

А у вас всё лицо зелёное! (2024-04-01)

У SD есть функция создания картинки на основе другой картинки. Признаться, я был бы рад прочесть сейчас длинную лекцию по использованию этого инструмента, но...

Так получилось, что просто захотелось посмотреть, насколько хороши будут производные картинки. Источником было фото меня любимого (но новоязе "селфи"), но первым же делом я применил к ней скоростную модель... и понял, что картинки замечательные (сами посмотрите), в т.ч. с точки зрения анатомии, но в качестве учебного материала ничего не стоят: у нейронки, в случае скоростных моделей, практически невозможно выставить настройки, при которых исходное изображение будет очень понемногу трансформироваться в считанное. В данном случае есть магическое значение соответствующего коэффициента (снятия шума, denoising strength: 0 — полное отсутствие свободы воли нейронки, 1 — максимальная свобода), что изменение даже в четвёртом знаке после запятой меняет картинку радикально (и не очень интересно).

Так что лекция будет потом.

В качестве иллюстрации: картинка ниже получена из той, что левая нижняя в коллекции выше, при изменении коэффициента с 0.75 до 0.74:

Польза, кстати, всё равно есть: можно генерировать аватарки, тоннами. И вполне себе приличные.

===== Перейти к комментариям

Персонажи: Тень

Соблазн начать, наконец-то, подбирать приемлемый облик для персонажей был давно. Теперь, когда с вычислительными мощностями всё приемлемо, задача вылилась в неожиданный аспект — найти и описание, и оптимальную модель для опытов.

Что ж, лиха беда начало.

1. Первое знакомство

Это Тень. В миру — Эсстер Аратрин ан эс Метуар, антагонист и протагонист "Ступеней из пепла", последовательно.

Эсстер появляется только в третьей (из трёх) частей книги, но при этом вызвала наибольшее количество обсуждений: и в связи со своей "должностью" — голос и воплощение подлинной Тени, Стража мрака, владычицы царства мёртвых и распорядителя их судеб (по принятым во множестве культур Шамтерана поверьям, Тень может возвращать умерших в царство живых, Средний мир, если те сами отыщут себе дорогу).

Воскресает после смерти (в книге — после ножевых и огнестрельных ранений, а также, в финале, после смерти от старости). Однажды (и она это знает) её призовёт на окончательную и бессрочную службу подлинная Тень, и отказаться не получится.

Умеет крайне быстро перемещаться в отсутствие света, её мышечная реакция превосходит реакцию обычного человека в несколько раз. Обладает рядом других черт, свойственных подлинной Тени — например, в состоянии подчинить почти кого угодно своей воле.

При всём этом, оказывается человеком чести и способным на самопожертвование — пусть даже с ужасными манерами, пренебрежением к правилам и стремлением делать всё по-своему.

Через три года после событий книги у Эсстер родилась дочь, Вессен (тоже, по иронии, выбравшая путь Тени — правда, уже технологическим вариантом, безо всякой мистики).

Не все, кому довелось увидеть Тень так близко, сумели потом поведать об этой встрече.

2. Подлинный облик

По книге, Тень с лёгкостью принимает произвольный облик (не уточняется, насколько она меняется внутри, если облик мужской). Тем не менее, с какого-то момента выглядеть самой собой стало для Эсстер привилегией: её первую госпожу раздражал и облик, и голос подлинной Эсстер.

Эсстер, невзирая на происхождение (прямая наследница малого дома в Тегароне, что само по себе даёт немалые привилегии и в стране, и среди другой родни), несмотря на хорошее образование, с самого начала пренебрежительно относится к правилам и законам, обожает авантюры. Что, собственно, и закончилось для неё потерей свободы.

Отрывок из книги:

— Вы всё знаете, — огорчилась Тень, отходя в сторону. — Зачем спрашивали?

— Только что догадался. А одежда, в гардеробе у Май — тоже ваша?

Тень хлопнула себя по лбу.

— Надо будет попросить, переодеться как-нибудь. Всё равно она ей мала. А мне хочется выглядеть красивой.

— Вы и так красивы. Очень красивы.

— Не я, а Госпожа. Сама я... вот, смотрите.

Тень отвернулась. Через некоторое время повернулась вновь. Худенькая, светлолицая. Веснушчатое круглое лицо, большие зелёные глаза, тонкие губы, рыжие лохмы — стожок сена на голове.

— Видите? Пугало...

Тень вновь отвернулась и через несколько секунд вернула облик Майтенаринн.

— Вы и сами красивы. Нет, правда. Кстати, можно попросить об одолжении?

3. Подлинная Тень

Подлинная Тень, владычица царства мёртвых и распорядитель судеб тех, кто умер, появляется в книге дважды. В третий раз её встретит уже Лас, в "Книге Снов". Поскольку в Тень, в той или иной мере, верит большинство населения планеты, вызвать Стража мрака, так сказать, в гости, получилось неожиданно легко. О последствиях, как водится, никто не думал.

Оба раза Эсстер служит обликом, вместилищем подлинной Тени. Во второй раз Страж мрака разрешила своему "агенту" услышать разговор.

Отрывок из книги:

— Май, Лас, — позвала Тень. Солнце уже село; Лас и Май сидели у небольшого розового куста, на поляне. Семь цветков светились в быстро наступающей темноте. — Идёмте, мы ждём вас. Скоро будет ужин.

Лас кивнула и встала, протянув руку Май. Та приняла, поднялась... оглянулась на Тень.

— Лас... похоже, у неё ко мне разговор. Извини.

Ласточка кивнула вновь и убежала.

Сумрак сгустился над Тенью.

— Госпожа, — Тень заговорила первой. Глаза её светились красным. — Я приняла ваше приглашение... из любопытства, не скрою. Появляясь здесь, Я нарушаю обещание не вмешиваться в дела Среднего мира. Но Меня так давно не приглашали от чистого сердца... Прошу вас впредь быть осмотрительнее, когда вы позволяете явиться подобным Мне.

Майтенаринн кивнула, хотя сохранять самообладание было непросто. Непросто было общаться со сгустком тьмы.

— Я, настоящая Тень, не имею права помогать вам непосредственно. Вы должны справиться сами.

— Понимаю и не прошу ни о чём.

— На прощание, Майтенаринн. Когда вы предстанете передо Мной, сочту за честь лично выбрать достойную вас дорогу. Но не торопитесь ко Мне, прошу вас.

— Прощайте, Страж мрака.

— До встречи, Майтенаринн. Та, что остаётся... будьте к ней снисходительны.

Интересующимся: изображения построены на моделях, последовательно: realismFromHades_XLLightning, realVisXLV4.0 _Lightning, proteusRunDiffusion_withclip. Вы легко найдёте их на CivitAI точка com.

===== Перейти к комментариям

Только о прекрасном (2023-03-24)

В день общенационального траура — только о мирном и прекрасном.

Ангел и дитя

Бабочка

Танцовщица

Улыбка

Вихрь чувств

Путешественница

Фермер

Лис

Девушка в шляпе

Верный пёс

Пантера

Возвращение домой

Олень

Тропа в неведомое

Тигр

Где-то во сне

===== Перейти к комментариям

Протей и ворон

Стоило упомянуть в предыдущем выпуске, что модели часто меняются, как почти сразу же попалась на глаза модель «Протей» от компании RunDiffusion (угадайте, что именно она разрабатывает).

Ниже приведены некоторые пробники, которыми я проверяю теперь каждую модель. Общие параметры создания изображений такие: