Искусственные нейронные сети обучили создавать картины, — об этом недавно сообщали в блоге Google разработчики, в том числе исследователь из России Александр Мордвинцев. Для написания картин используются нейросети, которые вначале распознают объекты на фотографии или рисунке, а затем интерпретируют их.
Как происходит распознавание?
Нейросети состоят из 15–35 слоев, которые анализируют предложенное изображение в несколько этапов. Первые 2–3 слоя отыскивают в исходнике углы и края, средние дают интерпретацию группам объектов (находя, например, листья и облака). На нижних слоях предыдущие заключения складываются в готовое представление — сети находят на картине здание, дерево, цветок.
Обучение нейросетей: запоминаем вилки, гантели, бананы
Новое произведение искусства получается, если нейронная сеть будет работать от противного. Для этого «электронному художнику» показывают случайный шум в виде фоторяда и дают установку: улучшить его до определенного изображения. Если попросить нейросеть отыскать на полотне банан, бабочку или птицу, изображение будет изменено, а в шуме появятся узнаваемые черты. Цель процедуры — тестирование знаний нейросети о предметах.
Откуда берутся эти знания? Нейросети обучают на огромном числе примеров. Для освоения такого понятия как вилка нейросети потребуется 1000 фотографий. На выходе сеть должна узнавать характерные черты предмета — ручка, 4 зубца — и игнорировать лишние — цвет, положение. Далее в ответ на запрос «вилка» сеть должна нарисовать картинку по теме.
Ниже пример того, как сеть не справилась с задачей и нарисовала вместо просто гантели тот же спортивный снаряд, но с руками (как на фотографиях-прообразах).
Улучшение — в основе творчества, как работают сервисы на базе нейронных сетей
Разработчики утверждают, что нейросети не обязательно говорить, что стоит нарисовать. Для этого ей предлагают фотографию и призывают один из слоев улучшить аспекты, находящиеся в зоне его компетенции. У каждой подложки свой уровень абстракции, поэтому результат все время отличается.
Эти принципы ложатся в основу новых сервисов для обработки фотографий. Пользователям достаточно пропустить фотографию через фильтр, чтобы получить на выходе интересный результат — мазки и орнаменты, ночную съемку, сюжет на тему Пикассо или Дали.
