Проблемы GAN моделей

[Kilian]

В отличие от других моделей, в GAN мы пытаемся найти идеальную точку баланса обучения между генератором и диксриминатором.
Если что в данной теме речь идет о работе с изображениями. Я считаю что идеальный результат это когда дискриминатор немножко побеждает над генератором. В этом случае генератор будет догонять, а не сражаться с дискриминатором. Но как же тяжело доиться плавного и сбалансированого обучения. Взрывной градиент, Исчезающий градиент и разные проблемы с самой архитектурой модели...

Давайте поговорим о тех проблемах которые можно решать с помощью GAN моделей.
С помощью латентного пространства вы можете управлять генерируемыми фото, также можно дополнять GAN модели различными метками которые будут учитываться при генерации фотографий. Собственно вы можете убирать деффекты на фото, восстанавливать фото, генерировать новые изображения, заменять стили на фото, Создавать дипфейки...

Какой идеальный сценарий обучения для вас и как вы избегаете проблем с неправильным обновлением градиентов?
Но в данной теме я хотел бы также добавить вопрос

 

[mrsun]

Я пробовал использовать mobile-style-GAN, и он менее сложен, чем модели Style-GAN, более эффективен и прост в исправлении проблем с градиентом. Ознакомьтесь с этой статьей:

• https://arxiv.org/abs/2104.04767

Кроме того, в этом репозитории реализована модель Mobile-Style-GAN для получения изображений с высокой точностью.

• https://github.com/bes-dev/MobileStyleGAN.pytorch