Вместе с новым поколением видеокарта GeForce RTX 50 представлена новая технология DLSS. За несколько лет развития DLSS технология значительно улучшилась, а ее возможности расширились. Это не только масштабирование изображения на основе глубокого обучения, но и Ray Reconstruction для повышения качества картинки с трассировкой и Frame Generation для создания промежуточных кадров. NVIDIA постепенно обновляет алгоритмы масштабирования на основе ИИ с большим количеством данным. Вместе с линейкой видеокарт GeForce RTX 40 появилась функция генерации кадров, а на GeForce RTX 50 будет генерация сразу нескольких кадров.
Теперь все это будет работать еще быстрее и лучше. Привычное масштабирование изображения работает на основе сверточных нейронных сетей CNN для работы с пиксельными данными. Также используются векторы движения и другие данные кадра для построения картинки и генерации промежуточных кадров. Новая версия DLSS переходит на модель-трансформер (Transformer). Этот метод позволяет работать с последовательностями данных, создавая серию кадров в реальном времени. Transformer обеспечивает лучшую стабильность и четкость в динамике, исправляя ряд привычных недостатков апскейлеров. Но самое главное, что такой метод позволяет создавать вместо одного промежуточного кадра три с сохранением высокой отзывчивости.
Повышение задержек было основной проблемой генерации кадров, но DLSS 4 на основе Transformer-алгоритмов решает ее. Теперь игра будет ощущаться такой же быстрой и отзывчивой, будто рендеринг идет в нативном режиме.
В DLSS 3 с апскейлингом и обычной генерацией 3 из 4 кадров создаются нейросетью, но в случае DLSS 4 уже 7 пикселей из 8 будут генерироваться ИИ. Multi Frame Generation понимает в два раза больше параметров относительно нейросетей CNN, но требует в четыре раза большей мощности. Столь серьезное повышение нагрузки на тензорные блоки и новый подход оптическому потоку определяет эксклюзивность DLSS 4. Технология многокадровой генерации будет работать только на видеокартах GeForce RTX 50-й серии, включая GeForce RTX 5090/5080 и другие модели. Но новые алгоритмы построения изображения и улучшенная генерация для одного кадра будут доступны и на более старых GeForce RTX. Даже пользователи GeForce RTX 20/30 получат более качественное сглаживание DLAA, Super Resolution и Ray Reconstruction.
Потенциал DLSS 4 реально впечатляет. В некоторых играх такой рендеринг сможет не просто увеличить частоту кадров в 4 разу, но обеспечить ускорение и в 5-6 раз.
Наконец-то можно будет играть с трассировкой лучей при комфортней производительности.
Важным преимуществом DLSS 4 Multi Frame Generation является простая интеграция в игры с уже доступной технологией DLSS 3. Причем новый метод Multi Frame Generation можно будет формировать вручную через настройки драйвера в приложении NVIDIA App.
Кроме игр новая технология DLSS 4 появится в некоторых приложениях, включая движок Unreal Engine 5.