Появились программные методы для разблокировки дополнительного потенциала тензорных ядер в старых видеокартах RTX-серии. Проект начался с GeForce RTX 30 и изучении ограничительных механизмов для манйнинга, которые когда-то NVIDI реализовала в потребительских видеокартах. Разработчик Zagitta реализовал похожие методы для разблокировки потенциала в RTX 30, а позднее вышли модификации для RTX 40 и RTX 20. Это делает бытовые игровые видеокарты немного ближе к специализированным решениям на базе похожих GPU.
Мод повышает скорость определенных инструкций на GPU NVIDIA благодаря программным правкам на уровне ядра Linux. Это не требует прошивки BIOS и специального драйвера. Вместо изменения графических драйверов инструменты изменяют низкоуровневые регистры конфигурации графического процессора перед загрузкой драйвера NVIDIA, снимая ограничения на скорость, с которой могут быть выданы определенные инструкции для тензорных ядер.
Например, для GeForce RTX 3090 Ti пропускная способность FP16 повышается с 87,46 TFLOPS до 118,39 TFLOPS, скорость BF16 растет с 87,5 TFLOPS до 157,41 TFLOPS, а TF32 растет с 42,58 TFLOPS до 82,61 TFLOPS. Для GeForce RTX 4060 Ti пропускная способность FP16/ FP32 выросла с 165,6 TFLOPS до 331,6 TFLOPS, а в формате BF16/BF32 это 165,5 TFLOPS и 330,6 TFLOPS. В некоторых ферматах и режимах можно получить двукратное ускорение и на GeForce RTX 2080 Ti, но не везде. Все это делает старые видеокарты более привлекательными для локального ИИ и запуска LLM на простых ПК. Это особенно актуальна для видеокарт с большим объемом памяти, например, для GeForce RTX 3090 Ti с 24 ГБ. Но для геймеров это скорее плохие новости. Ценность таких моделей для ИИ выросла, и цены на вторичном рынке могут стать выше.
Все программные проекты по разблокировке скорости тензорных ядер доступны на GitHub по этим ссылкам:
Источник: Videocardz.com