Иногда аппаратные блоки работали над задачами, для решения которых они изначально не были предназначены. Например, до того, как ускорители нейронных сетей стали более распространенными в процессорах, логический вывод AI в основном передавался на GPU.
Qualcomm AI Research продемонстрировала программный нейронный видеодекодер, который использует как процессор, так и механизм искусственного интеллекта в процессоре Snapdragon 888 для декодирования HD-видео 1280 × 704 со скоростью более 30 кадров в секунду без какой-либо помощи со стороны блока декодирования видео.
Нейронный видеодекодер все еще находится в стадии разработки. Он поддерживает только внутрикадровое декодирование, а межкадровое декодирование находится в стадии разработки. Это означает, что каждый кадр в настоящее время декодируется независимо, без учета небольших изменений между кадрами, как это делают все другие видеокодеки.
ЦП обрабатывает параллельное энтропийное декодирование, в то время как сеть декодеров ускоряется с помощью Qualcomm AI Engine 6- го поколения, установленного в мобильной платформе Snapdragon 888. Частично обработка осуществляется с помощью библиотеки с открытым исходным кодом AI Model Efficiency Toolkit (AIMET), которую можно найти на Github .
Получение декодирования видео с разрешением 1280 × 704 с помощью программного обеспечения на самом деле не является впечатляющим достижением для Snapdragon 888, поскольку процессор, безусловно, может без проблем обрабатывать H.264 или H.265 при этом разрешении и 30 кадрах в секунду. Но стоит задуматься о потенциальных / будущих преимуществах нейронного декодирования видео, которые включают:
- Прямая оптимизация битрейта и показателей качества восприятия
- Упрощенная разработка кодеков
- Внутренний массивный параллелизм
- Эффективное выполнение и возможность обновления на развернутом оборудовании
- Загружаемые обновления кодеков
Поскольку кодеки на основе искусственного интеллекта смогут генерировать визуальные детали, которых нет в потоке битов, битрейт в конечном итоге должен быть ниже для того же качества или даже более высокого качества по сравнению с традиционными кодеками. Это также означает, что видеокодек станет программно определяемым, не нужно ждать нового аппаратного декодера в SoC (AV1 какого-нибудь?), поскольку любой новый кодек может обрабатываться ядрами ЦП и встроенным ускорителем AI, поскольку они достаточно мощные.
Более подробную информацию можно найти в пресс-релизе.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.