Программный нейронный видеодекодер использует ускоритель искусственного интеллекта на Snapdragon 888


Иногда аппаратные блоки работали над задачами, для решения которых они изначально не были предназначены. Например, до того, как ускорители нейронных сетей стали более распространенными в процессорах, логический вывод AI в основном передавался на GPU.

Qualcomm AI Research продемонстрировала программный нейронный видеодекодер, который использует как процессор, так и механизм искусственного интеллекта в процессоре Snapdragon 888 для декодирования HD-видео 1280 × 704 со скоростью более 30 кадров в секунду без какой-либо помощи со стороны блока декодирования видео.

Нейронный видеодекодер все еще находится в стадии разработки. Он поддерживает только внутрикадровое декодирование, а межкадровое декодирование находится в стадии разработки. Это означает, что каждый кадр в настоящее время декодируется независимо, без учета небольших изменений между кадрами, как это делают все другие видеокодеки.

ЦП обрабатывает параллельное энтропийное декодирование, в то время как сеть декодеров ускоряется с помощью Qualcomm AI Engine 6- го поколения, установленного в мобильной платформе Snapdragon 888. Частично обработка осуществляется с помощью библиотеки с открытым исходным кодом AI Model Efficiency Toolkit (AIMET), которую можно найти на Github .

Получение декодирования видео с разрешением 1280 × 704 с помощью программного обеспечения на самом деле не является впечатляющим достижением для Snapdragon 888, поскольку процессор, безусловно, может без проблем обрабатывать H.264 или H.265 при этом разрешении и 30 кадрах в секунду. Но стоит задуматься о потенциальных / будущих преимуществах нейронного декодирования видео, которые включают:

  • Прямая оптимизация битрейта и показателей качества восприятия
  • Упрощенная разработка кодеков
  • Внутренний массивный параллелизм
  • Эффективное выполнение и возможность обновления на развернутом оборудовании
  • Загружаемые обновления кодеков

Поскольку кодеки на основе искусственного интеллекта смогут генерировать визуальные детали, которых нет в потоке битов, битрейт в конечном итоге должен быть ниже для того же качества или даже более высокого качества по сравнению с традиционными кодеками. Это также означает, что видеокодек станет программно определяемым, не нужно ждать нового аппаратного декодера в SoC (AV1 какого-нибудь?), поскольку любой новый кодек может обрабатываться ядрами ЦП и встроенным ускорителем AI, поскольку они достаточно мощные.

Более подробную информацию можно найти в пресс-релизе.

Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.

Оригинал статьи вы можете прочитать здесь.

0 0 vote
Article Rating
Подписаться
Уведомление о
guest

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

0 Комментарий
Inline Feedbacks
View all comments