Vivante NPU (находится в Amlogic A311D) передает свой драйвер с открытым исходным кодом в Mesa

Проект Teflon – это TensorFlow Lite с открытым исходным кодом, который в настоящее время поддерживает NPU VeriSilicon Vivante и, со временем, планируется поддержка несколько других ускорителей искусственного интеллекта. Недавно проект был передан в Mesa, что означает, что вывод ИИ с помощью программного обеспечения с открытым исходным кодом будет работать «из коробки» на поддерживаемом оборудовании после выхода Mesa 24.1 в мае 2024 года.

Teflon использует драйвер с открытым исходным кодом Etnaviv, более известный своей работой с графическими процессорами Vivante, например, в процессорах NXP i.MX, но Tomeu Vizoso также работал над реализацией поддержки Vivante NPU с мая 2022 года благодаря спонсорской поддержке Libre Computer и задокументировал прогресс разработки в своем блоге.

NPU VeriSilicon Vivante «VIPNano-QI.7120» 5 TOPS находится в процессоре Amlogic A311D, а Tomeu протестировал Teflon с диском Etnaviv NPU как на одноплатных компьютерах Libre Computer AML-A311D-CC Alta, так и на одноплатных компьютерах Khadas VIM3 с приличной производительностью, хотя все же медленнее, чем двоичный файл с закрытым исходным кодом, предоставленный VeriSilicon.

MobileNet V1 (UINT8) – скорость вывода ~15 мсMobileNet V2 (UINT8) — скорость вывода ~ 15,5 мс (примерно в 6 раз быстрее, чем ЦП, и в два раза медленнее, чем собственный драйвер)SSDLite MobileDet (UINT8) — скорость вывода ~ 53 мс (примерно в 4 раза быстрее, чем процессор, и в 3 раза медленнее, чем собственный драйвер)

Подключение к Mesa дает несколько преимуществ. Во-первых, драйвер пользовательского пространства будет автоматически упаковываться дистрибутивами, использующими библиотеку 3D-графики Mesa, такими как Debian, Ubuntu, Fedora и Yocto, поэтому Vivante NPU будет поддерживаться «из коробки» с помощью драйвера с открытым исходным кодом. Teflon получит выгоду от инфраструктуры проекта Mesa (Gitlab, непрерывная интеграция и т. д.) и будет использовать кодовую базу Mesa с такими функциями, как промежуточное представление NIR и внутренний API Gallium. Более подробную информацию вы найдете в сообщении блога, ссылка на которое находится во втором абзаце этого обзора. Все это означает, что теперь у нас есть относительно недорогой (65 долларов США на Amazon) Arm SBC, работающий под управлением mainline Linux с NPU 5 TOPS, поддерживаемым драйверами с открытым исходным кодом.

Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.

Оригинал статьи вы можете прочитать здесь.