Было много шума, когда компания NVIDIA запустила в продажу SBC Jetson Nano с 128-ядерным графическим процессором Maxwell за $99 и они предполагали, что производительность вычислений составит 472 GFLOPS для выполнения современных рабочих нагрузок искусственного интеллекта с энергопотреблением около 5 Вт.
Но Jetson Nano, это не единственная недорогая платформа, обеспечивающая высокую производительность при низком энергопотребление для рабочих нагрузок искусственного интеллекта, есть например система-на-кристалле Rockchip RK3399Pro (RK1808 NPU), которую можно найти в таких платах, как Toybrick RK3399Pro, которая, как утверждает компания, обеспечивает до 3 TOPS для INT8, 300 GOPS для INT16 и 100 GOPS для FP16.
Все эти числа операций в секунду могут быть обманчивы и вводить в заблуждение, поэтому важно проверить производительность реальных моделей нейронных сетей. В прошлом году компания Rockchip представила результаты некоторых тестов RK3399Pro для моделей Inception V3, ResNet34 и VGG16, сравнивая их с Apple A11, Huawei Kirin 970 и NVIDIA Jetson TX2. Однако многие хотели бы увидеть результаты от третьих лиц, по этой причине Чэнвэй Чжан приобрел себе плату Toybrick и подробно объяснил, как запустить модель Inception V3 Keras на плате в своем блоге.
Есть два основных шага:
- Заморозьте модель Keras в TensorFlow graph и после создайте модель вывода с помощью RKNN Toolkit. Все это делается на мощном компьютере с Linux вместо целевой платы по причине производительности.
- Загрузите модель RKNN на плату для разработки RK3399Pro и сделайте предвычисление.
В качестве примечания, команда Toybrick поместила исходный код Android в Github, используя файл манифеста, вместо того, чтобы просто предоставлять обычный архив размером 6 Гб. Это означает, что вы можете просто получить код следующим образом:
|
1 |
repo init --repo-url http://github.com/aosp-mirror/tools_repo.git -u http://github.com/rockchip-toybrick/manifest.git -b master -m rk3399pro.xml |
Архив также доступен на Baidu, если у вас возникнут проблемы с Github.
В своем блоге Чэнвэй подробно рассказывает об этих двух шагах, которые описаны выше, поэтому вы можете посмотреть в нем окончательные результаты. Плата Toybrick RK3399Pro достигает в среднем 28.94 FPS, это немного больше, чем у Jetson Nano 27.18 FPS, которая работает с гораздо меньшей моделью MobileNetV2. Модель Inception V3 намного сложнее, чем MobileNet V2, поэтому следует ожидать немного большую разницу между этим двумя платами с одинаковыми моделями.
Для справки, компания Rockchip утверждают, что на RK3399Pro, VGG16 работает на частоте 50 кадров в секунду, тогда как на Jetson TX2 с 256-ядерным графическим процессором Pascal, он работал на частоте 32 кадра в секунду, а для Resnet50 получается 86 fps против 82 fps, как показано на старой диаграмме чуть ниже.
Недостатком является то, что Toybrick RK3399Pro стоит намного дороже, чем Jetson Nano, так как версия с оперативной памятью 3 Гб продается на веб-сайте VAMRS за $249, а модель с 6 Гб за $299. Остается только надеяться, что поставщики предложат нам более дешевую из плат RK3399Pro или плату с процессором Rockchip RK1808, которая должна обеспечить аналогичную производительность вывода при гораздо более низкой стоимости.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.