По мере того, как машинное обучение переходит на микроконтроллеры, так называемый TinyML, необходимы новые инструменты для сравнения различных решений. Ранее мы публиковали несколько тестов Tensorflow Lite для микроконтроллеров (для одноплатных компьютеров), но инструмент тестирования, специально разработанный для вывода искусственного интеллекта на встраиваемые системы с ограниченными ресурсами, может оказаться полезным для получения согласованных результатов и охватывать более широкий спектр вариантов использования.
Это именно то, что MLCommons, открытый инженерный консорциум, сделал с тестами MLPerf Tiny Inference, предназначенными для измерения того, насколько быстро обученная нейронная сеть может обрабатывать новые данные для крошечных устройств с низким энергопотреблением, включая при этом измерения мощности.
MLPerf Tiny v0.5, первый набор тестов для логических выводов, разработанный для встраиваемых систем, состоит из четырех тестов:
- Определение ключевых слов – определение ключевых слов в небольшом словарном запасе с использованием модели DS-CNN. Обычно используется в умных наушниках и виртуальных помощниках.
- Визуальные слова пробуждения– двоичная классификация изображений с помощью MobileNet. Мониторинг домашней безопасности – одно из приложений этого типа рабочей нагрузки искусственного интеллекта.
- Классификация изображений – классификация небольших изображений с использованием набора данных Cifar10, модели Resnet. Множество вариантов использования интеллектуальных приложений для распознавания видео.
- Обнаружение аномалий – обнаружение аномалий в звуках работы машины с использованием набора данных ToyADMOS, модели Deep AutoEncoder. Один из вариантов использования – профилактическое обслуживание.
MLPerf Tiny нацелен на нейронные сети, размер которых обычно меньше 100 КБ, будет полагаться на среду тестирования EEMBCs EnergyRunner для подключения к тестируемой системе и измерения энергопотребления во время выполнения тестов. Эта функция, похоже, находится в стадии разработки.
Вы найдете более подробную информацию о тесте MLPerf Tiny в официальном документе, эталонную реализацию с открытым исходным кодом можно найти на Github, а некоторые результаты опубликованы и обновлены в Документах Google.
Нам нужно будет посмотреть, действительно ли MLPerf Tiny станет отраслевым стандартом, но в проекте уже участвуют различные организации и компании, включая Гарвардский университет, EEMBC, CERN, Google, Infineon, Latent AI, ON Semiconductor, Peng Cheng Laboratories, Qualcomm, Renesas. , Silicon Labs, STMicroelectronics, Synopsys, Syntiant, UCSD и другие.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.