Raspberry Pi недавно получила стратегические инвестиции от Sony (Semiconductor Solutions Corporation), чтобы предоставить платформу для разработки периферийных устройств искусственного интеллекта компании, использующих платформу AITRIOS.
У нас не так много подробностей о грядущем устройстве Raspberry Pi/Sony, поэтому мы решили изучить платформу AITRIOS, и в настоящее время существует единственная аппаратная платформа – смарт-камера LUCID Vision Labs SENSAiZ SZP123S-001 на базе датчика интеллектуального зрения Sony IMX500, предназначенная для работы с Sony AITRIOS программное обеспечение.
LUCID SENSAiZ Интеллектуальная камера
Технические характеристики SENSAiZ SZP123S-001:
- Датчик изображения — 12,33-мегапиксельный CMOS-датчик Sony IMX500 с прогрессивной разверткой, скользящим затвором, встроенным DSP и специальная встроенная SRAM для обеспечения высокоскоростной обработки изображений с использованием искусственного интеллекта.
- Фокусное расстояние – 4,35 мм
- Формат сенсора камеры — 1/2,3″
- Пиксели (Г x В) — 4056 x 3040
- Размер пикселя, Г x В – 1,55 x 1,55 мкм
- Сеть — порт 10/100M RJ45
- Источник питания — PoE+ через порт RJ45
- Размеры — 55 х 40 х 35 мм
- Вес 48 грамм
- Температурный диапазон – рабочий: от -10 до +55°C; хранение: от -30 до +60°C
- Операционная система – не названная RTOS
Согласно пресс-релизу на японском языке, платформа разработки AITRIOS для Raspberry Pi будет представлять собой модуль камеры, основанный на том же интеллектуальном датчике зрения Sony «IMX500/IMX501», поэтому, возможно, Raspberry Pi Camera Module 4 или Raspberry PI AI Camera 1… с поддержкой для программного обеспечения Sony для искусственного интеллекта.
Смарт-камера LUCID Vision Labs SENSAiZ SZP123S-001 уже доступна по цене 335 долларов США и работает исключительно с программной платформой AITRIOS. Обработка изображений и анализ изображений искусственного интеллекта выполняются непосредственно в камере без необходимости внешней обработки или памяти с использованием DSP и SRAM на датчике IMX500. Также планируются Wi-Fi-камера и наружная камера, обе основаны на одном и том же датчике IMX500, но в настоящее время недоступны.
Программное обеспечение Sony AITRIOS
Приложения AITRIOS можно разрабатывать с помощью консольного веб-приложения, приобретаемого на «Портале» как SaaS, и SDK на GitHub. На веб-сайте разработчиков Sony для платформы AITRIOS описаны ее основные компоненты:
- Портал — веб-приложение, которое служит шлюзом для предоставления услуг AITRIOS.
- Консоль — веб-приложение, предоставляющее различные функции для периферийных устройств ИИ. Используйте веб-интерфейс или консоль управления с помощью REST API или SDK. Он включает в себя функции для развертывания моделей ИИ и приложений машинного зрения на периферийных устройствах ИИ, повторного обучения моделей ИИ, извлечения предполагаемых метаданных и захваченных изображений, а также мониторинга состояния и управления устройствами.
- Устройство Edge AI — устройство, оснащенное интеллектуальным датчиком зрения от Sony Semiconductor Solutions Corporation, таким как описанный выше SENSAiZ SZP123S-001, или будущая платформа разработки Raspberry Pi.
- Cloud SDK — SDK для разработки облачных приложений службы машинного зрения. Используйте API, чтобы воспользоваться преимуществами возможностей периферийных устройств с искусственным интеллектом в консоли. Cloud SDK опубликован на GitHub (Примечание: частный репозиторий, к которому вы можете получить доступ после регистрации). Sony рекомендует использовать GitHub Codespaces, но разработку программного обеспечения также можно выполнять с помощью Visual Studio Code и Docker на локальном ПК.
- Vision and Sensing Application SDK — SDK для разработки моделей ИИ и приложений пост-зрения для развертывания на периферийных устройствах ИИ. Sony предоставляет функции для переобучения, развертывания и оценки моделей ИИ, а также для приложений пост-визуализации функции для развертывания и оценки приложений, а также функции отладки перед развертыванием. Он также опубликован в частном репозитории на GitHub.
- Базовая модель ИИ — предварительно обученная модель ИИ, доступная для покупки на портале, например, для обнаружения человеческого тела.
- Камера FW — прошивка устройства Edge AI предоставляется Sony.
- Сертификат устройства — файл аутентификации для использования периферийных устройств с искусственным интеллектом, который вы получаете по электронной почте после покупки устройства после запроса у Sony.
Для всех загрузок, поддержки и учебных пособий требуется регистрация на веб-сайте разработчика. Мы зарегистрировались, чтобы попытаться получить доступ к ресурсам, но даже после успешной регистрации вам все равно нужно запросить доступ к закрытым репозиториям GitHub, а также приобрести лицензию на программное обеспечение AITRIOS:
- Базовая плата в размере 50 долларов США. В качестве платы за использование консоли взимается фиксированная ежемесячная плата.
- Ежемесячная плата за подключение 13 долларов США за устройство
- Конвертер моделей — 2 доллара США каждый раз
- Переподготовка моделей – 0,17 долларов США за минуту.
Мы так и не нашли пробного предложения, поэтому оценивать устройство сейчас непросто, поскольку вам придется пройти через множество испытаний. Надеемся, что это изменится после запуска платформы Raspberry Pi.
Тем не менее, платформа должна оказаться интересной, так как Edge Impulse на днях загрузил видео с конференции TinyML 2023, показывающее Sony IMX500 с использованием программного обеспечения AITRIOS в сравнении с ESP-Eye или Raspberry Pi с модулем камеры. По производительности, с точки зрения количества кадров в секунду, вторая на порядок лучше: комплект разработчика Sony получает 4,5 кадра в секунду против 0,3 кадра в секунду для ESP-Eye и немного лучше, чем 3,1 кадра в секунду для Raspberry Pi, но энергопотребление намного ниже – около 26 МВт на вывод против примерно 95 МВт на вывод у Pi.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.