Примерно год назад начали появляться системы-на-кристалле (SoC) для камер со встроенным NPU или SIMD-инструкциями для ускорения распознавания лиц, обнаружения объектов и много другого, например, такие как процессор Kendryte K210 с низким разрешением и видео процессор Ingenic T31 MIPS с разрешением до 2.5K, и SoC iCatch V37 для камеры с поддержкой до 4К.
Начиная с 2015 года компания Allwinner также выпустила несколько процессоров для камер (V3, V316, S3…), но ни один из них не включал в себя NPU, также как известный ИИ-ускоритель. Теперь это изменилось с появлением новой SoC Allwinner V831 с одним ядром Cortex-A7 для Full HD камер, которая включает в себя 0.2 TOPS (200 GOPS) NPU.
Sochip / SoC Allwinner V831
Технические характеристики:
-
- CPU – одноядерный процессорArm Cortex-A7 @ до 800 МГц с
NEON, 32 Кб L1-кэшем инструкций и 32 Кб L1-кэшем данных, 128 Кб L2-кэшем - ИИ-ускоритель – 0.2 TOPS (200 GOPS) NPU для распознавания лиц, обнаружения объектов и много другого
- Оперативная память – 64 Мб встроенной оперативной памяти DDR2
- Хранилище
- SPI NOR flash, SPI NAND flash, eMMC 5.0
- Загрузка из SPI NOR, SPI NAND, eMMC, SD, USB, UART, one-key FEL
- Дисплей I / F
- RGB выход до 320 x 240 @ 60fps
- BT656 видео выход до 1080p @ 30fps
- Видео подсистема
- Кодирование
- H.264 BP / MP/HP до 1080p60 + VGA @ 60 Гц
- H.265 MP до 1080p90 или 720p30 + 5M @ 30 fps
- H.264 / H.265 поддерживает I / P-кадр, двойной P-кадр
- Максимум 16 областей интереса (regions of interest) без кодирования для ИИ
- Декодирование – H.264 BP / MP / HP, H.265 MP, MJPEG / JPEG MP
- Кодирование
- Поддержка камеры
- 2-полосный вход MIPI CSI до 1080p60
- ISP с максимальным разрешением 2688×2688, 2592×1963 @ 30 fps
- Электронная система стабилизации изображения (EISE)
- Коррекция искажения объектива, рыбий глаз и калибровка PTZ
- 2 видео канала: один до 1080p@60fps, другой до 720p@60fps
- Регулируемые функции 3А, включая автоматическую экспозицию (AE), автоматический баланс белого (AWB) и автоматическую фокусировку (AF)
- Компенсация подсветки, компенсация задней подсветки, гамма-коррекция и улучшение цвета
- Коррекция дефектных пикселей, 2D / 3D шумоподавление
- Аудио – 20-бит аудиокодек, интерфейсы I2S и TDM
- Сетевые возможности – 10 / 100M Ethernet порт с интерфейсом RMII
- USB – 1x OTG порт USB 2.0
- Другая периферия
- До 54 интерфейсов GPIO
- 4x UART, 3x SPI, 1x PWM, 4x I2C/TWI, однопроводный интерфейс
- 2x SD 3.0 / SDIO 3.0 для SDXC карт
- GPADC
- RTC
- Безопасность
- AES, DES, 3DES и XTS
- RSA 512 / 1024 / 2048 / 3072 / 4096 бит, ECC 160 / 224 / 256 / 384 / 521 бит
- HASH-алгоритмы защиты от несанкционированного доступа, реализованные с использованием аппаратного обеспечения, включая MD5 / SHA / HMAC
- TRNG и PRNG
- встроенное хранилище 1Kbits e-Fuse
- Напряжения питания – ядро: 0.9 В; ввод / вывод: 3.3 В
- Упаковка – QFN88, 9 x 9 мм, шаг 0,35 мм
- CPU – одноядерный процессорArm Cortex-A7 @ до 800 МГц с
Allwinner V831 предназначен для мониторинга безопасности, видеорегистраторов, нагрудных видеорегистраторов для полицейских и других решений, которые могут использовать ИИ-ускорение.
Также известно, что есть еще один подобный процессор, способный обрабатывать 4K, но требующий внешнего DRAM, а именно Allwinner V833. Компания Allwinner представила техническое описание для V831 / V833, из которого следует, что вход V833 MIPI CSI поддерживает RAW данные до 2592 x 1936 @ 30fps или 4x 1080p@25fps, кодирование все еще имеет отграничение 1080p90, а само ядро Cortex-A7 работает на частоте 1.2 ГГц с 400 GOPS NPU.
Плата для разработки Sochip V831
Плата для разработки состоит из четырех частей – основной печатной платой на базе процессора Allwinner V831, которая включает в себя Fast Ethernet порт, микро USB порт, слот для микро SD-карты, и различные разъемы, платы с камерой, плата с ИК-светодиодами, и 2.4-дюймовый ЖК-дисплей.
Плата для разработки Sochip V831 предназначена для компаний, планирующих разработать IP-камеру с функциями искусственного интеллекта и ее можно приобрести на Alibaba за $440. Сам чип должен стоить несколько долларов, если покупать в больших объемах.
Программное обеспечение и документация
Вы найдете некоторую WiP документацию на странице Sochip Wiki. Исходный код Linux (Tina) доступен через Git-сервер компании, но вам нужно будет предоставить открытый ключ SSH (id_rsa.pub), название компании и адрес электронной почты для Sochip, чтобы получить возможность загрузить код после подтверждения. Полная документация также доступна через FTP-сервер, но опять же вам нужно будет получить логин и пароль от Sochip.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.