Был рассмотрен третий комплект для разработки UP AI на базе Intel , работающий под управлением Ubuntu 24.04 Pro. Ранее тестировалась плата UP TWL SBC с Nx Meta и UP AI Toolkit , и большинство задач ИИ выполнялись, но поскольку они работали на CPU или GPU Intel N150, производительность для большинства из них была неоптимальной. Теперь перейдем к обзору «среднего» комплекта для разработки UP Squared Pro TWL, еще одной SBC с процессором Intel N150, оснащенной M.2 AI-акселератором Hailo-8L с производительностью 13 TOPS.
Как UP TWL, так и UP Squared Pro TWL оснащены флеш-памятью eMMC объемом 64 ГБ, и выяснилось, что этого объема может быть недостаточно, поскольку программное обеспечение и модели ИИ могут занимать много места. UP Squared Pro TWL имеет несколько разъемов M.2, поэтому перед установкой UP AI toolkit будет установлен NVMe SSD для расширения хранилища. Как обычно, перед переходом к ИИ-части будут запущены несколько тестов производительности и проверены ключевые аппаратные возможности платы.
Системная информация платы UP Squared Pro TWL SBC
Как и UP TWL, плата UP Squared Pro TWL на базе Intel N150 поставляется с предустановленной Ubuntu 24.04.3 LTS на флеш-памяти eMMC объемом 64 ГБ (62,6 ГБ) и 8 ГБ оперативной памяти.
Более подробную информацию можно получить с помощью утилиты inxi:
devkit@devkit-UPN-TWL01:~$ sudo inxi -Fc0
System:
Host: devkit-UPN-TWL01 Kernel: 6.14.0-32-generic arch: x86_64 bits: 64
Console: pty pts/1 Distro: Ubuntu 24.04.3 LTS (Noble Numbat)
Machine:
Type: Desktop Mobo: AAEON model: UPN-TWL01 v: V1.0 serial: 250162900 UEFI: American Megatrends
LLC. v: UNTWAM10 date: 03/11/2025
CPU:
Info: quad core model: Intel N150 bits: 64 type: MCP cache: L2: 2 MiB
Speed (MHz): avg: 700 min/max: 700/3600 cores: 1: 700 2: 700 3: 700 4: 700
Graphics:
Device-1: Intel Alder Lake-N [Intel Graphics] driver: i915 v: kernel
Device-2: Sunplus Innovation FHD Camera driver: snd-usb-audio,uvcvideo type: USB
Display: server: X.org v: 1.21.1.11 with: Xwayland v: 23.2.6 driver: gpu: i915 tty: 101x23
resolution: 1920x1080
API: EGL v: 1.5 drivers: iris,swrast platforms: gbm,surfaceless,device
API: OpenGL v: 4.6 compat-v: 4.5 vendor: mesa v: 25.0.7-0ubuntu0.24.04.2
note: console (EGL sourced) renderer: Mesa Intel Graphics (ADL-N), llvmpipe (LLVM 20.1.2 256
bits)
Audio:
Device-1: Intel driver: intel-ipu6
Device-2: Intel Alder Lake-N PCH High Definition Audio driver: snd_hda_intel
Device-3: Sunplus Innovation FHD Camera driver: snd-usb-audio,uvcvideo type: USB
API: ALSA v: k6.14.0-32-generic status: kernel-api
Network:
Device-1: Intel Ethernet I226-IT driver: igc
IF: enp1s0 state: up speed: 2500 Mbps duplex: full mac: 00:07:32:c9:de:a0
Device-2: Intel Ethernet I226-IT driver: igc
IF: enp2s0 state: down mac: 00:07:32:c9:de:a1
IF-ID-1: docker0 state: down mac: ca:0a:2f:54:5d:93
Drives:
Local Storage: total: 58.32 GiB used: 12.65 GiB (21.7%)
ID-1: /dev/mmcblk0 model: TY2964 size: 58.32 GiB type: Removable
Partition:
ID-1: / size: 56.07 GiB used: 12.64 GiB (22.5%) fs: ext4 dev: /dev/mmcblk0p2
ID-2: /boot/efi size: 1.05 GiB used: 6.1 MiB (0.6%) fs: vfat dev: /dev/mmcblk0p1
Swap:
ID-1: swap-1 type: file size: 4 GiB used: 0 KiB (0.0%) file: /swap.img
Sensors:
System Temperatures: cpu: 39.0 C mobo: N/A
Fan Speeds (rpm): N/A
Info:
Memory: total: 8 GiB available: 7.5 GiB used: 1.17 GiB (15.6%) igpu: 60 MiB
Processes: 210 Uptime: 55m Init: systemd target: graphical (5) Shell: Sudo inxi: 3.3.34Большинство основных функций, судя по всему, определяются правильно, включая два порта 2.5GbE RJ45 (подключен только один) и подключенную к плате камеру UP USB. Модуль Hailo-8L здесь не указан, но его можно найти с помощью lspci.
devkit@devkit-UPN-TWL01:~$ lspci | grep -i Hailo
03:00.0 Co-processor: Hailo Technologies Ltd. Hailo-8 AI Processor (rev 01)Тесты производительности
Перед запуском любых тестов производительности на UP Squared Pro необходимо проверить лимиты энергопотребления :
devkit@devkit-UPN-TWL01:~$ sudo apt install powercap-info
devkit@devkit-UPN-TWL01:~$ sudo powercap-info -p intel-rapl
enabled: 1
Zone 0
name: package-0
enabled: 1
max_energy_range_uj: 262143328850
energy_uj: 8620533961
Constraint 0
name: long_term
power_limit_uw: 6000000
time_window_us: 27983872
max_power_uw: 6000000
Constraint 1
name: short_term
power_limit_uw: 25000000
time_window_us: 2440
max_power_uw: 0
Constraint 2
name: peak_power
power_limit_uw: 78000000
max_power_uw: 0
Zone 0:0
name: core
enabled: 0
max_energy_range_uj: 262143328850
energy_uj: 1227366303
Constraint 0
name: long_term
power_limit_uw: 0
time_window_us: 976
Zone 0:1
name: uncore
enabled: 0
max_energy_range_uj: 262143328850
energy_uj: 1736689
Constraint 0
name: long_term
power_limit_uw: 0
time_window_us: 976По умолчанию PL1 установлен на 6 Вт, а PL2 — на 25 Вт. Как уже было замечено в обзоре UP TWL , это ограничивает производительность в тестах, таких как sbc-bench.sh. Поскольку речь здесь не идет о потребительском устройстве, это может быть оправданно, так как платы UP TWL и UP Squared Pro TWL рассчитаны на работу в температурном диапазоне от -20°C до 70°C с соответствующими активными системами охлаждения, и надежность может быть важнее производительности. Заказчику решать, подходит ли для его приложения увеличение лимитов энергопотребления.
Для сравнения в BIOS был установлен PL1 на 12 Вт, так как это значение используется в других процессорах Intel Alder Lake-N/Twin Lake.
Время запустить sbc-bench.sh:
devkit@devkit-UPN-TWL01:~$ sudo ./sbc-bench.sh -r
Starting to examine hardware/software for review purposes...
sbc-bench v0.9.72
Installing needed tools: apt-get -f -qq -y install links mmc-utils smartmontools stress-ng, p7zip 16.02, tinymembench, ramlat, mhz, cpufetch, cpuminer. Done.
Checking cpufreq OPP. Done.
Executing tinymembench. Done.
Executing RAM latency tester. Done.
Executing OpenSSL benchmark. Done.
Executing 7-zip benchmark. Done.
Throttling test: heating up the device, 5 more minutes to wait. Done.
Checking cpufreq OPP again. Done (11 minutes elapsed).
Results validation:
* Measured clockspeed not lower than advertised max CPU clockspeed
* No swapping
* Background activity (%system) OK
* Powercap detected. Details: "sudo powercap-info -p intel-rapl" -> https://tinyurl.com/4jh9nevj
# AAEON UPN-TWL01 V1.0 / N150
Tested with sbc-bench v0.9.72 on Thu, 20 Nov 2025 11:44:14 +0100.
### General information:
Information courtesy of cpufetch:
Name: Intel(R) N150
Microarchitecture: Alder Lake
Technology: 10nm
Max Frequency: 3.600 GHz
Cores: 4 cores
AVX: AVX,AVX2
FMA: FMA3
L1i Size: 64KB (256KB Total)
L1d Size: 32KB (128KB Total)
L2 Size: 2MB
L3 Size: 6MB
N150, Kernel: x86_64, Userland: amd64
CPU sysfs topology (clusters, cpufreq members, clockspeeds)
cpufreq min max
CPU cluster policy speed speed core type
0 0 0 700 3600 -
1 0 1 700 3600 -
2 0 2 700 3600 -
3 0 3 700 3600 -
7682 KB available RAM
### Clockspeeds (idle vs. heated up):
Before at 43.0°C:
cpu0: OPP: 3600, Measured: 3582
After at 66.0°C:
cpu0: OPP: 3600, Measured: 3584
### Performance baseline
* memcpy: 10235.4 MB/s, memchr: 15241.1 MB/s, memset: 10065.4 MB/s
* 16M latency: 161.3 141.3 162.2 141.8 160.5 122.7 113.0 115.2
* 128M latency: 185.6 170.8 186.4 172.4 185.7 161.7 142.7 137.4
* 7-zip MIPS (3 consecutive runs): 12462, 10946, 10927 (11440 avg), single-threaded: 3679
* `aes-256-cbc 939480.61k 1245106.62k 1287293.78k 1296532.14k 1301331.97k 1299933.87k`
* `aes-256-cbc 953569.31k 1239079.40k 1286866.86k 1298183.85k 1299472.38k 1301288.28k`
### PCIe and storage devices:
* Intel Ethernet I226-IT: Speed 5GT/s, Width x1, driver in use: igc,
* Intel Ethernet I226-IT: Speed 5GT/s, Width x1, driver in use: igc,
* 58.3GB "Kingston TY2964" HS400 Enhanced strobe eMMC 5.1 card as /dev/mmcblk0: date 05/2025, manfid/oemid: 0x000070/0x0100, hw/fw rev: 0x0/0x5b00000000000000
* Winbond W25Q256JW 32MB SPI NOR flash, drivers in use: spi-nor/intel-spi
### Swap configuration:
* /swap.img on /dev/mmcblk0p2: 4.0G (0K used) on MMC storage
### Software versions:
* Ubuntu 24.04.3 LTS (noble)
* Compiler: /usr/bin/gcc (Ubuntu 13.3.0-6ubuntu2~24.04) 13.3.0 / x86_64-linux-gnu
* OpenSSL 3.0.13, built on 30 Jan 2024 (Library: OpenSSL 3.0.13 30 Jan 2024)
### Kernel info:
* `/proc/cmdline: BOOT_IMAGE=/boot/vmlinuz-6.14.0-35-generic root=UUID=622b74e1-28c3-43d7-bbda-67313e3e422b ro quiet splash vt.handoff=7`
* Vulnerability Reg file data sampling: Mitigation; Clear Register File
* Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
* Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
* Vulnerability Vmscape: Mitigation; IBPB before exit to userspace
* Kernel 6.14.0-35-generic / CONFIG_HZ=1000
Waiting for the device to cool down........................................................... 33.0°C^CТермического троттлинга не наблюдается, температура процессора после теста составила 66,0°C. Производительность примерно соответствует другим системам на базе Intel N100/N150 по среднему показателю 7-zip: 11 440 MIPS. Для справки: UP TWL показала 11 690 MIPS в том же тесте. Если требуется немного увеличить производительность, можно также переключиться на PL1=15 Вт; для справки, мини-ПК GEEKOM Mini Air12 Lite достиг 12750 MIPS с этим лимитом мощности.
Для остальных тестов был возвращен PL1 = 6 Вт, так как это значение по умолчанию.
Тестирование возможностей платы UP Squared Pro TWL SBC
Также были проверены большинство аппаратных возможностей платы UP Squared Pro TWL SBC:
- HDMI – Видео: OK, Аудио: OK
- DisplayPort – Видео: OK, Аудио: OK (улучшение по сравнению с платой UP 7100 SBC , где аудио через DisplayPort не работало)
- eDP – Пропущено, нет оборудования для тестирования
- Накопители
- Флеш-память eMMC – OK: последовательное чтение 314 МБ/с, последовательная запись 230 МБ/с.
devkit@devkit-UPN-TWL01:~$ iozone -e -I -a -s 100M -r 4k -r 16k -r 512k -r 1024k -r 16384k -i 0 -i 1 -i 2 random random bkwd record stride kB reclen write rewrite read reread read write read rewrite read fwrite frewrite fread freread 102400 4 55207 60063 39987 39734 36383 58683 102400 16 129433 132180 95092 94934 73105 126342 102400 512 201964 207886 251420 252583 248249 199515 102400 1024 219621 218312 280656 280788 280001 218985 102400 16384 230705 235964 314221 315697 315242 231700[Format Time: 0.0005 seconds]
- Разъем M.2 2280 PCIe протестирован с NVMe SSD WD Black SN850X 2 ТБ – OK для PCIe Gen3 x2: последовательное чтение 1 703 МБ/с, последовательная запись 1 700 МБ/с.
devkit@devkit-UPN-TWL01:/media/nvme0n1p1$ iozone -e -I -a -s 1000M -r 4k -r 16k -r 512k -r 1024k -r 16384k -i 0 -i 1 -i 2 random random bkwd record stride kB reclen write rewrite read reread read write read rewrite read fwrite frewrite fread freread 1024000 4 163308 263404 179035 180555 84427 240588 1024000 16 471697 634324 544889 545648 221468 646226 1024000 512 1530045 1553857 1524317 1525846 1320891 1552316 1024000 1024 1599613 1611895 1551181 1553878 1491969 1608990 1024000 16384 1700501 1699858 1703352 1704833 1700982 1700776[Format Time: 0.0005 seconds]
- Флеш-память eMMC – OK: последовательное чтение 314 МБ/с, последовательная запись 230 МБ/с.
- Сеть Gigabit Ethernet 2.5 Гбит/с
- LAN1 (верхний) – OK (iperf3 DL: 2.35 Гбит/с, UL: 2.35 Гбит/с, полный дуплекс: 2.35/2.35 Гбит/с)
- LAN2 (нижний) – OK (iperf3 DL: 2.35 Гбит/с, UL: 2.35 Гбит/с, полный дуплекс: 2.35/2.35 Гбит/с)
- Порты USB протестированы с корпусом ORICO для NVMe SSD (раздел EXT-4), RF-адаптером для комбо беспроводной клавиатуры/мыши и USB-камерой
- Верхний – 10 Гбит/с; протестировано до 1 0007 МБ/с с iozone3
- Нижний – 10 Гбит/с; протестировано до 1 008 МБ/с с iozone3
- RTC – OK
devkit@devkit-UPN-TWL01:~$ sudo apt install util-linux-extra devkit@devkit-UPN-TWL01:~$ timedatectl Local time: Mon 2025-11-24 04:54:18 CET Universal time: Mon 2025-11-24 03:54:18 UTC RTC time: Mon 2025-11-24 03:54:18 Time zone: Europe/Amsterdam (CET, +0100) System clock synchronized: yes NTP service: active RTC in local TZ: no devkit@devkit-UPN-TWL01:~$ sudo hwclock -r 2025-11-24 04:54:20.985502+01:00[Format Time: 0.0004 seconds]
- GPIO – OK – Также см. распиновку 40-контактного GPIO-разъема для всех плат UP .
devkit@devkit-UPN-TWL01:~$ ls /dev/gpiochip* /dev/gpiochip0 /dev/gpiochip1 devkit@devkit-UPN-TWL01:~$ sudo gpioinfo 0 gpiochip0 - 360 lines: line 0: unnamed unused input active-high line 1: unnamed unused input active-high line 2: unnamed unused input active-high line 3: unnamed unused input active-high line 4: unnamed unused input active-high line 5: unnamed unused input active-high line 6: unnamed unused input active-high line 7: unnamed unused input active-high ... devkit@devkit-UPN-TWL01:~$ sudo gpioinfo 1 gpiochip1 - 28 lines: line 0: unnamed unused input active-high line 1: unnamed unused input active-high line 2: unnamed unused input active-high line 3: unnamed unused input active-high line 4: unnamed unused input active-high line 5: unnamed unused input active-high line 6: unnamed unused input active-high line 7: unnamed unused input active-high ...[Format Time: 0.0007 seconds]
Также протестирована конфигурация с двумя дисплеями с использованием портативного монитора HDMI Full HD ( CrowView ) и 4K монитора на базе Google TV (KTC A32Q8) с входом DisplayPort, и здесь проблем не возникло. Должна поддерживаться работа даже с тремя дисплеями с использованием разъема eDP.
Изначально звука не было, потому что у HDMI-дисплея нет встроенных динамиков, но переключение на HDMI / DisplayPort 2 позволило получить звук через динамики монитора KTC.
Кроме двух устройств вывода звука, микрофон от камеры UP USB также отображается как устройство ввода аудио.
Таким образом, все функции работают в соответствии с ожиданиями, серьезных проблем не обнаружено.
ИИ-тестирование на плате UP Squared Pro TWL Intel N150 SBC с акселератором Hailo-8
Теперь на системе будет запущено несколько ИИ-задач с использованием Network Optix Nx Meta и AAEON UP AI toolkit, как и на UP TWL, но с использованием 13-TOPS ИИ-акселератора Hailo-8L, входящего в комплект.
Network Optix Nx Meta
Для этого теста будет использована встроенная флеш-память eMMC платы UP Squared Pro TWL и Hailo-8L, оснащенный радиатором для охлаждения.
Установка с помощью Nx AI Certification Test :
sudo apt dist-upgrade
sudo apt install python3-pip python3-venv
mkdir nxai_test
cd nxai_test
wget https://artifactory.nxvms.dev/artifactory/nxai_open/NXAITest/nxai_test.tgz
tar -xvf nxai_test.tgz
python3 -m venv ./
source ./bin/activate # activate python venv
pip3 install -r requirements.txt
./Utilities/install_nxai_manager.sh
python3 Utilities/install_acceleration_library.py
python3 Utilities/download_models.pyЭто, по сути, тот же процесс, что и для UP TWL AI Dev Kit, за исключением шага install_acceleration_library.py, где был выбран ONNX-HailoRT:
(nxai_test) devkit@devkit-UPN-TWL01:~/nxai_test$ python3 Utilities/install_acceleration_library.py
Detecting compatible acceleration hardware...
ls: cannot access '/dev/memx*': No such file or directory
ls: cannot access '/dev/dxrt*': No such file or directory
System detected more than one compatible acceleration runtime for your device. Please choose one to install:
1 : Nx CPU
2 : ONNX-HailoRT
3 : OpenVinoПосле завершения установки можно запустить тест следующей командой:
python3 all_suites.pyВсе выполняется в терминале, как и ожидалось, но было получено много неудачных тестов:
Running test: Model-Yolo5su-[256x256]
Error: Could not find compatible model: cd6c24d5-e1ae-4c87-a481-8ac9dd426efc
Loading test settings...
Failed to load test settings. Aborting test.В конечном итоге успешно завершились только 6 тестов из 46, когда использовался вариант Nx CPU:
###################################################
All model benchmarks completed.
Benchmark results:
80-classes-object-detector[640x640]: 38.04 FPS
80-classes-object-detector[320x320]: 90.31 FPS
postprocessor-python-example: 88.40 FPS
postprocessor-python-image-example: 90.55 FPS
postprocessor-c-image-example: 83.18 FPS
postprocessor-c-example: 89.15 FPS
###################################################Некоторые тесты на стабильность не смогли запуститься:
###################################################
--------------------------------------------------------
Running test suite: Stability-Test-Suite
--------------------------------------------------------
Running Stability Test Suite
---------------------------------------------------
Running test: multi_model_test
Creating backup settings file...
Error: Could not find compatible model: 5d321a44-1d21-11ec-88ac-9600004e79cc
Loading test settings...
Failed to load test settings. Aborting test.
---------------------------------------------------
---------------------------------------------------
Running test: overload_test
Creating backup settings file...
Loading test settings...
Creating Unix socket server...
Starting Edge AI Manager
Sending socket input
Waiting for response from Edge AI Manager...
Messages: 100534 Rate: 27.9 Transfer: 694.93MB/s
Sclblmod Memory: 120.20 MB Relative to start: 104%
Sclbld Memory: 79.20 MB Relative to start: 112%
Stopping Edge AI Manager
Terminated AI Manager: 0
Test completed succesfully.
Restoring backup settings file...
Test completed without unhandled exception.… но три теста, которые смогли запуститься, прошли нормально:
-------------------------------------------------------
Tests passed: 3 / 3
-------------------------------------------------------Полный лог можно посмотреть на pastebin CNX Software .
Был задан вопрос AAEON, нормально ли это, и получен ответ:
Certain AI accelerators have compatibility with only with some models so it is expected.If CNX Software want to run the tests for Hailo, they have to select hailo and perform the tests.Then they can do the same for openvino and select the specific compute unit (e.g. GPU) to run the tests on the Intel SoC), Nx CPU is generic and I would not do it.
Для комплекта UP TWL AI Dev Kit был выбран Nx CPU, поэтому было решено попробовать библиотеки и модели акселератора OpenVino, так как UP Squared Pro TWL основана на том же процессоре Intel N150:
(nxai_test) devkit@devkit-UPN-TWL01:~/nxai_test$ python3 Utilities/install_acceleration_library.py
Detecting compatible acceleration hardware...
ls: cannot access '/dev/memx*': No such file or directory
ls: cannot access '/dev/dxrt*': No such file or directory
System detected more than one compatible acceleration runtime for your device. Please choose one to install:
1 : Nx CPU
2 : ONNX-HailoRT
3 : OpenVino
...
(nxai_test) python3 Utilities/download_models.pyРезультаты:
###################################################
All model benchmarks completed.
Benchmark results:
Model-Yolov8s-[640x640]: 2.06 FPS
Model-Clip: 6.07 FPS
Pipeline-Conditional: 229.10 FPS
Model-Yolov9-[640x640]: 0.59 FPS
Model-Mobilenet-V3: 56.08 FPS
Model-Yolov9-m-converted-[640x640]: 0.75 FPS
Model-Yolov9-e-converted-[640x640]: 0.31 FPS
Model-Yolo5su-[256x256]: 14.01 FPS
Empty-Large: 108.94 FPS
Model-Yolov7x-[640x640]: 0.20 FPS
Model-Yolov9-m-[640x640]: 0.64 FPS
80-classes-object-detector[640x640]: 3.73 FPS
Multi-Model: 19.48 FPS
Model-Yolov9-c-[640x640]: 0.36 FPS
Quantized-INT8: 10.66 FPS
Model-Resnet-18: 18.72 FPS
Model-Face-Locator: 97.93 FPS
80-classes-object-detector[320x320]: 14.73 FPS
Pipeline-Feature-Extraction: 85.01 FPS
Model-PPE: 9.20 FPS
Model-Regnet-Y: 76.02 FPS
Model-Emotion-Recognizer: 368.50 FPS
Model-Yolo5su-[1280x1280]: 0.55 FPS
Model-Densenet: 0.30 FPS
Model-Yolov9-e-[640x640]: 0.59 FPS
Model-Yolov4-[128x128]: 73.90 FPS
Model-Yolov9-converted-[640x640]: 0.59 FPS
Model-Yolo5su-[640x640]: 2.31 FPS
Model-Resnet-50: 8.49 FPS
Model-Yolov4-[1280x1280]: 0.94 FPS
Model-Yolov8l-[640x640]: 0.42 FPS
Model-Yolov4-[640x640]: 3.78 FPS
Model-Yolov7-Tiny-[1280x1280]: 1.02 FPS
Empty-Small: 1057.12 FPS
Quantized-FP32: 8.88 FPS
Model-Yolov7x-[1280x1280]: 0.09 FPS
Model-Yolov7-Tiny-[640x640]: 4.01 FPS
Quantized-FP16: 6.17 FPS
Model-ViT-Tiny: 37.05 FPS
Model-Yolov4-[320x320]: 14.68 FPS
Pipeline-Direct: 14.60 FPS
Postprocessor-Illegal-Dumping: 3.91 FPS
postprocessor-python-example: 14.73 FPS
postprocessor-python-image-example: 15.17 FPS
postprocessor-c-image-example: 14.75 FPS
postprocessor-c-example: 14.76 FPS
###################################################
--------------------------------------------------------Полный вывод см. на pastebin .
Теперь есть некоторые данные для сравнения Intel N150 с Nx CPU, OpenVino и ИИ-акселератором Hailo-8L.
|
UP TWL
|
UP Squared Pro TWL
|
||
|---|---|---|---|
|
Nx CPU
|
OpenVino
|
Hailo-8L
|
|
| 80-classes-object-detector[640×640] |
3.91 FPS
|
3.73 FPS
|
38.04 FPS
|
| 80-classes-object-detector[320×320] |
15.24 FPS
|
14.73 FPS
|
90.31 FPS
|
| postprocessor-python-example |
14.98 FPS
|
14.73 FPS
|
88.40 FPS
|
| Postprocessor-python-image-example |
15.73 FPS
|
15.17 FPS
|
90.55 FPS
|
| postprocessor-c-image-example |
14.77 FPS
|
14.75 FPS
|
83.18 FPS
|
| postprocessor-c-example |
14.75 FPS
|
14.76 FPS
|
89.15 FPS
|
| Model-Yolov9-e-converted-[640×640] |
0.32 FPS
|
0.59 FPS
|
Failed
|
| Model-Yolov4-[320×320] |
15.25 FPS
|
14.68 FPS
|
Failed
|
| Model-Mobilenet-V3 |
48.45 FPS
|
56.08 FPS
|
Failed
|
Первое замечание: в большинстве случаев разница между Nx CPU и OpenVino незначительна. Хотя поддержка Hailo-8L реализована только в нескольких тестах в Nx Meta, она дает значительные преимущества в тех тестах, где она есть, с увеличением FPS в 6-10+ раз.
Поскольку для ИИ-тестирования требуется больше места для хранения, также был установлен NVMe SSD объемом 2 ТБ. Но из-за конструкции платы это также означало необходимость снять радиатор с Hailo-8L. Поэтому давайте запустим Nx AI certification test еще раз.
Стоит отметить, что возникли проблемы с выполнением команд на NVMe SSD, потому что по какой-то причине он был смонтирован с тегом noexec. Пришлось перемонтировать его следующим образом:
sudo mount -o remount,exec /media/nvme0n1p1Или же следующая команда решает проблему:
pmount -e /dev/nvme0n1p1Был повторно запущен NX AI Benchmarks с теми же шестью успешными тестами:
...
###################################################
All model benchmarks completed.
Benchmark results:
80-classes-object-detector[320x320]: 110.10 FPS
80-classes-object-detector[640x640]: 29.80 FPS
postprocessor-c-example: 88.98 FPS
postprocessor-python-example: 88.07 FPS
postprocessor-c-image-example: 80.70 FPS
postprocessor-python-image-example: 84.76 FPS
###################################################
--------------------------------------------------------
...
-------------------------------------------------------
Tests passed: 3 / 3
-------------------------------------------------------При желании можно проверить полный лог . Тесты постпроцессора не затронуты, но результаты 80-classes-object-detector сильно разнятся: 110.10 FPS для изображений 320×320 (вместо 90.31 FPS) и 29.80 FPS для изображений 640×640 (вместо 38.04 FPS).
Демо AAEON UP AI toolkit
Во второй части ИИ-демо планировалось использовать примеры UP AI toolkit, доступные на GitHub .
Шаги для установки и запуска AAEON UP AI toolkit на NVMe SSD:
cd /media/nvme0n1p1
git clone https://github.com/up-division/up-ai/
cd up-ai
chmod +x prepare.sh start_app.sh
./prepare.sh
sudo reboot
cd ~/up-ai
./start_app.shКак и в обзоре UP TWL AI Dev Kit, из-за HTTP-ошибок, возможно, из-за местоположения в Таиланде, пришлось несколько раз запускать скрипт prepare.sh.
Starting EAST application with PM2...
pm2
[ 'start', 'npm', '--name', '"EAST"', '--', 'start' ]
[PM2] Starting /usr/bin/npm in fork_mode (1 instance)
[PM2] Done.
┌────┬────────────────────┬──────────┬──────┬───────────┬──────────┬──────────┐
│ id │ name │ mode │ ↺ │ status │ cpu │ memory │
├────┼────────────────────┼──────────┼──────┼───────────┼──────────┼──────────┤
│ 0 │ "EAST" │ fork │ 0 │ online │ 0% │ 38.4mb │
└────┴────────────────────┴──────────┴──────┴───────────┴──────────┴──────────┘
Running driver installation script...
[sudo] password for devkit:
Find hailo
bash: /home/devkit/inst/linux/app/install_hailo.sh: No such file or directory
Driver is already installed !
Enviroment Installation is Complete! Please Reboot!Похоже, в скрипте был жестко заданный путь, поэтому он был запущен вручную.
(.venv) devkit@devkit-UPN-TWL01:/media/nvme0n1p1/up-ai$ chmod +x ./inst/linux/app/install_hailo.sh
(.venv) devkit@devkit-UPN-TWL01:/media/nvme0n1p1/up-ai$ ./inst/linux/app/install_hailo.sh
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
dkms is already the newest version (3.0.11-1ubuntu13).
linux-headers-6.14.0-35-generic is already the newest version (6.14.0-35.35~24.04.1).
linux-headers-6.14.0-35-generic set to manually installed.
The following package was automatically installed and is no longer required:
libllvm19
Use 'sudo apt autoremove' to remove it.
0 upgraded, 0 newly installed, 0 to remove and 28 not upgraded.
Install Hailo pcie driver now......
ii hailort-pcie-driver 4.20.0 all Hailo PCIe driver and firmware
Hailort-pcie-driver is already installed.
Install HailoRT now......
ii hailort 4.20.0 amd64 HailoRT
HailoRT is already installed.На этом этапе система была перезагружена, как рекомендовано, и скрипт запущен в терминале на рабочем столе Ubuntu:
sudo reboot
pmount -e /dev/nvme0n1p1
cd /media/nvme0n1p1/up-ai
./start_app.shДашборд UP Edge Sizing Tool открылся в Firefox, как и в обзоре UP TWL AI Dev Kit.
Но есть небольшая проблема… NPU «недоступен». Были опробованы другие варианты, запустив меню:
=============================
Function Menu
=============================
1. Object detect -- Video
2. Object detect -- Camera
3. Chatbot
0. Exit
=============================
Please input : 2
Find hailo
====================================================
Install Hailo Object Detect Packages
====================================================
Install Hailo tappas packages......
...Но возникли проблемы из-за несоответствия версии setuptools и Python 3.12. Была предпринята попытка установить новые пакеты Hailo-8/8L с сайта Hailo, но это не помогло. В итоге был направлен запрос в AAEON, и в течение 3 дней они предоставили обновленный скрипт. Он все равно завершился ошибкой:
Xlib: extension "DRI2" missing on display ":0".
/GstPipeline:pipeline0/GstFPSDisplaySink:hailo_display/GstXvImageSink:xvimagesink0: sync = false
[HailoRT] [error] HEF format is not compatible with device. Device arch: HAILO8L, HEF arch: HAILO8
[HailoRT] [error] CHECK_SUCCESS failed with status=HAILO_HEF_NOT_COMPATIBLE_WITH_DEVICE(93)
[HailoRT] [error] CHECK_SUCCESS failed with status=HAILO_HEF_NOT_COMPATIBLE_WITH_DEVICE(93)
[HailoRT] [error] CHECK_SUCCESS failed with status=HAILO_HEF_NOT_COMPATIBLE_WITH_DEVICE(93)На этом этапе стало известно, что UP AI toolkit работает только с ИИ-акселераторами Hailo-8 и Hailo-10H, но не с Hailo-8L, который, как оказалось, является опцией по умолчанию ( M.2 2230-Hailo 8L ) при покупке комплекта. Поддержка Hailo-8L появится в будущей версии тулкита, но это может занять некоторое время, особенно в преддверии праздников. Поэтому этот момент в обзоре будет пропущен…
Потребляемая мощность
Также была измерена потребляемая мощность комплекта для разработки на базе Twin Lake + Hailo-8L с помощью настенного ваттметра:
- Выключено – 3,4 Вт
- Простой – 9,6 – 10,3 Вт (вентилятор активен постоянно) | с SSD: 11,5 – 12,0 Вт
- Стресс-тест (stress -c 4)
- Первые несколько секунд – 24,3 – 24,4 Вт | с SSD: 25,8 – 26,2 Вт
- Длительные прогоны – 15,1 – 15,3 Вт | с SSD: 16,5 – 16,7 Вт
- Обнаружение объектов – Камера + GPU – Не тестировалось (Hailo-8L пока не поддерживается в UP AI Toolkit)
Плата была подключена к монитору HDMI, 2.5GbE, RF-приёмнику USB для беспроводной клавиатуры и мыши, а также к камере USB.
Заключение
Плата UP Squared Pro TWL AI Dev Kit потенциально является хорошей платформой для разработки ИИ благодаря отличному соотношению цена/производительность. Все основные функции работают хорошо, и по сравнению с UP TWL AI Dev Kit, она добавляет дополнительные возможности, такие как выход видео DisplayPort и слоты расширения M.2. Производительность ИИ почти так же хороша, как на основе Intel Core Ultra 5 225H в UP Xtreme ARL (обзор будет опубликован вскоре) для поддерживаемых тестов. Однако программная поддержка не оптимальна: только несколько тестов работают в Nx Meta, а UP AI Toolkit пока не поддерживается при объединении одноплатного компьютера Intel N150 с ускорителем ИИ Hailo-8L. Он также ограничен флеш-памятью eMMC на 64 ГБ (как и в UP TWL AI Dev Kit), но можно добавить SSD NVMe M.2 для дополнительного хранилища после снятия радиатора с модуля Hailo-8L M.2. Таким образом, в нынешнем состоянии он не идеален, но как только программная поддержка улучшится, он может стать интересной платформой среднего уровня.
Благодарю компанию AAEON за предоставление платы UP Squared Pro TWL AI Dev Kit для обзора с ускорителем ИИ Hailo-8L. В настоящее время она доступна для покупки по цене 469 долларов США в комплекте с ускорителем ИИ Hailo-8L, камерой USB Full HD и блоком питания 12В/6А. В будущем компания планирует предложить другие ускорители ИИ от DeepX и Axelera для достижения производительности ИИ до 214 TOPS.
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.