Обзор UP Xtreme ARL AI Dev Kit — тесты и AI-нагрузки на одноплатной системе Intel Core Ultra 5 225H Arrow Lake

Была использована та же процедура, что и с предыдущими моделями: на предустановленной операционной системе Ubuntu 24.04 Pro собрана системная информация, запущены некоторые тесты, а также выполнены AI-задачи с использованием Nx Meta и системы AAEON UP AI Toolkit. Дополнительно были запущены дополнительные тесты и бенчмарки, поскольку это первая тестируемая платформа на базе Intel Arrow Lake.

Системная информация UP Xtreme ARL в Ubuntu 24.04

Одноплатная система UP Xtreme ARL (AAEON UPX-ARL01) поставляется с предустановленной Ubuntu 24.04.3 LTS на SSD NVMe объемом 256.1 ГБ. Система работает на 14-ядерном процессоре Intel Core Ultra 225H с 16 ГБ оперативной памяти, как и заявлено.

Утилита inxi предоставляет более детальную информацию о системе:

devkit@devkit-UP-TWL01:~$ sudo inxi -Fc0
System:
  Host: devkit-UP-TWL01 Kernel: 6.14.0-32-generic arch: x86_64 bits: 64
  Console: pty pts/1 Distro: Ubuntu 24.04.3 LTS (Noble Numbat)
Machine:
  Type: Desktop Mobo: AAEON model: UPX-ARL01 v: V1.0 serial: 250129224
    UEFI: American Megatrends LLC. v: UXARAM10 date: 07/01/2025
CPU:
  Info: 14-core model: Intel Core Ultra 5 225H bits: 64 type: MCP cache:
    L2: 22 MiB
  Speed (MHz): avg: 1235 min/max: 400/6300:6100:2500 cores: 1: 400 2: 400
    3: 400 4: 400 5: 400 6: 400 7: 400 8: 400 9: 4286 10: 4301 11: 400 12: 4308
    13: 400 14: 400
Graphics:
  Device-1: Intel Arrow Lake-P [Intel Graphics] driver: i915 v: kernel
  Device-2: Sunplus Innovation FHD Camera driver: snd-usb-audio,uvcvideo
    type: USB
  Display: server: X.org v: 1.21.1.11 with: Xwayland v: 23.2.6 driver:
    gpu: i915 tty: 80x24 resolution: 1920x1080
  API: EGL v: 1.5 drivers: iris,swrast platforms: gbm,surfaceless,device
  API: OpenGL v: 4.6 compat-v: 4.5 vendor: mesa v: 25.0.7-0ubuntu0.24.04.2
    note: console (EGL sourced) renderer: Mesa Intel Graphics (ARL), llvmpipe
    (LLVM 20.1.2 256 bits)
Audio:
  Device-1: Intel driver: snd_hda_intel
  Device-2: Sunplus Innovation FHD Camera driver: snd-usb-audio,uvcvideo
    type: USB
  Device-3: C-Media Audio Adapter (Unitek Y-247A)
    driver: cmedia_hs100b,snd-usb-audio,usbhid type: USB
  API: ALSA v: k6.14.0-32-generic status: kernel-api
Network:
  Device-1: Intel driver: e1000e
  IF: enp0s31f6 state: up speed: 1000 Mbps duplex: full
    mac: 00:07:32:c8:9f:93
  Device-2: Intel Ethernet I226-IT driver: igc
  IF: enp2s0 state: down mac: 00:07:32:c8:9f:94
  IF-ID-1: docker0 state: down mac: c2:e3:61:3e:4b:a7
Drives:
  Local Storage: total: 238.47 GiB used: 16.27 GiB (6.8%)
  ID-1: /dev/nvme0n1 vendor: Kingston model: OM8PGP4256Q-A0 size: 238.47 GiB
Partition:
  ID-1: / size: 233.39 GiB used: 16.27 GiB (7.0%) fs: ext4 dev: /dev/nvme0n1p2
  ID-2: /boot/efi size: 1.05 GiB used: 6.1 MiB (0.6%) fs: vfat
    dev: /dev/nvme0n1p1
Swap:
  ID-1: swap-1 type: file size: 4 GiB used: 0 KiB (0.0%) file: /swap.img
Sensors:
  System Temperatures: cpu: 40.0 C mobo: N/A
  Fan Speeds (rpm): N/A
Info:
  Memory: total: 16 GiB note: est. available: 15.11 GiB used: 1.77 GiB (11.7%)
  Processes: 333 Uptime: 20m Init: systemd target: graphical (5) Shell: Sudo
    inxi: 3.3.34

Все компоненты, судя по всему, определяются корректно: порт Gigabit Ethernet, порт Ethernet 2.5 Gbps, камера Sunplus USB FHD (UP USB camera) и SSD Kingston OM8PGP4256Q-A0. Одна странность — максимальная частота процессора, о которой сообщает система: 6300:6100:2500 для P-ядер, E-ядер и LPE-ядер. Ожидается, что P-ядра и E-ядра достигают максимума на частотах 4.9 ГГц и 4.3 ГГц соответственно. Возможно, это означает, что таблицы OPP настроены некорректно, и все тесты и утилиты будут отображать неверные частоты, как указано выше.

Тестирование UP Xtreme ARL

Начнем тестирование со скрипта sbc-bench.sh от Thomas Kaiser:

evkit@devkit-UP-TWL01:~$ sudo ./sbc-bench.sh -r
Starting to examine hardware/software for review purposes...

sbc-bench v0.9.72

Installing needed tools: apt-get -f -qq -y install powercap-utils links mmc-utils smartmontools stress-ng, p7zip 16.02, tinymembench, ramlat, mhz, cpufetch, cpuminer. Done.
Checking cpufreq OPP. Done.
Executing tinymembench. Done.
Executing RAM latency tester. Done.
Executing OpenSSL benchmark. Done.
Executing 7-zip benchmark. Done.
Throttling test: heating up the device, 5 more minutes to wait. Done.
Checking cpufreq OPP again. Done (17 minutes elapsed).

Results validation:

  * Advertised vs. measured max CPU clockspeed: -29.7% before, -29.7% after -> https://tinyurl.com/32w9rr94
  * No swapping
  * Background activity (%system) OK
  * Powercap detected. Details: "sudo powercap-info -p intel-rapl" -> https://tinyurl.com/4jh9nevj

# AAEON UPX-ARL01 V1.0 / Ultra 5 225H

Tested with sbc-bench v0.9.72 on Sat, 29 Nov 2025 08:19:51 +0100.

### General information:

The CPU features 3 clusters of different core types:

    Ultra 5 225H, Kernel: x86_64, Userland: amd64
    
    CPU sysfs topology (clusters, cpufreq members, clockspeeds)
                     cpufreq   min    max
     CPU    cluster  policy   speed  speed   core type
      0        0        0      400    6300   Lion Cove
      1        0        1      400    6300   Lion Cove
      2        0        2      400    6300   Lion Cove
      3        0        3      400    6300   Lion Cove
      4        0        4      400    6100   Skymont
      5        0        5      400    6100   Skymont
      6        0        6      400    6100   Skymont
      7        0        7      400    6100   Skymont
      8        0        8      400    6100   Skymont
      9        0        9      400    6100   Skymont
     10        0       10      400    6100   Skymont
     11        0       11      400    6100   Skymont
     12        0       12      400    2500   Skymont
     13        0       13      400    2500   Skymont

15473 KB available RAM

### Policies (performance vs. idle consumption):

Status of performance related policies found below /sys:

    /sys/module/pcie_aspm/parameters/policy: [default] performance powersave powersupersave

### Clockspeeds (idle vs. heated up):

Before at 47.0°C:

    cpu0-cpu3 (Lion Cove): OPP: 6300, Measured: 4885     (-22.5%)
    cpu4-cpu11 (Skymont): OPP: 6100, Measured: 4286     (-29.7%)
    cpu12-cpu13 (Skymont): OPP: 2500, Measured: 2461      (-1.6%)

After at 59.0°C:

    cpu0-cpu3 (Lion Cove): OPP: 6300, Measured: 4885     (-22.5%)
    cpu4-cpu11 (Skymont): OPP: 6100, Measured: 4286     (-29.7%)
    cpu12-cpu13 (Skymont): OPP: 2500, Measured: 2457      (-1.7%)

### Performance baseline

  * cpu0 (Lion Cove): memcpy: 22606.1 MB/s, memchr: 30673.7 MB/s, memset: 19278.7 MB/s
  * cpu4 (Skymont): memcpy: 12187.2 MB/s, memchr: 16975.8 MB/s, memset: 16040.6 MB/s
  * cpu12 (Skymont): memcpy: 8743.8 MB/s, memchr: 7533.8 MB/s, memset: 8474.1 MB/s
  * cpu0 (Lion Cove) 16M latency: 31.64 24.02 30.49 23.78 32.13 25.09 24.21 31.40 
  * cpu4 (Skymont) 16M latency: 27.76 21.27 27.25 22.08 28.08 21.08 20.72 23.85 
  * cpu12 (Skymont) 16M latency: 210.7 205.4 262.2 278.0 211.7 241.5 288.1 271.3 
  * cpu0 (Lion Cove) 128M latency: 130.5 122.8 144.9 122.0 143.5 130.4 119.6 109.3 
  * cpu4 (Skymont) 128M latency: 134.4 138.5 162.8 124.3 139.8 122.8 117.7 127.8 
  * cpu12 (Skymont) 128M latency: 264.7 287.1 301.6 352.6 286.5 230.1 290.3 275.7 
  * 7-zip MIPS (3 consecutive runs): 50422, 44687, 44986 (46700 avg), single-threaded: 5751
  * `aes-256-cbc    1498905.78k  1680152.96k  1722302.12k  1732885.85k  1736146.94k  1734825.30k (Lion Cove)`
  * `aes-256-cbc    1318746.73k  1490840.92k  1540928.26k  1554062.34k  1557968.21k  1558287.70k (Skymont)`
  * `aes-256-cbc     691187.47k   855949.06k   866031.10k   880585.73k   894574.59k   894582.78k (Skymont)`

### PCIe and storage devices:

  * Intel Ethernet I226-IT: Speed 5GT/s, Width x1, driver in use: igc, ASPM Disabled
  * 238.5GB "KINGSTON OM8PGP4256Q-A0" SSD as /dev/nvme0: Speed 16GT/s, Width x4, 0% worn out, 19 error log entries, drive temp: 52°C, ASPM Disabled

"nvme error-log /dev/nvme0 ; smartctl -x /dev/nvme0" could be used to get further information about the reported issues.

### Swap configuration:

  * /swap.img on /dev/nvme0n1p2: 4.0G (0K used)

### Software versions:

  * Ubuntu 24.04.3 LTS (noble)
  * Compiler: /usr/bin/gcc (Ubuntu 13.3.0-6ubuntu2~24.04) 13.3.0 / x86_64-linux-gnu
  * OpenSSL 3.0.13, built on 30 Jan 2024 (Library: OpenSSL 3.0.13 30 Jan 2024)    

### Kernel info:

  * `/proc/cmdline: BOOT_IMAGE=/boot/vmlinuz-6.14.0-32-generic root=UUID=eaca6cca-80e9-4aab-9a74-10fa0e135c4a ro quiet splash vt.handoff=7`
  * Vulnerability Spec store bypass:         Mitigation; Speculative Store Bypass disabled via prctl
  * Vulnerability Spectre v1:                Mitigation; usercopy/swapgs barriers and __user pointer sanitization
  * Kernel 6.14.0-32-generic / CONFIG_HZ=1000

Waiting for the device to cool down...................................... 40.0°C

Первый прогон теста 7-Zip показал результат 50422 MIPS, который упал до 44,687 и 44,986 MIPS во втором и третьем прогонах после срабатывания лимитов мощности. Чтобы лучше понять, что произошло, можно понаблюдать за частотой и температурой процессора. Виден явный всплеск частоты процессора до 4.9 ГГц и температуры до 100°C при кратковременной потребности в повышенной мощности.

Однако после первоначального всплеска и более длительных многопоточных тестов частота процессора стабилизируется на уровне около 3 ГГц, а температура остается на приемлемом уровне 64–65°C.

Давайте проверим лимиты мощности :

devkit@devkit-UP-TWL01:~$ sudo powercap-info -p intel-rapl
[sudo] password for devkit: 
enabled: 1
Zone 0
  name: package-0
  enabled: 1
  max_energy_range_uj: 262143328850
  energy_uj: 47238526468
  Constraint 0
    name: long_term
    power_limit_uw: 28000000
    time_window_us: 27983872
    max_power_uw: 28000000
  Constraint 1
    name: short_term
    power_limit_uw: 60000000
    time_window_us: 2440
    max_power_uw: 0
  Constraint 2
    name: peak_power
    power_limit_uw: 120000000
    max_power_uw: 0
  Zone 0:0
    name: core
    enabled: 0
    max_energy_range_uj: 262143328850
    energy_uj: 17543048351
    Constraint 0
      name: long_term
      power_limit_uw: 0
      time_window_us: 976
  Zone 0:1
    name: uncore
    enabled: 0
    max_energy_range_uj: 262143328850
    energy_uj: 8287216638
    Constraint 0
      name: long_term
      power_limit_uw: 0
      time_window_us: 976
Zone 1
  name: psys
  enabled: 0
  max_energy_range_uj: 262143328850
  energy_uj: 858917295
  Constraint 0
    name: long_term
    power_limit_uw: 0
    time_window_us: 27983872
  Constraint 1
    name: short_term
    power_limit_uw: 0
    time_window_us: 976

Лимиты мощности PL1, PL2 и PL4 установлены на значения 28 Вт, 60 Вт и 120 Вт соответственно, в то время как согласно данным Intel , базовая мощность (PBP) составляет 28 Вт, а максимальная турбо-мощность (MTP) — 115 Вт.

В отличие от опыта с одноплатными системами на Intel N150, в SBC на Core Ultra 5 225H нет опций для изменения лимитов мощности. Возможно, для тех, кому нужно настроить лимиты мощности в большую или меньшую сторону, можно использовать инструменты пользовательского пространства.

Производительность процессора можно оценить, запустив однопоточные и многопоточные тесты Geekbench 6.5.0.

Процессор Intel Core i5 225H набрал 2 837 баллов в однопоточном тесте и 13 205 баллов в многопоточном тесте.

Хотя AI-задачи будут протестированы подробнее чуть позже, также была предпринята попытка запустить Geekbench AI для оценки производительности в задачах искусственного интеллекта. Однако тест по умолчанию использует фреймворк TensorFlow Lite на ЦП… Поэтому его результаты не отражают реальную производительность данного SoC от Intel.

В этом случае GeekBench AI сообщает о 2,086 баллов для результата с одинарной точностью, 2073 балла для результата с половинной точностью и 1534 балла для квантованного результата.

Посмотрим, можно ли также задействовать GPU или NPU (Intel AI Boost):

devkit@devkit-UP-TWL01:~/GeekbenchAI-1.5.0-Linux$ ./banff --ai-list
Geekbench AI 1.5.0 : https://www.geekbench.com/ai/

Geekbench AI requires an active internet connection and automatically uploads 
benchmark results to the Geekbench Browser.

Framework     | Backend       | Device
 1 TensorFlow Lite |  1 CPU        |  0 Intel(R) Core(TM) Ultra 5 225H
 3 ONNX       |  1 CPU        |  0 Intel(R) Core(TM) Ultra 5 225H
 4 OpenVINO   |  1 CPU        |  0 Intel(R) Core(TM) Ultra 5 225H
 4 OpenVINO   |  2 GPU        |  1 Intel(R) Arc(TM) Graphics (iGPU)

NPU не отображается, но можно повторно запустить тест, используя фреймворк OpenVINO на встроенном GPU Intel Arc 130T Graphics:

devkit@devkit-UP-TWL01:~/GeekbenchAI-1.5.0-Linux$ ./banff --ai-framework OpenVino --ai-backend GPU
Geekbench AI 1.5.0 : https://www.geekbench.com/ai/

Geekbench AI requires an active internet connection and automatically uploads 
benchmark results to the Geekbench Browser.

AI Information
  Framework                     OpenVINO
  Backend                       GPU
  Device                        Intel(R) Arc(TM) Graphics (iGPU)

System Information
  Operating System              Ubuntu 24.04.3 LTS
  Model                         AAEON UPX-ARL01

Это вносит огромную разницу, и теперь GeekBench AI сообщает о 8,585 баллах для результата с одинарной точностью, 17,122 баллах для результата с половинной точностью и 21,702 баллах для квантованного результата.

Теперь протестируем производительность GPU с помощью бенчмарка Unigine Heaven Benchmark 4.0. Одноплатный компьютер на Intel Core Ultra 5 225H набрал 1,608 баллов, отрисовывая сцену со средней частотой 63.8 кадров в секунду при стандартном разрешении 1920×1080 с использованием встроенной графики Intel Arc 130T Graphics.

Также были протестированы несколько видео с YouTube в разрешении 4K или 8K в Firefox и Chrome.

Для первого теста было найдено видео на YouTube в разрешении 8K 60 кадров/с и воспроизведено в Firefox. Максимальным доступным разрешением было 2160p60, поэтому для этого видео в формате VP9 опций 4K не было. Воспроизведение было более-менее смотрибельным, но было потеряно 827 кадров из 11193 (потеря 7.4%).

Поскольку выбрать 8K не удалось, было решено попробовать в Chrome. Но ограничение было таким же. Воспроизведение ощущалось значительно плавнее, что подтвердило окно «Статистика для гиков»: потеряно 106 кадров из 9743 (потеря 1.1%).

Возникло предположение, что проблема может быть в видео с кодеками VP9. Поэтому было найдено видео на YouTube в формате 8K AV1 (потребовалось несколько попыток), и в Firefox стало доступно разрешение 4320p60. Было сообщено о потере 1,234 кадров из 22,541, что составило 5.4% потерь, что лучше, чем у видео VP9 при 4K 60 кадров/с.

Переключение на Chrome также сработало, и потерь кадров было еще меньше (222 из 12,426), что составило около 1.8% потерянных кадров.

Наконец, это же видео было использовано для тестирования воспроизведения AV1 в 4Kp60 в Chrome в течение более длительного теста (40+ минут). Результаты: потеряно 517 кадров из 163,523, или 0.3% потерь. Таким образом, рекомендуется использовать видео в формате AV1, когда это возможно, и Chrome показал себя лучше, чем Firefox, на протестированных видео.

Для проверки производительности веб-браузера был запущен Speedometer 2.0 в Firefox.

375 запусков в минуту — это, вероятно, лучший результат из когда-либо полученных. Speedometer 2.0 устарел, но он все еще используется для сравнения со старыми результатами. Давайте также запустим более новую версию — Speedometer 3.0.

Результат составил 23.9 балла, что также является довольно высоким показателем для веб-сёрфинга, с оговоркой, что результаты веб-браузеров со временем имеют тенденцию к росту по мере оптимизации программного обеспечения для скорости.

Сравнение результатов тестирования UP Xtreme ARL с мини-ПК на Intel/AMD

Поскольку UP Xtreme ARL — это первый рассмотренный мини-ПК на Intel Core Ultra (Series 2) Arrow Lake, результаты тестов в Ubuntu также будут сравнены с довольно мощными мини-ПК на Intel и AMD, протестированными в Ubuntu: GEEKOM GT1 Mega (Intel Core Ultra 9 185H) , GEEKOM A8 (AND Ryzen 9 8945HS) и Khadas Mind 2 AI Maker Kit (Intel Core Ultra 7 258V) .

Вот краткая сводка характеристик всех четырех платформ:

Таблица сравнения результатов тестов:

Во-первых, в наборе данных memset наблюдается аномалия: пропускная способность для одноплатного компьютера UP Xtreme ARL выглядит довольно низкой, в то время как тест memcpy находится в том же диапазоне, что и у трех других систем. Intel Core Ultra 5 225H демонстрирует отличные результаты в однопоточных тестах (OpenSSL, Geekbench 6.x single и Speedometer), но испытывает больше трудностей с многопоточными рабочими нагрузками. Это легко объяснимо, поскольку он оснащен 14 ядрами, в то время как Intel Core Ultra 9 185H и AMD Ryzen 9 8945HS — это 16-ядерные или 16-поточные процессоры с более высоким значением PL1 (45 Вт против 28 Вт). В этом отношении он значительно быстрее, чем 8-ядерный Intel Core Ultra 7 285V с TDP 30 Вт, установленный в наборе Khadas Mind 2 AI Maker. Будучи процессором Core Ultra 5 среднего уровня, его интегрированный графический процессор также немного слабее, чем у всех трех других систем в тестах 3D-графики Unigine Heaven.

Было бы интересно сравнить производительность всех четырех систем в задачах ИИ, поскольку все они оснащены AI-ускорителями, но инструменты для тестирования ИИ под Linux были не совсем готовы на момент тестирования трех более старых систем.

Тестирование функций

Также были проверены ключевые аппаратные функции одноплатного компьютера UP Xtreme ARL:

• HDMI 1 – Видео: OK, Аудио: OK
• HDMI 2 – Видео: OK, Аудио: OK
• DisplayPort – Видео: OK, Аудио: нет
• Накопитель – NVMe SSD – OK: скорость последовательного чтения 3.45 ГБ/с, скорость последовательной записи 1.78 ГБ/с

• devkit@devkit-UP-TWL01:~$ iozone -e -I -a -s 1000M -r 4k -r 16k -r 512k -r 1024k -r 16384k -i 0 -i 1 -i 2
                                                                      random    random      bkwd     record     stride
                kB  reclen    write    rewrite      read    reread      read     write      read    rewrite       read    fwrite  frewrite     fread   freread
           1024000       4    412528    487824    241723    241471     79266    458082
           1024000      16    968656   1132606    683398    685350    206835   1122038
           1024000     512   1787241   1794192   1795590   1809276   1552343   1771997
           1024000    1024   1787350   1786844   2327569   2348478   2288012   1781049
           1024000   16384   1785558   1786466   3455738   3501434   3458844   1789200

  [Format Time: 0.0005 seconds]

• Ethernet
  • LAN1 – Gigabit Ethernet (верхний) – OK (iperf3 DL: 937 Мбит/с, UL: 930 Мбит/с, полный дуплекс: 929/925 Мбит/с)
  • LAN2 – 2.5 Gbps Ethernet – OK (iperf3 DL: 2.35 Гбит/с, UL: 2.34 Гбит/с, полный дуплекс: 2.35/2.33 Гбит/с)
• USB-порты протестированы с внешним корпусом ORICO для NVMe SSD (раздел EXT-4), USB HDD (для порта USB 2.0), RF-адаптером для беспроводной комбинации клавиатуры/мыши и USB-камерой, входящей в комплект
  • Комбинированный разъем USB 3.0
    • Верхний – 10 Гбит/с; протестирована скорость до 992 МБ/с с iozone3
    • Нижний – 10 Гбит/с; протестирована скорость до 1001 МБ/с с iozone3
  • USB 2.0 на комбинированном разъеме HDMI – 480 Мбит/с; протестирована скорость до примерно 42 МБ/с с iozone3
• RTC – OK

  devkit@devkit-UP-TWL01:~$  sudo apt install util-linux-extra
  devkit@devkit-UP-TWL01:~$ timedatectl
                 Local time: Sun 2025-11-30 11:04:23 CET
             Universal time: Sun 2025-11-30 10:04:23 UTC
                   RTC time: Sun 2025-11-30 10:04:23
                  Time zone: Europe/Amsterdam (CET, +0100)
  System clock synchronized: yes
                NTP service: active
            RTC in local TZ: no
  devkit@devkit-UP-TWL01:~$ sudo hwclock -r
  2025-11-30 11:04:43.518430+01:00

  [Format Time: 0.0004 seconds]

• GPIO – OK – Также проверьте распиновку 40-пинового GPIO-разъема

  devkit@devkit-UP-TWL01:~$ ls /dev/gpiochip*
  /dev/gpiochip0  /dev/gpiochip1
  devkit@devkit-UP-TWL01:~$ sudo apt install libgpiod-dev gpiod
  devkit@devkit-UP-TWL01:~$ sudo gpioinfo 0
  gpiochip0 - 451 lines:
  	line   0:      unnamed       unused   input  active-high
  	line   1:      unnamed       unused   input  active-high
  	line   2:      unnamed       unused   input  active-high
  	line   3:      unnamed       unused   input  active-high
  	line   4:      unnamed       unused   input  active-high
  	line   5:      unnamed       unused   input  active-high
  	line   6:      unnamed       unused   input  active-high
  	line   7:      unnamed       unused   input  active-high
  ...
  devkit@devkit-UP-TWL01:~$ sudo gpioinfo 1
  gpiochip1 - 28 lines:
  	line   0:      unnamed       unused   input  active-high
  	line   1:      unnamed       unused   input  active-high
  	line   2:      unnamed       unused   input  active-high
  	line   3:      unnamed       unused   input  active-high
  	line   4:      unnamed       unused   input  active-high
  	line   5:      unnamed       unused   input  active-high
  	line   6:      unnamed       unused   input  active-high
  	line   7:      unnamed       unused   input  active-high

  [Format Time: 0.0007 seconds]

На фотографии показана тройная настройка дисплеев: выход DP подключен к 4K-монитору KTC A32Q8 с диагональю 32 дюйма , а выходы HDMI — к 10.1-дюймовому монитору All-in-One для Raspberry Pi (слева) и портативному монитору CrowView с диагональю 14 дюймов (справа).

Обнаружено пять звуковых выходов, включая три устройства «HDMI / DisplayPort – Built-in Audio», но аудиосигнал удалось получить только через HDMI, но не через DisplayPort.

Это означает, что все работало, как ожидалось, за исключением аудиовыхода DisplayPort: выход был обнаружен, но по какой-то причине звук отсутствовал. Отметим, что с UP Squared Pro TWL при использовании того же кабеля и монитора эта функция работала нормально.

Тестирование ИИ на одноплатном компьютере UP Xtreme ARL

Теперь пришло время запустить те же задачи ИИ, что и на наборах для разработки UP TWL и UP Squared Pro TWL AI, а именно Network Optix Nx Meta и набор инструментов AAEON UP AI.

Network Optix Nx Meta

Установим Nx AI Certification Test :

sudo apt dist-upgrade
sudo apt install python3-pip python3-venv
mkdir nxai_test
cd nxai_test
wget https://artifactory.nxvms.dev/artifactory/nxai_open/NXAITest/nxai_test.tgz
tar -xvf nxai_test.tgz
python3 -m venv ./ 
source ./bin/activate # activate python venv
pip3 install -r requirements.txt
./Utilities/install_nxai_manager.sh
python3 Utilities/install_acceleration_library.py
python3 Utilities/download_models.py

Процесс аналогичен другим платам, за исключением того, что был выбран OpenVino:

(nxai_test) devkit@devkit-UP-TWL01:~/nxai_test$ python3 Utilities/install_acceleration_library.py 
Detecting compatible acceleration hardware...
ls: cannot access '/dev/memx*': No such file or directory
ls: cannot access '/dev/dxrt*': No such file or directory
System detected more than one compatible acceleration runtime for your device. Please choose one to install:
1 : Nx CPU
2 : OpenVino
Enter number 1 - 2:2

После завершения установки можно запустить скрипт для тестирования:

python3 all_suites.py

Выполнено 46 тестов, как и на UP TWL с использованием ЦП/ГП:

##################################################
All model benchmarks completed.
Benchmark results:
	 	Model-Yolov8s-[640x640]: 	15.23 FPS
	 	Model-ViT-Tiny: 	239.85 FPS
	 	Model-Yolov4-[1280x1280]: 	6.60 FPS
	 	Model-Yolov9-e-[640x640]: 	4.03 FPS
	 	Model-Emotion-Recognizer: 	1397.87 FPS
	 	Model-Yolov9-c-[640x640]: 	2.52 FPS
	 	Postprocessor-Illegal-Dumping: 	25.35 FPS
	 	Model-Yolov7-Tiny-[1280x1280]: 	6.93 FPS
	 	Pipeline-Feature-Extraction: 	508.23 FPS
	 	Model-Face-Locator: 	437.94 FPS
	 	80-classes-object-detector[640x640]: 	26.72 FPS
	 	Model-Yolov4-[320x320]: 	98.54 FPS
	 	Model-Resnet-50: 	54.58 FPS
	 	80-classes-object-detector[320x320]: 	96.56 FPS
	 	Model-Yolo5su-[640x640]: 	16.29 FPS
	 	Quantized-INT8: 	52.06 FPS
	 	Model-Resnet-18: 	115.20 FPS
	 	Model-Regnet-Y: 	415.34 FPS
	 	Model-Yolov7x-[1280x1280]: 	0.63 FPS
	 	Model-Yolov8l-[640x640]: 	2.77 FPS
	 	Model-Yolo5su-[1280x1280]: 	4.12 FPS
	 	Model-Yolov4-[128x128]: 	436.94 FPS
	 	Model-Yolov7-Tiny-[640x640]: 	28.09 FPS
	 	Quantized-FP32: 	58.32 FPS
	 	Model-Yolo5su-[256x256]: 	87.07 FPS
	 	Model-Densenet: 	65.93 FPS
	 	Pipeline-Direct: 	87.37 FPS
	 	Model-Yolov9-m-converted-[640x640]: 	5.53 FPS
	 	Model-Clip: 	38.54 FPS
	 	Model-Yolov4-[640x640]: 	26.15 FPS
	 	Multi-Model: 	184.84 FPS
	 	Quantized-FP16: 	58.69 FPS
	 	Model-Mobilenet-V3: 	320.15 FPS
	 	Empty-Small: 	1958.36 FPS
	 	Model-Yolov7-[640x640]: 	4.05 FPS
	 	Pipeline-Conditional: 	558.34 FPS
	 	Model-Yolov9-[640x640]: 	4.11 FPS
	 	Model-Yolov9-converted-[640x640]: 	4.08 FPS
	 	Model-Yolov7x-[640x640]: 	2.39 FPS
	 	Model-Yolov9-m-[640x640]: 	4.69 FPS
	 	Empty-Large: 	218.12 FPS
	 	Model-PPE: 	64.63 FPS
	 	postprocessor-python-example: 	94.69 FPS
	 	postprocessor-c-example: 	102.14 FPS
	 	postprocessor-python-image-example: 	97.14 FPS
	 	postprocessor-c-image-example: 	99.24 FPS
###################################################

Также были успешно пройдены два теста на стабильность:

-------------------------------------------------------

Tests passed: 6 / 6
-------------------------------------------------------

Для справки можно ознакомиться с полным логом .

Сравним результаты UP Xtreme ARL с подмножеством результатов, полученных на UP TWL (Intel N150) и UP Squared Pro TWL (Intel N150 + Hailo-8L).

Как и ожидалось, UP Xtreme ARL демонстрирует наивысшую производительность во всех тестах, кроме 80-classes-object-detector[640×640], где обнаружение объектов выполнялось со скоростью 26.72 FPS и 38.04 FPS. Удивительно, что один тест из приведенного выше списка не прошел на UP Xtreme ARL (OpenVino), но прошел на UP Squared Pro TWL (OpenVino):

---------------------------------------------------
Running test:  Model-Yolov9-e-converted-[640x640]
Loading test settings...
Creating Unix socket server...
Starting Edge AI Manager

Error! Failed to communicate with inference engine 0

ERROR: Runtime failed to load model /home/devkit/nxai_test/Utilities/../Models/c2588352-3395-46e3-bc9d-8fa920145c82.onnx.Error! AI Manager exited prematurely! Code:  1
---------------------------------------------------

Похоже, что все тесты OpenVino/Nx на ЦП не проходят несколько тестов с похожей ошибкой, но в итоге показывают 46 пройденных тестов. Таким образом, в целом UP Xtreme ARL демонстрирует лучшую производительность и обеспечивает оптимальную совместимость по сравнению с другими платформами, но, очевидно, является более дорогим. UP Squared Pro TWL с Hailo-8L предлагает лучшее соотношение цены и производительности, но требует немного больше работы, поскольку Network Optix не реализовала большинство тестов для ускорителя Hailo-8L. Набор для разработки UP TWL AI вообще не поставляется с каким-либо AI-ускорителем, и все задачи выполняются на ЦП/ГП, поэтому он подходит только для легких задач ИИ или когда не требуется высокая скорость вывода.

Демонстрации набора инструментов AAEON UP AI

Работа еще не завершена, так как предстоит запустить примеры набора инструментов UP AI, доступные на GitHub .

Были выполнены те же шаги для установки и запуска набора инструментов AAEON UP AI, что и для других плат:

git clone https://github.com/up-division/up-ai/
cd up-ai
chmod +x prepare.sh start_app.sh
./prepare.sh
sudo reboot
cd ~/up-ai 
./start_app.sh

Как и в предыдущих обзорах, при запуске скрипта prepare.sh возникла одна HTTP-ошибка, но проблем с емкостью хранилища не было, поскольку 256 ГБ вполне достаточно. Скрипт запустит UP Edge AI Sizing Tool в Firefox.

Обнаружена графика Intel Arc (ГП), но NPU для Intel AI Boost не видно. Тем не менее, удалось добавить демонстрации компьютерного зрения (обнаружение объектов) с использованием USB-камеры на ЦП или ГП.

Получена скорость вывода 13.73 FPS на ЦП…

… и 29.99 FPS на ГП, что хорошо справилось с задачей.

Поскольку UP Xtreme ARL — это более мощная платформа и поставляется с NVMe SSD на 256 ГБ, установка большего количества моделей выполняется проще без быстрого исчерпания свободного места, с чем пришлось столкнуться на eMMC-накопителе емкостью 64 ГБ в UP TWL или UP Squared Pro TWL (если только на последний не установлен SSD).

Далее была протестирована модель генерации текста (Mistral-7B-Instruct), работающая на ГП. На вопрос о OpenVino был получен ответ за 12.91 с при скорости 8.03 токена/с.

Также была добавлена демонстрация «автоматического распознавания речи», работающая на ГП. Использовался стандартный аудиофайл с фразой «How are you doing today?», и транскрипция была завершена за 0.40 секунды.

Загружен ещё один аудиофайл – короткий фрагмент продолжительностью около 30 секунд из финансового интервью – и транскрипция была выполнена точно за 1,70 секунды.

Также доступна опция перевода. Найдено интервью на французском языке о философии длительностью 32 минуты 54 секунды, и демо-версии ASR было поручено транскрибировать и перевести его на английский.

Это было сделано за 86,50 с. Не все предложения имеют идеальный смысл, но в большинстве частей оно близко к оригинальному значению. Для человека, который в прошлом занимался транскрипцией и переводом видео/аудио, такая скорость пугает. Транскрибирование одного часа аудио обычно занимает от 3 до 5 часов для человека, а переводчики обычно обрабатывают около 3000 слов в день. Тридцатисекундный клип с оценочными 4000 словами занял бы от 10 до 12 часов работы. Это в 400-500 раз быстрее человека. Редактирование человеком, вероятно, занимает больше времени в версии, транскрибированной ИИ, но оно необходимо в любом случае.

Поскольку в прошлый раз возникли проблемы с ограниченной ёмкостью флеш-памяти eMMC на 64 ГБ, была проверена используемая на SSD ёмкость: 90 ГБ. Это включает саму ОС, инструменты тестирования, инструменты ИИ и модели.

devkit@devkit-UP-TWL01:~$ df -h
Filesystem      Size  Used Avail Use% Mounted on
tmpfs           1.6G  2.4M  1.6G   1% /run
/dev/nvme0n1p2  234G   90G  133G  41% /
tmpfs           7.6G     0  7.6G   0% /dev/shm
tmpfs           5.0M   16K  5.0M   1% /run/lock
efivarfs        192K  126K   62K  67% /sys/firmware/efi/efivars
/dev/nvme0n1p1  1.1G  6.2M  1.1G   1% /boot/efi
tmpfs           1.6G  112K  1.6G   1% /run/user/1000

Энергопотребление

Также было измерено энергопотребление набора для разработки Arrow Lake AI с помощью сетевого измерителя мощности:

• Выключено – 2,7 – 2,8 Вт
• Простой – 15,4 – 16,8 Вт (вентилятор активен постоянно)
• Стресс-тест (stress -c 14)
  • Первые ~30 секунд – 62,5- 64,0 Вт
  • Длительные прогоны –  41,7 – 44,5 Вт
• Детектирование объектов – Камера + GPU – 38,4 – 40,1 Вт

Плата была подключена к HDMI-монитору, сети 2,5GbE, USB RF-адаптеру для беспроводного комплекта клавиатура/мышь и USB-камере. Потребление в простое выглядит завышенным; даже при отключении всех периферийных устройств, оставляя только кабель питания, оно падает до 13,2 – 14,4 Вт.

Заключение

Набор для разработки AAEON UP Xtreme ARL AI построен на мощной одноплатной системе Arrow Lake с однокристальной системой Intel Core 5 Ultra 225H, графикой Intel Arc 130T с производительностью 69 TOPS и блоком Intel AI Boost на 13 TOPS, что в совокупности с CPU даёт 83 TOPS производительности ИИ.

Большинство стандартных функций, которые были протестированы, работали нормально, и это мощная и универсальная платформа для ИИ, на которой большинство тестов ИИ выполняется, как ожидалось. Единственные реальные проблемы, с которыми пришлось столкнуться, заключаются в том, что аудио через DisplayPort не работало с монитором (через HDMI всё в порядке), и, похоже, Intel AI Boost не используется в инструментах, или, по крайней мере, неявно.

Теперь, после тестирования всех трёх платформ из экосистемы UP AI Dev Kit в течение почти 50 часов, можно оставить финальные комментарии по всем трём:

• UP TWL AI Dev Kit – Это энергоэффективная, начальная платформа на базе Intel N150 без акселератора ИИ. Большинство тестов будут работать, но обработка только на CPU ограничит практическое применение. Было замечено, что флеш-память eMMC на 64 ГБ быстро заполняется. Цена: $279 с блоком питания и камерой.
• UP Squared Pro AI Dev Kit – Также основан на Intel N150, но поставляется с акселератором ИИ Hailo-8L формата M.2 на 13 TOPS, который почти так же мощен, как и UP Xtreme ARL. Но в Nx Meta реализовано меньше тестов, и было сложно работать с SDK из-за частых проблем с несоответствием версий между Python, драйверами Hailo и библиотеками Hailo. Он страдает от того же ограничения по флеш-памяти eMMC на 64 ГБ, что и UP TWL AI Dev Kit, но слот M.2 позволяет при необходимости легко добавить NVMe-накопитель, хотя для установки необходимо снять радиатор с модуля Hailo-8L. Он предлагает хорошее соотношение цены и производительности, но большая часть работы может потребоваться для наборов только на Intel. Цена: $469.00 с блоком питания, USB-камерой и акселератором ИИ Hailo-8L.
• UP Xtreme ARL Ai Dev Kit – Очевидно, самая мощная платформа из трёх, благодаря однокристальной системе Intel Core Ultra 5 225H. Всё работало из коробки без проблем (в отличие от варианта UP Squared Pro), и она может запускать больше рабочих нагрузок ИИ. Это рекомендуемый набор для разработки, если цена не является проблемой. Цена: $899.00 с блоком питания и USB-камерой.

Выражается благодарность компании AAEON за предоставление трёх наборов для разработки Intel AI для обзора. Все три можно приобрести в UP Shop

Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.

Оригинал статьи вы можете прочитать здесь.