UEFI-приложение NightRun запускает локальную LLM на Raspberry Pi 5 и ПК с архитектурой x86 без операционной системы

Запуск LLM локально на SBC или мини-ПК — хороший способ сохранить конфиденциальность данных, но для этого обычно требуется обычная операционная система, которая занимает значительную часть системной памяти. NightRun — экспериментальный проект с открытым исходным кодом, который решает эту проблему, загружая машину напрямую в локальную LLM с USB-накопителя или microSD-карты, без запуска обычной ОС.

Удаляя операционную систему, NightRun высвобождает больше оперативной памяти и пропускной способности памяти для вывода ИИ. Среда выполнения написана на Rust, и при загрузке она загружает квантованную модель (от 1,3 ГБ до 2,4 ГБ) непосредственно в оперативную память, проверяя её контрольные суммы CRC-32. После загрузки модели хранилище становится «запечатанным», то есть любая последующая попытка чтения с диска вызовет аппаратный сбой.

Читать далее «UEFI-приложение NightRun запускает локальную LLM на Raspberry Pi 5 и ПК с архитектурой x86 без операционной системы»

DFI X6X-ORN – IP67-защищённый защищённый Edge AI компьютер на Jetson Orin NX/Nano с поддержкой камер GMSL2

DFI X6X-ORN — это безвентиляторный Edge AI компьютер с классом защиты IP67 на базе NVIDIA Jetson Orin NX/Nano. Он предназначен для экстремальных условий наружного и промышленного применения в морской отрасли, сельском хозяйстве, строительстве и интеллектуальных транспортных системах.

Система полностью использует герметичные круглые разъёмы M12 и M20 для всех своих интерфейсов ввода/вывода, включая PoE и GMSL2 камеры. Она обеспечивает до 157 TOPS производительности ИИ при оснащении модулем Jetson Orin NX 16GB, соответствует стандартам MIL-STD-810H на устойчивость к ударам и вибрации и поддерживает рабочий диапазон температур от -20°C до 60°C.

Читать далее «DFI X6X-ORN – IP67-защищённый защищённый Edge AI компьютер на Jetson Orin NX/Nano с поддержкой камер GMSL2»

Geniatech XPI-3576-CM5 – совместимый с Raspberry Pi CM5 вычислительный модуль ИИ на Rockchip RK3576 с WiFi 6 и Bluetooth 5.3

Geniatech XPI-3576-CM5 — это система-на-модуле на базе восьмиядерного Rockchip RK3576 с ядрами Arm Cortex-A72/A53, выполненная в форм-факторе Raspberry Pi CM4/CM5 и оснащённая до 16 ГБ LPDDR5 и 128 ГБ eMMC-флеш-памяти.

Модуль также оснащён Gigabit Ethernet-контроллером RealTek RTL8211F, беспроводным модулем Ampak AP6275S для двухдиапазонного WiFi 6 и Bluetooth 5.3, а также PMIC Rockchip RK806S-5 для управления питанием. Он имеет два 100-контактных разъёма B2B, что позволяет подключать его к базовым платам, разработанным для Raspberry Pi CM4/CM5, хотя и с некоторыми ограничениями, как будет показано ниже.

Читать далее «Geniatech XPI-3576-CM5 – совместимый с Raspberry Pi CM5 вычислительный модуль ИИ на Rockchip RK3576 с WiFi 6 и Bluetooth 5.3»

Efinix представила семейство FPGA Titanium Edge, предназначенное для энергоэффективных периферийных систем искусственного интеллекта и машинного зрения

Компания Efinix представила семейство FPGA Titanium Edge, разработанное для энергоэффективных приложений периферийного искусственного интеллекта и машинного зрения. Новое семейство, основанное на архитектуре Titanium FPGA, предлагает пониженное статическое энергопотребление, настраиваемый MIPI I/O до 2.5 Гбит/с, встроенную коррекцию одиночных сбоев (SEU) и варианты System-in-Package (SiP), интегрирующие SPI Flash и HyperRAM для компактных систем.

Первоначальное семейство FPGA Titanium Edge включает устройства Ti125, Ti40, Ti70 и Ti95, содержащие от 39 000 до 123 000 логических элементов для встраиваемых систем ИИ, машинного зрения, робототехники, медицинских систем и других приложений. По сравнению с флагманским Titanium Ti375 и экономичным семейством Topaz FPGA новые устройства имеют примерно на 50% более низкое статическое энергопотребление, сохраняя при этом архитектуру Quantum.

Читать далее «Efinix представила семейство FPGA Titanium Edge, предназначенное для энергоэффективных периферийных систем искусственного интеллекта и машинного зрения»

Beelink EQi 304 обзор – Часть 3: Ubuntu 26.04 на мини-ПК Wildcat Lake

После изучения аппаратной части с распаковкой и разбором мини-ПК Beelink EQi Wildcat Lake , мы подробно рассмотрели компьютер Intel Core 3 304 с Windows 11 . Теперь у нас было время протестировать мини-ПК Beelink EQi под управлением Ubuntu 26.04 с ядрами Linux 7.0/7.1.

Будет представлен отчет об опыте тестирования функций, результатах бенчмарков, оценке работы сетевых интерфейсов 2.5GbE, 10GbE и WiFi 6, тестах накопителей и USB/Thunderbolt, а также об измерениях энергопотребления.

Читать далее «Beelink EQi 304 обзор – Часть 3: Ubuntu 26.04 на мини-ПК Wildcat Lake»

NVIDIA запускает компактные основные модули Jetson T2000 и T3000 для приложений периферийного ИИ и робототехники

NVIDIA только что выпустила модули Jetson T2000 и T3000 «основной» серии как более компактные и недорогие альтернативы Jetson T4000/T5000 modules представленным в прошлом году для периферийного ИИ и робототехники.

Модуль Jetson Thor T3000 и его промышленная версия IGX Thor T3000 с функциональной безопасностью обеспечивают до 865 FP4 TFLOPS вычислительной мощности ИИ. Они оснащены графическим процессором NVIDIA Blackwell на 1536 ядер, восьмиядерным процессором Neoverse Arm, 32 ГБ памяти LPDDR5X с пропускной способностью 273 ГБ/с и интерфейсом 25 GbE. Jetson Thor T2000 обеспечивает до 400 TFLOPS производительности ИИ, имеет графический процессор Blackwell на 1024 ядра, 16 ГБ LPDDR5 с пропускной способностью 137 ГБ/с и сеть 10 GbE. Оба модуля примерно вдвое меньше модулей Jetson T4000/T5000.

Читать далее «NVIDIA запускает компактные основные модули Jetson T2000 и T3000 для приложений периферийного ИИ и робототехники»

Обратная разработка добавляет поддержку NPU RK3576 в открытый драйвер Rocket для основной ветки Linux

В 2024 году было отмечено, что открытый драйвер для NPU RK3588 от Tomeu Vizoso обеспечивал достойную производительность для обнаружения объектов. С тех пор был достигнут хороший прогресс, и теперь он известен как драйвер Rocket в основной ветке Linux .

Однако SoC Rockchip RK3576 пока не поддерживается драйвером Rocket в основной ветке, несмотря на схожий NPU. Хорошая новость в том, что Ga Hing Woo работает над поддержкой NPU Rockchip RK3576 в основной ветке Linux, используя стек драйвера Rocket, и протестировал обновления на Radxa ROCK 4D под управлением Linux 7.1-rc5. Это потребовало серьёзной работы по обратной разработке из-за скрытых регистров, не описанных в TRM.

Читать далее «Обратная разработка добавляет поддержку NPU RK3576 в открытый драйвер Rocket для основной ветки Linux»

Микроконтроллер Ambient Scientific GPX10 Pro обеспечивает годы работы постоянно активного ИИ от одной батарейки-таблетки

Ambient Scientific GPX10 Pro — это процессор/микроконтроллер для постоянно активных встроенных приложений ИИ на энергоограниченных периферийных устройствах. С потреблением менее 100 мкВт он может обеспечить годы работы постоянно активного ИИ от одной батарейки-таблетки.

SoC включает десять программно-программируемых ИИ-ядер MX8, использующих технологию компании DigAn, сверхэнергоэффективный АЦП, 8-битный интерфейс камеры DVP, 2048 КБ SRAM, поддержку многочисленных периферийных устройств и ядро Arm Cortex-M4F для не-ИИ рабочих нагрузок.

Читать далее «Микроконтроллер Ambient Scientific GPX10 Pro обеспечивает годы работы постоянно активного ИИ от одной батарейки-таблетки»