Запуск LLM локально на SBC или мини-ПК — хороший способ сохранить конфиденциальность данных, но для этого обычно требуется обычная операционная система, которая занимает значительную часть системной памяти. NightRun — экспериментальный проект с открытым исходным кодом, который решает эту проблему, загружая машину напрямую в локальную LLM с USB-накопителя или microSD-карты, без запуска обычной ОС.
Удаляя операционную систему, NightRun высвобождает больше оперативной памяти и пропускной способности памяти для вывода ИИ. Среда выполнения написана на Rust, и при загрузке она загружает квантованную модель (от 1,3 ГБ до 2,4 ГБ) непосредственно в оперативную память, проверяя её контрольные суммы CRC-32. После загрузки модели хранилище становится «запечатанным», то есть любая последующая попытка чтения с диска вызовет аппаратный сбой.
NightRun ключевые особенности:
- Аппаратная поддержка – поддерживает 64-битные ПК с UEFI x86_64 (Secure Boot отключен) и Raspberry Pi 5 через USB или microSD-карту
- Поддерживаемые модели – поддерживает модели Llama 3.2 1B (4 ГБ ОЗУ), Llama 3.2 3B и Granite 4.1 3B (6 ГБ ОЗУ), а также Qwen3 4B Instruct 2507 (8 ГБ ОЗУ), преобразованные в формат .nrm
- Оптимизированный инференс – использует ядра AVX2/FMA/F16C на x86 и ядра NEON на Raspberry Pi
- Конструкция с нулевым копированием – запускает квантованные модели Q8_0, Q4_K и Q6_K напрямую из ОЗУ без деквантизации
- Встроенный UI – включает чат-интерфейс на основе framebuffer с живой статистикой, редактированием запросов и историей диалога
Может показаться, что NightRun — это урезанный дистрибутив Linux, предназначенный для экономии памяти, но это не так. Это UEFI-приложение, работающее без обычной операционной системы, поэтому под ним нет ни ядра Linux, ни планировщика, ни сетевого стека. Вместо этого оно полагается на службы загрузки UEFI для обработки ввода с клавиатуры, управления кадровым буфером дисплея, доступа к хранилищу и даже управления вентилятором охлаждения Raspberry Pi 5.
Что касается производительности, разработчики говорят, что скорость декодирования в основном ограничена пропускной способностью памяти. В 8-ядерной виртуальной машине x86 QEMU модель Llama 3.2 1B (Q8_0) достигает примерно 20 токенов в секунду при декодировании. На реальном Raspberry Pi 5 с 8 ГБ памяти модель Granite 4.1 3B (Q4_K_M) генерирует около 3,0 токенов в секунду, используя ранние NEON-ядра pre-sdot.
Ранее уже писалось о Binh Pham’s LLMStick который использует механизмы инференса на C/C++, такие как llama.cpp, развернутые поверх облегченных дистрибутивов Linux (например, Alpine или DietPi), для высвобождения памяти. По сравнению с этим, NightRun — это полноценное, готовое к производственному использованию UEFI-устройство с токенизацией, проверенной на паритет, специально разработанное для потребительского оборудования.
Большая часть кода проекта NightRun была написана с использованием Claude Code с моделью Fable 5 и выпущена под лицензией MIT на GitHub . Установка выполняется с помощью сценария оболочки Linux, который загружает проверенную модель и прошивает загрузочный образ. Разработчики реализовали различные проверки безопасности в установщике, чтобы явно вводить FLASH /dev/sdX для предотвращения случайной перезаписи системных дисков. Более подробную информацию о технической реализации можно найти на nightrun.io.
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.