Запуск LLM локально на SBC или мини-ПК — хороший способ сохранить конфиденциальность данных, но для этого обычно требуется обычная операционная система, которая занимает значительную часть системной памяти. NightRun — экспериментальный проект с открытым исходным кодом, который решает эту проблему, загружая машину напрямую в локальную LLM с USB-накопителя или microSD-карты, без запуска обычной ОС.
Удаляя операционную систему, NightRun высвобождает больше оперативной памяти и пропускной способности памяти для вывода ИИ. Среда выполнения написана на Rust, и при загрузке она загружает квантованную модель (от 1,3 ГБ до 2,4 ГБ) непосредственно в оперативную память, проверяя её контрольные суммы CRC-32. После загрузки модели хранилище становится «запечатанным», то есть любая последующая попытка чтения с диска вызовет аппаратный сбой.
