Ютуб-блогер и энтузиаст технологий Бинх Фам (Binh Pham) недавно создал портативное устройство с искусственным интеллектом и LLM, работающее по принципу plug-and-play, размещенное на USB-накопителе под названием LLMStick и построенное на базе Raspberry Pi Zero W. Это устройство воплощает концепцию локального LLM с принципом plug-and-play, которое можно использовать без подключения к Интернету.
После того, как DeepSeek потряс мир своей производительностью и доступностью с открытым исходным кодом, мы увидели такие инструменты, как Exo, которые позволяют запускать большие языковые модели (LLM) на кластере устройств, таких как компьютеры, смартфоны и одноплатные компьютеры, эффективно распределяя нагрузку по обработке. Мы также увидели, как Radxa выпустила инструкции для запуска DeepSeek R1 (Qwen2 1.5B) на одноплатном компьютере на базе Rockchip RK3588 с 6 TOPS NPU.
Фам подумал об использовании проекта llama.cpp , так как он специально разработан для устройств с ограниченными ресурсами. Однако запуск llama.cpp на Raspberry Pi Zero W был непростым, и ему пришлось столкнуться с несовместимостью архитектур, поскольку старый Pi Zero W использовал старую архитектуру ARMv6, в то время как llama.cpp имел оптимизации для новых архитектур Arm (например, ARMv8-A, найденный в Raspberry Pi 5). Эти оптимизации опирались на определенные инструкции Arm Neon, которые не были доступны на процессоре Pi Zero W. Это вызывало ошибки компиляции.
Чтобы решить эти проблемы, он модифицировал исходный код llama.cpp и определил оптимизацию для конкретной архитектуры. Затем он вручную удалил или изменил эти части кода для совместимости с архитектурой ARMv6, чтобы создать проект llama.zero. Это был трудоемкий и сложный процесс, требующий глубокого понимания кодовой базы и архитектур ARM. В качестве дополнительного замечания он также упоминает, что компиляция на процессоре 23-летней давности занимает 12 часов.
После завершения процесса компиляции он начал работать над интерфейсом и остановился на запуске Raspberry Pi в режиме USB Gadget Mode, где Pi будет отображаться как USB-накопитель. Теперь, чтобы дать подсказку LLM, вам просто нужно создать файл с подсказкой, и LLM заполнит файл ответами. Эта настройка фактически превращает Raspberry Pi Zero W в портативное устройство AI plug-and-play, позволяя взаимодействовать с LLM в режиме офлайн в компактном форм-факторе.
Пока мы писали об этом, мы никак не могли понять, почему он не использовал более новую плату Raspberry Pi Zero 2W, поскольку она была бы почти полностью готовой заменой и значительно повысила бы производительность, позволяя создавать более крупные и практичные модели. Новый Pi использует архитектуру ARMv8, поэтому это устранило бы необходимость в такой значительной модификации; мы думаем, что он просто хотел сделать видео интересным. В любом случае, это портативное устройство искусственного интеллекта plug-and-play демонстрирует потенциал запуска Lms на минимальном аппаратном обеспечении, даже если производительность остается ограничивающим фактором. Проект включает в себя модифицированную версию llama.cpp, а также инструкции по настройке Pi Zero в качестве USB-устройства, все из которых можно найти в репозитории Pham Tuan Binhна на GitHub.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.