Gemma Translator — это проект с открытым исходным кодом для Raspberry Pi 5, который выступает в роли многоязычного интерпретатора, работающего локально без доступа к облаку, с использованием Google Gemma 4 и среды выполнения LiteRT.
Это проект, созданный тремя инженерами Google при помощи Google Antigravity. Он включает код для запуска полностью офлайн голосового переводчика/интерпретатора на устройстве с использованием Gemma 4 E2B (2.3B эффективных / ~5.1B всего параметров с послойными эмбеддингами) и среды выполнения LiteRT.
Аппаратная часть состоит из нескольких компонентов:
- Плата Raspberry Pi 5 с 8GB ОЗУ
- Дисплей – HDMI-монитор или сенсорный дисплей, например, дисплей для киоска 480×320
- Аудио
- Микрофон или USB-интерфейс захвата аудио
- Динамик или устройство вывода для наушников
- Клавиатура – Продемонстрированный ниже проект, по-видимому, использует специализированную печатную плату (AX-4LABS-NEW) с энкодером и четырьмя механическими клавишами (из которых используются только две)
- Опциональные 3D-печатные детали для корпуса
Основные возможности программного обеспечения:
- Инференс на устройстве – Использует LiteRT-LM (оркестрационный слой, построенный поверх LiteRT) для запуска модели gemma4-e2b полностью локально. После настройки интернет не требуется.
- Аудиоинтерфейсы
- Захватывает аудио с микрофона, обрабатывает его и отправляет локальной модели Gemma 4 E2B.
- Синтез речи использует Moonshine — движок синтеза речи с открытым исходным кодом и низкой задержкой для ИИ-агентов
- UI – ретро-терминальная стилизация, специально разработанная для небольших экранов, таких как сенсорные дисплеи Raspberry Pi, в основном используется для выбора двух языков
- Unified Startup – Один скрипт для запуска LLM-сервера, Python API и React-фронтенда на Pi 5
Исходный код бэкенда (Python) и фронтенда (React), STL-файл для корпуса и инструкции для начала работы на GitHub . По-видимому, плата с клавиатурой и энкодером не была открыта, и не удалось найти идентичную готовую печатную плату, но можно использовать любую клавиатуру или кнопочную панель.
Видео ниже дает обзор проекта и живую демонстрацию перевода испанский<->мандаринский. Сильные навыки испанского или мандаринского отсутствуют, поэтому качество вывода не оценивалось, но задержка достаточно низкая для использования.
Помимо самого проекта Gemma Translator, инженеры Google работали над оптимизацией производительности LiteRT на платформе Raspberry Pi и поделились подробной статьей о текущем состоянии в блоге Raspberry Pi , а также последующей статьей, показывающей как начать работу с LiteRT на Raspberry Pi 5.
По сравнению с llama.cpp, LiteRT-LM обеспечивает более высокую производительность и гораздо меньшее потребление памяти на Pi 5 8GB
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.