Полезные датчики Решение LLM (large language model) “AI in a box” работает в автономном режиме с полной конфиденциальностью и использует NPU в процессоре Rockchip RK3588S для разговорного искусственного интеллекта, аналогичного ChatGPT, но без подключения к Интернету или необходимости регистрации.
Прототип AI box в настоящее время использует готовое оборудование, в частности Radxa ROCK 5A SBC с 8 ГБ оперативной памяти, размещенный в пластиковом корпусе, а код основан на моделях с открытым исходным кодом, таких как модель преобразования речи в текст Whisper и языковые модели Llama2.
Помимо диалогового ИИ, при котором вы можете взаимодействовать с коробкой так, как будто вы разговариваете с человеком, ИИ в коробке также может быть полезен и в других случаях:
- Живые субтитры. В этом окне могут отображаться субтитры/скрытые субтитры для событий в прямом эфире или помогать в ситуациях, когда людям трудно расслышать разговор с помощью аудиовхода.
- Живой перевод – он также может переводить различные языки практически в реальном времени. Просто выберите исходный и целевой языки, и вы увидите надписи на разделенном экране, показывающие исходные данные и результаты машинного перевода.
- Полная конфиденциальность — Radxa ROCK 5A по умолчанию не оснащена Wi-Fi и Bluetooth, и хотя на плате есть порт Ethernet, его не нужно подключать, поскольку подключение к Интернету не требуется. Программное обеспечение предоставляло все данные локально для полной конфиденциальности конфиденциальных разговоров или материалов.
- Режим клавиатуры — устройство можно использовать в качестве USB-клавиатуры при подключении к другому хосту, например Raspberry Pi. Таким образом, его можно использовать для расшифровки аудиофайлов или видео в текстовый формат.
Компания разработала библиотеку Useful Transformers, ориентированную на недорогие процессоры с низким энергопотреблением для выполнения логических выводов на периферии, а первая реализация оптимизирует модель преобразования речи в текст OpenAI Whisper для процессора RK3588(s). Вы можете найти его на GitHub .
На приведенной выше диаграмме показана производительность полезной библиотеки Transformers с использованием модели tiny.en Whisper, которая расшифровывает речь с 30-кратной скоростью в реальном времени и в два раза быстрее, чем самая известная реализация (быстрее-шепотом). Диаграмма показывает, что большинство выводов происходит в пределах от 500 мс до 2 секунд.
Работающее в настоящее время оборудование представляет собой прототип комплекта с Radxa ROCK 5 A, размещенным в пластиковом корпусе, подключенным к дисплею HDMI, USB-динамику и USB-микрофону.
Но конечный продукт будет полностью закрытым решением с Rockchip RK3588S SoC, 8 ГБ оперативной памяти, встроенным дисплеем, динамиками и микрофоном, а также
специальным корпусом. Используемая операционная система — Ubuntu 22.04.
На днях компания Useful Sensors запустила проект “AI in a box” на Crowd Supply с целевым объемом финансирования в 30 000 долларов. Награды начинаются с 299 долларов США за конечный продукт, который будет отправлен к 31 января 2024 года, и 475 долларов США за комплект прототипа AI in a Box с ROCK 5A, корпусом, дисплеем и другими аксессуарами с доставкой, запланированной на 1 декабря 2023 года, для людей, которые хотят поэкспериментировать с LLM с процессором Rockchip RK3588S. Стоимость доставки составляет 8 долларов в США и 18 долларов в другие страны мира.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.