Полезные датчики Решение LLM (large language model) “AI in a box” работает в автономном режиме с полной конфиденциальностью и использует NPU в процессоре Rockchip RK3588S для разговорного искусственного интеллекта, аналогичного ChatGPT, но без подключения к Интернету или необходимости регистрации.
Прототип AI box в настоящее время использует готовое оборудование, в частности Radxa ROCK 5A SBC с 8 ГБ оперативной памяти, размещенный в пластиковом корпусе, а код основан на моделях с открытым исходным кодом, таких как модель преобразования речи в текст Whisper и языковые модели Llama2.
Читать далее «Автономное решение LLM «AI in a box» использует NPU Rockchip RK3588S (краудфандинг)»