Firefly AIBOX-1684X — это компактный блок искусственного интеллекта на базе восьмиъядерного процессора SOPHON BM1684X Arm Cortex-53 с ускорителем искусственного интеллекта 32 TOPS, подходящий для больших языковых моделей (LLM), таких как Llama 2, решение для генерации изображений со стабильной диффузией, а также традиционные CNN и Архитектуры нейронных сетей RNN.
Firefly уже выпустила несколько разработок на базе AI-процессора SOPHON BM1684X с полнофункциональным AI-компьютером Firefly EC-A1684XJD4 FD Edge и материнской платой AIO-1684XQ, но AI Box AIBOX-1684X предлагает тот же уровень производительности, только без множество интерфейсов в компактном корпусе размером всего 90,6 x 84,4 x 48,5 мм.
Технические характеристики AI-бокса AIBOX-1684X:
- SoC — SOPHGO SOPHON BM1684X
- Процессор — восемь ядер Arm Cortex-A53 с частотой до 2,3 ГГц.
- TPU — до 32 TOPS (INT8), 16 TOPS (FP16/BF16), 2 TOPS (FP32)
- VPU
- До 32-канального декодирования видео H.265/H.264 1080p25
- Обработка до 32 каналов HD-видео 1080p25 (декодирование + анализ AI)
- До 12-канального кодирования видео H.265/H.264 1080p при 25 кадрах в секунду
- Системная память — 8 ГБ, 12 ГБ или 16 ГБ LPDDR4/LPDDR4X
- Хранилище
- Флэш-память eMMC емкостью 32, 64 или 128 ГБ
- Слот для карты MicroSD
- Видео и аудио выход — порт HDMI до 1080p30
- Сеть — 2х порта Gigabit Ethernet RJ45
- USB — 2х порта USB 3.0, 1х последовательный порт отладки USB-C
- Разное — кнопка питания, светодиод
- Источник питания — 12 В/4 А через разъем питания 5,5/2,5 мм.
- Размеры – 90,6 х 84,4 х 48,5 мм.
- Вес – 420 грамм.
- Температурный диапазон – рабочий: от -20°C до 60°C; хранение: от -20°C до 70°C
- Влажность – 10%～90% (без конденсации).
Firefly еще не предоставила документацию для нового AI-бокса AIBOX-1684X, но Wiki для одной из более ранних систем BM1684X показывает, что он работает под управлением Ubuntu 20.04 с ядром Linux 5.4 LTS (образ выпущен в июле 2023 года), и Docker, очевидно, также предустановлен предустановлен в образе.
Компания также объясняет, что AIBOX-1684X подходит для локального развертывания «моделей со сверхбольшими параметрами в рамках архитектуры Transformer», таких как большие языковые модели (LLM), такие как LLaMa2, ChatGLM и Qwen, а также крупные модели систем видеонаблюдения, такие как ViT, Grounding DINO и SAM. Также поддерживается модель генерации изображений Stable Diffusion V1.5, а также традиционные сетевые архитектуры, такие как CNN, RNN и LSTM ( сети долгой краткосрочной памяти). Пользователи могут положиться на популярные платформы, такие как TensorFlow, PyTorch, MXNet, PaddlePaddle, ONNX и Darknet, для предварительно обученных или пользовательских моделей. Более подробную информацию о программном обеспечении можно найти в разделе SOPHON SDK на Wiki.
Llama3 на Radxa Fogwise AirBox
Firefly — не единственная компания, выпустившая AI Box на базе процессора SOPHON, поскольку на днях был представлен Radxa Fogwise Airbox на базе процессора SOPHON SG2300X, который выглядит почти идентично BM1684X, за исключением того, что он обеспечивает (всего) 24 TOPS. Весьма странно, что процессоры практически идентичные по функционалу, поэтому мы уточнили, и нам ответили, что SG2300X поддерживает генеративный искусственный интеллект с «открытым исходным кодом», а BM1684X — нет. Вскоре мы сможем узнать больше и протестировать его самостоятельно, так как к концу месяца или началу мая мы планируем получить образец Fogwise Airbox.
А пока вы можете опробовать только что выпущенную модель Llama3 8B на Radxa Fogwise Airbox, как это сделали мы, отвечая на вопрос «Что вы знаете о программном обеспечении CNX?». Некоторые детали неверны, текст отрисовывался относительно быстро.
Firefly AIBOX-1684X доступен сейчас, но только в Китае (Taobao) по цене 2499 юаней или около 344 долларов США. Представители компании Firefly сообщили CNX Software, что «очень скоро» также будет продавать его в своем интернет-магазине, так что его сможет приобрести каждый. [Обновление от 28 апреля 2024 г.: AIBOX-1684X с 16 ГБ ОЗУ и 64 ГБ флэш-памяти теперь продается за 369 долларов США]. Для справки: Radxa Fogwise Airbox, о котором мы расскажем более подробно, как только получим образец, можно предварительно заказать. за 321 доллар и выше на Arace Tech. Дополнительную информацию о Firefly AIBOX-1684X также можно найти на странице продукта .
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.