Опубликовано

Подберите подходящее оборудование для локального развёртывания LLM с помощью этого онлайн-руководства

При развёртывании локальных LLM многие могут полагать, что большие вложения гарантируют высокую производительность, но это далеко от реальности. Именно поэтому компания Sipeed создала онлайн-руководство по развёртыванию устройств для вывода локальных языковых моделей, размещённое на сайте llmdev.guide. Руководство по развёртыванию устройств для вывода локальных языковых моделей, размещённое на сайте llmdev.guide .

На сайте представлен перечень распространённого оборудования с указанием цены, производительности (токенов/с), энергопотребления и других параметров для различных LLM. Если взять в качестве примера Qwen3.5 9B, можно увидеть, что аппаратное обеспечение стоимостью свыше $4000, такое как NVIDIA DGX Spark или Apple Mac Studio M3 обеспечивает примерно такой же TPS, как и система с видеокартой Intel Arc B580 12GB за 260 долларов.

Читать далее «Подберите подходящее оборудование для локального развёртывания LLM с помощью этого онлайн-руководства»

Опубликовано

PycoClaw – реализация OpenClaw на MicroPython для ESP32 и других микроконтроллеров

PycoClaw — это платформа на базе MicroPython для запуска ИИ-агентов на ESP32 и других микроконтроллерах, которая предоставляет интеллект, совместимый с рабочей средой OpenClaw, для ресурсо-ограниченных встроенных устройств.

Ранее уже рассматривалась Miniclaw на C для ESP32-S3 ; разработчик PycoClaw (Джонатан Пис) сообщил CNX Software, что это «полностью совместимый с OpenClaw агент», который поддерживает больше провайдеров LLM (OpenAI, Gemini, Ollama и др.), взаимодействует не только с Telegram, но также с ScriptO Studio и WebRTC, а также предлагает такие функции, как OTA-обновления, расширения и энергоэффективную работу.

Читать далее «PycoClaw – реализация OpenClaw на MicroPython для ESP32 и других микроконтроллеров»

Опубликовано

Акселератор Taalas HC1 с аппаратно реализованной моделью Llama-3.1 8B обеспечивает до 17 000 токенов/с

Taalas HC1 — это AI-акселератор с аппаратно реализованной (т.е. реализованной на уровне железа) моделью Llama-3.1 8B, обеспечивающий производительность около 17 000 токенов/с с этой моделью, что превосходит показатели датацентровых ускорителей, таких как чипы NVIDIA B200 или Cerebras.

Taalas HC1 примерно в 10 раз быстрее чипа Cerebras, его производство стоит в 20 раз меньше, а потребление энергии ниже в 10 раз. Основной недостаток заключается в том, что он работает только с моделью, «зашитой» в аппаратную часть, на данный момент это Llama-3.1 8B, хотя утверждается, что он «сохраняет гибкость за счет настраиваемого размера контекстного окна и поддержки тонкой настройки через низкоранговые адаптеры (LoRAs)».

Читать далее «Акселератор Taalas HC1 с аппаратно реализованной моделью Llama-3.1 8B обеспечивает до 17 000 токенов/с»

Опубликовано

Обзор Raspberry Pi AI HAT+ 2 – 40 TOPS ИИ-ускоритель, протестированный с рабочими нагрузками Computer Vision, LLM и VLM

Raspberry Pi предоставила образец их генеративного ИИ-ускорителя AI HAT+ 2 на базе Hailo-10H для обзора. 40 TOPS ИИ-ускоритель рекламируется как подходящий для LLM (больших языковых моделей) и VLM (визуально-языковых моделей), обеспечивая при этом примерно такую же производительность, как и у первого поколения AI HAT+ (Hailo-8) для моделей компьютерного зрения.

После распаковки плата AI HAT+ 2 собирается с Raspberry Pi 5 с 2 ГБ ОЗУ, оснащенным Raspberry Pi Camera Module 3, затем следует быстрая проверка работы моделей компьютерного зрения и более подробное тестирование примеров LLM и VLM.

Читать далее «Обзор Raspberry Pi AI HAT+ 2 – 40 TOPS ИИ-ускоритель, протестированный с рабочими нагрузками Computer Vision, LLM и VLM»

Опубликовано

Raspberry Pi AI HAT+ 2 нацелен на генеративный ИИ (LLM/VLM) с ускорителем Hailo-10H

Raspberry Pi AI HAT+ 2 — это дополнительная плата на базе ИИ-ускорителя Hailo-10H с производительностью 40 TOPS с 8 ГБ выделенной встроенной оперативной памяти, которая добавляет Raspberry Pi 5 возможность работы с генеративным ИИ.

Показывая аналогичную производительность в задачах компьютерного зрения, что и плата первого поколения на базе Hailo-8 — Raspberry Pi AI HAT+ , AI HAT+ 2 также добавляет поддержку больших языковых моделей (LLM) и визуально-языковых моделей (VLM), работающих локально без необходимости доступа к интернету. Целевые области применения включают автономное управление процессами, безопасный анализ данных, управление объектами и робототехнику.

Читать далее «Raspberry Pi AI HAT+ 2 нацелен на генеративный ИИ (LLM/VLM) с ускорителем Hailo-10H»

Опубликовано

Reolink Floodlight 4K Smart PoE и WiFi 6 камеры безопасности добавили локальный LLM для поиска по видео естественным языком

Компания Reolink представила Elite Floodlight WiFi и Elite Pro Floodlight PoE — две новые камеры безопасности 4K с видео высокого разрешения, встроенными прожекторами, поддержкой PoE (в модели Pro) и большой языковой моделью (LLM) на устройстве, что позволяет осуществлять поиск видео на естественном языке вместо базового обнаружения объектов.

За годы было рассмотрено множество камер Reolink, таких как Argus PT Ultra , Reolink TrackMix PoE и RLC-810A , которая оснащена «умным обнаружением» на периферии, позволяя камере различать людей, транспортные средства и домашних животных без отправки данных в облако. Однако они ограничены этими фиксированными категориями, и чтобы найти что-то конкретное, например, «красную рубашку» или «грузовик доставки», всё равно приходилось вручную прокручивать временную шкалу или полагаться на сетевой видеорегистратор (NVR). Теперь Reolink пытается решить эту проблему, интегрировав большую языковую модель (LLM) непосредственно в свои новые камеры безопасности Elite Floodlight, ориентированные на широкомасштабное наружное наблюдение для домов и предприятий, таких как подъездные пути, дворы, парковки и коммерческие входы.

Читать далее «Reolink Floodlight 4K Smart PoE и WiFi 6 камеры безопасности добавили локальный LLM для поиска по видео естественным языком»

Опубликовано

Плата расширения Fusion HAT+ для Raspberry Pi предназначена для управления моторами и сервоприводами с использованием ИИ и LLM.

SunFounder Fusion HAT+ для одноплатных компьютеров Raspberry Pi 5/4/3B+ и Zero — это плата расширения для управления двигателями и GPIO, предназначенная для работы с большими языковыми моделями, такими как ChatGPT или Gemini, с использованием встроенных динамика и микрофона для голосового взаимодействия.

Она оснащена четырьмя драйверами двигателей постоянного тока, двенадцатью каналами ШИМ для сервоприводов, четырьмя входами АЦП, интерфейсами I2C, SPI и UART для подключения датчиков и поставляется с двумя аккумуляторами 18650 с интеллектуальным управлением питанием и безопасным отключением. Может использоваться в умных автомобилях, гуманоидных роботах, манипуляторах, многоногих шагающих роботах и системах умного дома.

Читать далее «Плата расширения Fusion HAT+ для Raspberry Pi предназначена для управления моторами и сервоприводами с использованием ИИ и LLM.»

Опубликовано

Обзор reTerminal E1001/E1002 – Ч/Б и цветные дисплеи ePaper с тестированием на SenseCraft HMI и Home Assistant

Компания Seeed Studio предоставила образцы дисплеев на электронной бумаге reTerminal E1001 (монохромный) и E1002 (цветной) для обзора. Они построены на микроконтроллере ESP32-S3, обеспечивающем беспроводную связь по Wi-Fi и Bluetooth LE, и предназначены для энергоэффективных приложений отображения информации, потребляя питание только при обновлении содержимого экрана.

Это делает их идеальными для задач, требующих длительного времени автономной работы (в среднем 3 месяца от одного заряда, в зависимости от частоты обновлений) и возможности постоянного отображения информации. В этом обзоре будет проведена распаковка устройств, их разборка, а также тестирование с использованием no-code платформы HMI SenseCraft от Seeed Studio и прошивки ESPHome для интеграции с Home Assistant .

Читать далее «Обзор reTerminal E1001/E1002 – Ч/Б и цветные дисплеи ePaper с тестированием на SenseCraft HMI и Home Assistant»