Ambarella расширяет свой портфель AI SoC, и последним дополнением является семейство 5-нм чипов CV75S. Компания утверждает, что это семейство представляет собой наиболее экономичный и энергоэффективный вариант SoC для запуска новейших технологий обработки изображений на основе искусственного интеллекта, таких как модели языка машинного зрения (VLM) и сети преобразователей машинного зрения в системах безопасности, робототехники, конференц-связи и спортивных камерах.
Семейство CV75S является первым в линейке Ambarella, в котором интегрирован новейший двигатель CVflow 3.0 AI, что обеспечивает в 3 раза большую производительность по сравнению с предыдущим поколением. CVflow 3.0 — это архитектура микросхем, разработанная на основе глубокого понимания основных алгоритмов компьютерного зрения. Он оснащен специальным механизмом обработки изображений, который Ambarella запрограммировала с использованием описания алгоритма высокого уровня и работает с Tensorflow, Caffe и PyTorch. Этот механизм позволяет SoC выполнять триллионы операций каждую секунду, потребляя при этом лишь часть энергопотребления ведущих графических процессоров и решений ЦП общего назначения.
Эти чипы также оснащены процессором обработки изображений новейшего поколения, двумя ядрами Arm Cortex-A76 с частотой 1,6 ГГц, кодированием видео 4Kp30 H264/5 и возможностью подключения USB 3.2.
По словам вице-президента по маркетингу и развитию бизнеса Ambarella, это новое семейство SoC позволит разработчикам продуктов массового рынка интегрировать новейшие технологии преобразования изображения и VLM в нулевую классификацию изображений и мультимодальный вывод для визуальной аналитики в реальном времени. Например, чип CV75S может запускать в камере мультимодальный VLM, такой как CLIP (предварительное обучение контрастному языку и изображению), для сканирования отснятого материала в режиме реального времени и предоставления мгновенных результатов без необходимости обучения перед установкой.
Ambarella представила серию SoC N1 в январе этого года, и эти чипы отличаются от новой партии CV75S моделями работы AI. Компания предварительно портирует и оптимизирует чипы N1 для запуска моделей LLM (генеративный искусственный интеллект) и LLava для мультимодального анализа зрения, которые обучаются и настраиваются для анализа нескольких видеопотоков (до 32 камер), как в решениях для видеонаблюдения. С другой стороны, CV75S будет запускать предварительно обученные и точно настроенные мультимодальные VLM и сети видео-преобразователей внутри камер, чтобы идентифицировать такие вещи, как сцены и объекты из изображения с камеры, в режиме реального времени. Эти модели искусственного интеллекта удобны для автономных приложений в роботах, дронах и автомобилях. Предварительное портирование обоих чипов помогает сократить время вывода продукта на рынок.
Обнаружение и идентификация объектов в автономном автомобиле
Как и другие системы искусственного интеллекта Ambarella, CV75S поддерживается платформой разработчика Cooper, которая обеспечивает гибкую и модульную среду разработки, включающую ядро, концепцию и пользовательский интерфейс, что позволяет ускорить выход на рынок.
CV75S в настоящее время находится на стадии тестирования, и Ambarella планирует внедрить эту передовую технологию обработки изображений на основе искусственного интеллекта в камеры в широком диапазоне цен для различных приложений. На момент написания обора нам не удалось найти ни одной страницы продукта для семейства 5-нм CV75S SoC, поэтому единственная информация, которой мы располагаем, взята из пресс-релиза. Но в чем мы уверены, так это в энергоэффективности и производительности 5-нм чипов, которые сделают эти передовые решения для обработки изображений применимыми в широком спектре камер с ограниченной стоимостью и энергопотреблением для различных приложений.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.