Утверждается, что модуль ускорителя искусственного интеллекта Axelera M.2, имея компактный форм-фактор M.2 2280, обеспечивает до 214 TOPS для вывода искусственного интеллекта и до 3200 кадров в секунду с ResNet50.
В настоящее время известно немного, лишь то, что модуль основан на Metis AIPU (AI Processing Unit), использующей вычисления в памяти на основе массивов устройств памяти SRAM, используемых для «хранения матрицы и выполнения матрично-векторного умножения «на месте» без промежуточного перемещения данных». Заявлено, что эта технология «радикально» увеличивает количество операций за компьютерный цикл, не страдая от таких проблем, как шум или снижение точности.
Платформа Metis AI обеспечивает более 50 TOPS на ядро (движок потока данных, управляемый RISC-V), обеспечивает точность, эквивалентную FP32, и имеет энергоэффективность 15 TOPS/Вт. Последний пункт впечатляет, но это означает, что достичь 214 TOPS будет не возможно с модулем, показанным выше, поскольку форм-фактор M.2 рассчитан примерно на 8 Вт при надлежащем охлаждении (толстый радиатор). Так что лучшее, на что остается надеяться, это 120 TOPS. Это все равно был бы серьезный скачок по сравнению с картой Hailo 8 M.2, обеспечивающей до 26 TOPS, и этот показатель значительно выше по сравнению с популярными ускорителями Coral Edge или Myriad X.
Для справки: модуль NVIDIA Jetson AGX Orin (32 ГБ) обеспечивает до 200 TOPS при 50 Вт или 4 TOPS/Вт энергоэффективности. Так что либо Axelera придумала какую-то прорывную технологию, либо происходят какие-то махинации, и нам не рассказывают всю историю… тем более, что ожидается, что модуль M.2 будет продаваться по цене 149 долларов/149 евро. Об этом мы узнаем, когда модуль станет доступен.
Axelera Metis можно запрограммировать с помощью Voyager SDK, который в настоящее время оптимизирован для разработки приложений компьютерного зрения для Edge. Он абстрагирует внутреннюю работу Medis AIPU, а также может квантовать и компилировать модели, обученные для PyTorch и Tensorflow, чтобы упростить работу разработчиков. Компания также предоставляет доступ к Axelera Model Zoo, доступному в Интернете и через облачные API, с конвейерами для общих случаев использования, таких как классификация изображений, обнаружение объектов, сегментация, обнаружение ключевых точек и распознавание лиц.
Компания также будет предлагать карту PCIe с четырьмя процессорами Metis AIPU, обеспечивающими до 856 TOPS вывода искусственного интеллекта со скоростью до 12 800 кадров в секунду с ResNET50 или 38 884 кадров в секунду с MobileNet V2-1.0. Карта PCIe будет продаваться по цене 499 долларов/499 евро.
Наконец, AI-шлюз с картой Metis M.2 сможет поддерживать до 8 камер для развертывания в робототехнике и розничной торговле, и нам сказали, что он обеспечит производительность более 100 TOPS, что выглядит более реальным, чем заявленные 200 + TOPS. Дизайн корпуса наводит нас на мысль, что он был разработан AAEON, но здесь мы можем ошибаться.
И модуль Axelera M.2, и карта PCIe, и AI-шлюз будут доступны для заказа в первом квартале 2023 года. Более подробную информацию можно найти на веб-сайте компании, где вы также можете зарегистрировать свой интерес.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.