Taalas HC1 — это AI-акселератор с аппаратно реализованной (т.е. реализованной на уровне железа) моделью Llama-3.1 8B, обеспечивающий производительность около 17 000 токенов/с с этой моделью, что превосходит показатели датацентровых ускорителей, таких как чипы NVIDIA B200 или Cerebras.
Taalas HC1 примерно в 10 раз быстрее чипа Cerebras, его производство стоит в 20 раз меньше, а потребление энергии ниже в 10 раз. Основной недостаток заключается в том, что он работает только с моделью, «зашитой» в аппаратную часть, на данный момент это Llama-3.1 8B, хотя утверждается, что он «сохраняет гибкость за счет настраиваемого размера контекстного окна и поддержки тонкой настройки через низкоранговые адаптеры (LoRAs)».
