Компания уже передала проект своего первого чипа Napier в производство, а коммерческие поставки вычислительных систем на его основе планируется начать во второй половине 2027 года. До конца текущего года Tensordyne намерена предоставить клиентам доступ к облачной бета-версии платформы, что позволит впервые проверить заявленные характеристики на практике.
По утверждению разработчиков, кластер из 72 процессоров Napier способен выполнять вывод больших языковых моделей примерно в четыре раза быстрее, чем сопоставимая система Nvidia GB300, при значительно меньшем энергопотреблении. Однако пока все оценки основаны исключительно на компьютерном моделировании, а реальные испытания еще впереди.
Главная особенность Napier заключается в использовании логарифмической арифметики. В обычных нейросетях значительная часть вычислительной нагрузки приходится на операции умножения матриц. Tensordyne предлагает заменить их преобразованием чисел в логарифмическую форму, где умножение сводится к гораздо более простой операции сложения.
«Мы фактически превратили умножители в сумматоры», — объясняет основатель компании и вице-президент по ИИ Жиль Бакхус. По его словам, схемы сложения занимают меньше площади на кристалле и потребляют значительно меньше энергии, что позволяет увеличить вычислительную плотность и повысить эффективность процессора.
Сам принцип логарифмических вычислений известен давно, однако его практическое применение долгое время ограничивалось сложностью и низкой точностью преобразований между логарифмическими представлениями и привычными форматами чисел с плавающей запятой. В Tensordyne утверждают, что сумели решить эту проблему, разработав компактные и высокоточные схемы преобразования, пригодные для массового производства.
Интерес к альтернативным форматам представления чисел в последние годы заметно вырос. Еще в 2023 году главный научный сотрудник Nvidia Билл Далли отмечал, что значительная часть прироста производительности современных ИИ-ускорителей связана именно с переходом к более компактным числовым форматам и уменьшением сложности вычислительных блоков.
Разработчики Tensordyne также делают ставку на изменение структуры рынка искусственного интеллекта. Если раньше основное внимание уделялось обучению моделей, то сейчас на первый план все чаще выходит вывод — процесс генерации ответов уже обученными нейросетями. Распространение ИИ-агентов и массовых сервисов приводит к тому, что критически важными становятся стоимость генерации, задержки и пропускная способность систем.
Процесс вывода состоит из двух этапов. На стадии предварительной обработки модель преобразует входные данные в токены и формирует кэш состояний, что требует высокой вычислительной мощности. Затем следует декодирование, когда модель генерирует ответ токен за токеном. Этот процесс более чувствителен к задержкам памяти и сетевой инфраструктуры.
Крупнейшие игроки рынка уже начали строить специализированные архитектуры для разделения этих задач. Nvidia предлагает использовать различные типы ускорителей для предварительной обработки и декодирования. Аналогичных подходов придерживаются Amazon Web Services и Cerebras.
В Tensordyne утверждают, что сумели объединить обе функции в рамках одной системы. Каждый процессор Napier оснащается 144 Гбайт высокоскоростной памяти HBM и использует специализированную межсоединительную сеть Napier Link с задержкой около одной микросекунды.
В четверти стандартной серверной стойки компания размещает 72 ускорителя Napier, восемь процессоров Intel Xeon и 64 Тбайт твердотельной памяти. По оценкам разработчиков, четырехмодульная система способна обслуживать языковые модели с двумя триллионами параметров, обеспечивая производительность до 1300 токенов в секунду на пользователя при энергопотреблении около 120 кВт.
Для достижения аналогичных показателей существующим решениям, построенным на архитектурах Nvidia Rubin и Groq 3, по расчетам Tensordyne, может потребоваться до девяти серверных стоек и примерно 1,5 МВт мощности.
Если заявленные характеристики подтвердятся в реальных испытаниях, Tensordyne может стать одним из наиболее заметных новых игроков на рынке ИИ-ускорителей. Впрочем, компании еще предстоит доказать, что преимущества логарифмической арифметики сохраняются не только в симуляциях, но и в готовых коммерческих системах. Именно результаты бета-тестирования, запланированного на конец года, покажут, сможет ли стартап действительно бросить вызов доминированию Nvidia на рынке вычислений для искусственного интеллекта.
Источник: https://spectrum.ieee.org/tensordyne-inference-claimЕсли вам понравился материал, кликните значок — вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал —не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
