Фильтр по тематике
Большая языковая модель ИИ требует огромных объемов данных. Для процессора LLM, такого как ChatGPT-4, базовым набором данных по сути является Интернет. Создание модели такого размера начинается с предварительного обучения или токенизации и анализа входной модели на предмет отношений между словами, тональности и других атрибутов, основанных на языке. Это предварительное обучение включает в себя многократное выполнение алгоритмов матричной математики и других алгоритмов на данных, что создает потребность в ускорении вычислений в огромных масштабах. Модели требуется также пост-обучение для настройки алгоритмов и итерации на точность. Пост-тренинг добавляет к вычислительной нагрузке человеческую обратную связь и обучение с подкреплением. При этом требуется столько же, если не больше, ресурсов вычислительной инфраструктуры.
В то время как основной целью процесса разработки языковых моделей было повышение точности и актуальности результатов генеративного искусственного интеллекта в LLM, OpenAI получила значительное представление о потребностях в аппаратной инфраструктуре. OpenAI проводила эксперименты, чтобы определить, какой уровень вычислительной нагрузки требуется и каковы будут результаты при увеличении вычислительных мощностей. Они обнаружили предсказуемость требований к вычислениям на основе желаемой точности и коэффициентов энтропии. Если посмотреть на это с другой стороны, модель GPT-1 была обучена на одном устройстве с небольшой группой графических процессоров в течение нескольких недель. GPT-2 уже использовал кластер из 10 000 процессоров Nvidia V100 с тензорными ядрами.
OpenAI использует эти данные, чтобы оправдать большие инфраструктурные ставки на свою исследовательскую программу. Это также привело к обеспокоенности команды по поводу способности индустрии чипов удовлетворить аппаратные потребности OpenAI и индустрии искусственного интеллекта в целом. И дело не только в процессорах. Все другие многочисленные компоненты также должны быть доступны. С такой большой вычислительной мощностью, сосредоточенной в серверных фермах, потребление электроэнергии ИИ становится фактором первого порядка в общей электросети. Это становится всё большей проблемой. Синхронизированное обучение в центре обработки данных приведет к резкому снижению энергопотребления. Сегодняшняя сеть учитывает модели домашнего и промышленного использования, но не обязательно пиковую нагрузку на центр обработки данных.
Производительность компьютера также не является второстепенной по отношению к мощности, безопасности, сети и надежности. Эти дополнительные факторы находятся в равных условиях. Все они нуждаются в согласованных усилиях по расширению, особенно в области электросети и безопасности. «Мы считаем, что миру нужно развитие инфраструктуры – производственных мощностей, энергии, центров обработки данных и т. д. – чем люди в настоящее время планируют построить», — сказал Сэм Альтман, основатель OpenAI. «Создание крупномасштабной инфраструктуры искусственного интеллекта и устойчивой цепочки поставок имеет решающее значение для экономической конкурентоспособности».
OpenAI может взимать меньшую плату по мере роста возможностей LLM, а интеллектуальные и выходные уровни ИИ могут значительно вырасти. Однако вычислительная нагрузка работает в обратном направлении, а отраслевые фабрики и возможности разработки не поспевают за ними. Индустрия искусственного интеллекта нуждается в значительной новой инфраструктуре для создания чипов и поддержки цепочки поставок. Алгоритмы есть, но OpenAI обеспокоена тем, что аппаратное обеспечение станет основным ограничением, если отрасль в целом не предпримет четких действий. Масштабирование вычислительной инфраструктуры поддается проверке и предсказуемо. Растущий интеллект стимулирует спрос на логические выводы. Технологии и экономика искусственного интеллекта готовы к работе, недостающим кусочком головоломки является промышленная инфраструктура.
Источник: https://www.allaboutcircuits.com/news/trevor-cai-talks-ai-hardware-scaling-at-hot-chips-2024/
