Современная электроника №4/2025

СОВРЕМЕННЫЕ ТЕХНОЛОГИИ 35 WWW.CTA.RU СОВРЕМЕННАЯ ЭЛЕКТРОНИКА • № 4 / 2025 ● Stability AI [53]; ● и другие. Из новых моделей можно выделить Claude 3.7, Grok 3 и Gemini 2.0. Последняя версия Claude 3.7 Sonnet была выпущена в феврале 2025 года. Это часть семейства моделей Claude 3, которое включает также Claude Haiku и Claude Opus. Увеличенное окно контек- ста (двести тысяч токенов) демонстри- рует улучшенное понимание контекста, более связные и релевантные ответы, а также учёт нюансов и подтекста вопро- сов. Кроме того, модель Claude 3.7 спо- собна лучше справляться со сложными, многоступенчатыми задачами, требую- щими более глубокого анализа. Напри- мер, Claude 3.7 может без ошибок гене- рировать инструкции для настройки таких сложных электронных систем, как серверы с ИИ-ускорителями [54]. Одна из последних LLM моделей Google DeepMind Gemini 2.0 появилась в феврале 2025 года. Кроме того, что для продвинутых пользователей появилась возможность решения сложных задач через API Gemini в Google AI Studio, обновлённый вариант ИИ с Flash Gemini 2.0 стал доступным на рабочем столе и мобильных устройствах для всех поль- зователей приложения Gemini. Внедрение LLM Gemini 2.0 в управ- ление IoT «умного дома» позволит существенно упростить процессы использования ИИ в таких новых раз- вивающихся направлениях, как AI-In- Everything – AIIE. Например, ИИ сможет быть полез- ным в тех случаях, когда нужно будет генерировать код, компилировать и адаптировать его для ПО умного тер- мостата, который должен отвечать на сложные голосовые запросы типа «почему так жарко, сделай похолод- нее» и т.д. [55]. Мультимодальная модель ИИ OpenAI GPT-4o (Omni), выпущенная в мае 2024 года, обладает улучшенными возможностями обработки текста, изо- бражений, аудио и видео в реальном времени, позволяя вести естественные разговоры со способностью переклю- чаться между модальностями. Модель GPT-4o значительно превосходит пре- дыдущие разработки по скорости и точности, особенно в задачах распоз- навания и анализа речи [56]. Большая языковая модель Grok 3, появившаяся в феврале 2025 года, предназначена для обработки гигант- ских объёмов различных типов дан- ных в виде текста и изображений [57]. Из основных отличительных свойств Grok 3 можно выделить такие, напри- мер, как: доступ к сетям Интернет в реальном масштабе времени; режим Think; функция DeepSearch. Режим Think позволяет разбивать сложные пробле- мы на простые и решать их последова- тельно шаг за шагом, уточняя ответы на каждой следующей итерации. В отли- чие от статических моделей, Grok име- ет функцию DeepSearch, которая даёт возможность извлекать информа- цию в реальном времени из Интерне- та и BDB (Big Database) и генерировать ответы, отражающие последние дости- жения науки и техники. Обучение Grok 3, реализованное на суперкомпьютере xAI Colossus с более чем ста тысячами графических процессоров Nvidia (точ- ные оценки неизвестны), а также кон- текстное окно, превышающее, по гипо- тетическим оценкам, миллион токенов, обеспечивают непрерывную поддержку чатов в течение длительного времени. Важно подчеркнуть, что Grok 3 – это не просто генерация текста, а глубо- кий анализ проблемы. Так, например, этот ИИ может быть успешно исполь- зован при разработке чипов в плане создания кодов оптимизации, а также для общения с периферийными интел- лектуальными устройствами [58]. Семейство крупных языковых моде- лей DeepSeek LLM представлено раз- ными продуктами с размерами от 7 млрд до 67 млрд параметров. Модель DeepSeek 67B демонстрирует произ- водительность, сравнимую с GPT-3.5. Она обучена на массивном датасете из более чем 2 трлн токенов. Модель DeepSeek Coder 33B – это SLM, дополнительно обученная на больших корпусах кода и технической докумен- тации. Базовая архитектура взята от DeepSeek LLM, но модель прошла спе- циализацию для лучшего понимания и генерации программного кода. Она была дополнительно обучена на трил- лионах токенов кода из различных репозиториев. Модель DeepSeek Math 67B так- же является LLM, специализирован- ной на математических задачах. Она построена на основе базовой LLM- архитектуры DeepSeek, но прошла дополнительное обучение на мате- матических датасетах, включая зада- чи, формулы, доказательства и вычис- ления. Коренное отличие DeepSeek от дру- гих моделей заключается в их новом подходе к обучению. Практически все большие современ- ные модели, такие как OpenAI ChatGPT, используют для обучения метод Reinforcement Learning from Human Feedback – RLHF. В этом случае модель сначала обучается на больших объёмах данных (предобучение), а затем прохо- дит этап тонкой настройки с исполь- зованием человеческой обратной свя- зи. Человек оценивает ответы модели как «хорошо» или «плохо», и на осно- ве этих оценок модель оптимизируется через алгоритмы усиленного обучения, такие как Proximal Policy Optimization – PPO. Это помогает модели лучше соот- ветствовать человеческим ожиданиям и предпочтениям. В отличие от класси- ческого обучения на данных, здесь ИИ «экспериментирует», а человек говорит, что хорошо, а что плохо, точно так, как это делает тренер для спортсмена. Основные этапы обучения LLMмоде- лей методом RLHF приведены ниже (рис. 9). 1. Инициализация. Определяет- ся задача, которую должен освоить ИИ-агент, и оценивается соответству- ющая функция вознаграждения. 2. Сбор и предварительная обработ- ка данных. Отбираются решения задач экспертами. Эти демонстрации служат примерами, на основе которых обуча- ется ИИ-агент. Полученные данные обрабатываются и преобразуются в формат, подходящий для обучения. 3. Начальное обучение политики поведения. Агент учится имитиро- вать поведение экспертов на основе собранных данных. 4. Применение политики. Взаимодей- ствие ИИ-агента с окружающей средой с использованием выученной политики. 5. Обратная связь. Эксперты предо- ставляют обратную связь о действи- Рис. 8. Современные большие модели ИИ могут писать музыку, стихи, генерировать изображения [45]