Инициатива направлена на снижение рисков, связанных с онлайн-радикализацией, и развивается на фоне роста числа судебных разбирательств, затрагивающих ответственность цифровых платформ за пользовательский контент. Ключевым разработчиком решения выступает новозеландская компания ThroughLine, сотрудничающая с OpenAI, Anthropic и Google.
Текущая специализация ThroughLine — обнаружение кризисных сигналов в пользовательских запросах. Система уже способна выявлять признаки суицидальных мыслей, домашнего насилия и расстройств пищевого поведения, после чего перенаправляет пользователя к профильным службам помощи. Новый этап развития предполагает расширение функциональности на случаи потенциальной радикализации.
Партнёром проекта выступает The Christchurch Call — международная инициатива по противодействию распространению экстремистского контента в интернете, созданная после Christchurch mosque shootings. Организация будет предоставлять экспертную поддержку при анализе потенциально опасных запросов.
В рамках новой архитектуры ThroughLine планирует разработать специализированный чат-бот для оперативного реагирования на выявленные риски. Предполагается, что система будет не только ограничивать распространение вредоносного контента, но и предлагать пользователям альтернативные, более безопасные сценарии взаимодействия.
Инициатива отражает более широкий тренд в индустрии искусственного интеллекта, где разработчики усиливают механизмы превентивной модерации и внедряют инструменты раннего выявления потенциально опасного поведения пользователей.
Источник: https://kod.ru/chatgpt-viyavit-ekstremizmЕсли вам понравился материал, кликните значок — вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал —не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
