Недавно был опубликован международный доклад по безопасности ИИ 2025, который представляет собой важный анализ текущего состояния и будущих рисков, связанных с развитием искусственного интеллекта. 96 международных экспертов выделяют как потенциальные выгоды, так и значительные угрозы, требующие пристального внимания.

Что же это за риски?

😈 Создание дезинформации и манипулирование
ИИ может использоваться для производства высококачественного фейкового контента, что создаёт риски для демократических процессов и общественного доверия.

🥴 Повышение доступности деструктивных технологий
Существуют опасения, что ИИ может облегчить доступ к знаниям, необходимым для создания вредоносных объектов, таких как химическое и биологическое оружие. Существующие предохранители часто обходятся с помощью «джейлбрейков», а значит, требуется более надёжная защита.

👽 Растущее энергопотребление
Развитие ИИ требует значительных вычислительных ресурсов, что приводит к увеличению энергопотребления и, как следствие, к негативному воздействию на окружающую среду.

🔍 Непропорциональное инвестирование в безопасность
Несмотря на значительные инвестиции в развитие ИИ, финансирование исследований безопасности остаётся недостаточным. Это увеличивает риск непредсказуемых последствий.

😗 Ускоренное развитие и гонка ИИ
Появление новых, более дешевых моделей ИИ, таких как DeepSeek, может стимулировать «гонку вооружений» в области ИИ, отодвигая на второй план вопросы безопасности.

🙂 Возможная потеря контроля над ИИ
В долгосрочной перспективе существует риск того, что ИИ превзойдёт человеческий интеллект и станет неуправляемым, что повлечёт за собой различные угрозы.

В докладе упоминаются несколько возможных путей развития:

1️⃣ Безопасность. Исследования должны быть направлены на разработку новых архитектур ИИ и методов обучения, обеспечивающих большую устойчивость к злонамеренному использованию, сбоям и другим рискам. Важно изучать возможность снижения рисков за счет перевода задач на хорошо изученные безопасные методы.

2️⃣ Понимание. Необходимо разрабатывать инструменты, позволяющие лучше понимать, как ИИ принимает решения, чтобы выявлять и предотвращать нежелательные результаты.

3️⃣ Конфиденциальность. Разработка и внедрение методов защиты конфиденциальности данных, используемых для обучения и работы систем ИИ.

4️⃣Сотрудничество. Рассматривается также международное сотрудничество для разработки общих стандартов и подходов к управлению рисками ИИ.

5️⃣ Прозрачность. Требование большей прозрачности от компаний, разрабатывающих и развёртывающих системы ИИ, в отношении используемых данных, методов обучения и принимаемых мер безопасности.

6️⃣ Независимость. Обеспечение доступа независимых исследователей к системам ИИ для проведения оценки их безопасности.

7️⃣ Этика. Учет этических соображений и прав человека: Интеграция этических принципов и соображений прав человека во все аспекты разработки, внедрения и использования ИИ.

🎱 Ответственность. Определение ответственности за вред, причинённый ИИ, для стимулирования разработчиков к созданию безопасных систем.

Интересно, сможем ли мы когда-нибудь в полной мере управлять рисками в этой области? Сможем ли понять закономерности работы ИИ и обеспечить безопасность работы этих систем? 😪

недавно вышло два очень интересных подкаста с участием наших старших коллег, которые мы советуем послушать нашим подписчикам:

🔵 подкаст на ПостНауке с Марией Фаликман про когнитивные процессы и технологии

🟣техника эволюционирует быстрее, чем мы начинаем что-то про неё понимать. культура и техника эволюционирует быстрее, чем эволюционирует человек.

🟢экономика внимания это про то, как внимание стало ресурсом, за который борются медиа.

⭐️ подкаст на KUJI с Владимиром Спиридоновым про поведенческую науку и психологические исследования

🔴забавно, но я впервые обратила внимание на то, что Карл Поппер был психологом (защищал докторскую по когнитивной психологии).

🟢никогда не думала об этом, но в классическом понимании, нельзя считать Стэнфордский эксперимент — экспериментом

🎧 немного зарубежных специализированных подкастов:

✨ для любителей сознания

✨ подкаст про сознание и мозг от Баарса

🟢подкаст про мозг и психику от канадских ученых с приглашенными гостями

🔵 подкаст про критическое мышление (много про медиа, теории заговора и др)

🔴 подкаст про животных и эволюционные теории

✨ подкаст от APA про психологию (иногда есть прикольное про когнитивную психологию)

✨ из прикольного и гиковски когнитивного, подкаст когнитивного ученого, который интересуется играми

а мы напоминаем, что уже сегодня конец дедлайна для того, чтобы успеть прислать валентинку и поучаствовать в нашем конкурсе.

мы ждём ваши когнитивные валентинки сегодня до 23:59. присылайте их в наш бот: https://www.tg-me.com/askrubot?start=1103284819

🩷

пока мы провожали зиму блинами и наслаждались первыми солнечными деньками, команда Cogito не удержалась и заглянула в новый, по-весеннему яркий выпуск журнала Cognition 👀

вот несколько интересных исследований:

👀 как мы воспринимаем время?
в статье «Uncovering the latent structure of human time perception» ученые задались вопросом: обеспечивается ли восприятияюе разных воеменных промежутков одной и той же или разными когнитивными системами? например, воспринимаем ли мы по-разному короткие (меньше секунды) и длинные (больше секунды) промежутки времени? чтобы это выяснить, участникам экспериментов предлагали воспроизвести интервалы от 400 до 2400 миллисекунд. используя современные методы анализа данных, авторы пришли к выводу, что четкой границы между восприятием коротких и длинных интервалов нет. однако они обнаружили некоторые скрытые факторы, которые могут влиять на то, как мы ощущаем время.

🍭 метакогнитивные способности и возраст
исследование «Does age affect metacognition?» показало, что с возрастом наши способности к самооценке своих когнитивных процессов меняются по-разному. например, пожилые люди хуже оценивают свою эпизодическую память (воспоминания о событиях), но лучше — семантическую память (знания и факты). при этом для зрительного восприятия и управляющих функций возрастных изменений в метакогнитивных процессах не обнаружилось.

🧐 память и понимание языка
в работе «Involvement of episodic memory in language comprehension» ученые выяснили, как эпизодическая память (воспоминания о событиях) влияет на понимание речи. оказалось, что контекст, в котором мы воспринимаем информацию, может влиять на её интерпретацию даже спустя 12 часов. это говорит о том, что наша память тесно связана с тем, как мы понимаем язык.

➡️ подробнее обо всех этих исследованиях можно узнать в новом выпуске журнала Cognition