📖 Anthropic уничтожил миллионы книг ради обучения Claude

На днях суд в США постановил, что Anthropic имел право обучать Claude на легально купленных книгах без отдельного разрешения их авторов. Но в рамках судебного процесса выяснились подробности, как именно проходил этот процесс.

Для сбора данных Anthropic нанял Тома Тёрви — бывшего руководителя Google Books. Его задача была амбициозной: получить «все книги в мире». Компания приобрела несколько миллионов новых и подержанных книг, а затем начался процесс «деструктивного сканирования». У книг срезали переплёты, страницы пропускали через сканер для быстрой оцифровки, а бумажные оригиналы выбрасывали. При этом OpenAI и Microsoft, к примеру, для своих целей сотрудничают с библиотеками и стараются сохранять сканируемые издания.

Как считаете, оправдывает ли технологический прогресс уничтожение книг? Расскажите в комментариях.

Подписывайтесь 👉 @techno_yandex

🤖 Почему роботы иногда пугают?

Эффект зловещей долины — это психологический феномен, при котором человекоподобные машины кажутся страшными и странными. Рассказываем в ролике, как инженеры пытаются обойти эту проблему.

Подписывайтесь 👉 @techno_yandex

🔍🤖 Нейросети умеют «понимать» любые типы данных — тексты, картинки, аудио, видео — и всё это благодаря эмбеддингам. Вот как это работает.

Что такое эмбеддинг?

Это какие-либо данные (например, голосовой запрос или видеоролик), преобразованные в вектор. Этот процесс называют векторизацией данных. Векторизация преобразует информацию в компактное математическое представление, сохраняя их смысл. Чем больше размерность вектора, тем более детализировано в нём представлены данные.

Как нейросети работают с эмбеддингами

Нейросеть — это математическая модель, и эмбеддинги «переводят» разные типы данных на понятный ей язык. Благодаря этому нейросеть может анализировать информацию — сравнивать векторы в математическом пространстве. У похожих по содержанию и смыслу данных, например, двух фотографий котов, векторы тоже похожи — это позволяет видеть связи между элементами и находить нужную информацию.

А можно пример?

С помощью эмбеддингов можно искать похожие тексты и картинки, рекомендовать пользователям подходящий контент и делать многое другое.

Подписывайтесь 👉 @techno_yandex