Очень хороший канал. Status Rerum. https://www.tg-me.com/status_rerum
Telegram
STATUS RERUM
Максимилиан Шепелев: alius et idem - разный, но всегда неизменный
❤24🤔8👍3
Forwarded from ТюренковЪ у аппарата
Любопытный факт. Старшая дочь Василия Макаровича Шукшина, Екатерина Васильевна, человек совсем не медийный. Но в узких кругах известна как переводчик с немецкого. Оказывается, она перевела, как минимум, две книги Эрнста Юнгера (а также книги Томаса Манна, Ремарка, Гессе и многих других).
Такая вот посмертная встреча великого немца с великим русским. "Стальные грозы" и "Странные люди". "Сады и дороги" и "Печки-лавочки". "Уход в лес" и "Калина красная".
Вечная память обоим!
Такая вот посмертная встреча великого немца с великим русским. "Стальные грозы" и "Странные люди". "Сады и дороги" и "Печки-лавочки". "Уход в лес" и "Калина красная".
Вечная память обоим!
🔥162❤88🤔15
Forwarded from Data Secrets
LLMs Can Get Brain Rot: статья о том, что модельки тоже деградируют от думскролинга
Исследователи из Техаса выпустили ну очень интересную работу, вызвавшую волну обсуждений. Они показали, что если LLM начать дообучать на низкокачественных данных из соцсетей (коротких, популярных, кликабельных постах), то она начинает терять свои когнитивные способности. Примерно так же, как человек теряет внимание и память, когда слишком много думсерфит.
Разбираемся, почему так, с технической точки зрения.
По факту, эксперимент был следующий. Взяли Llama 3 8B Instruct и начали дообучать на (а) коротких и очень популярных постах, у которых много лайков, ретвитов и реплаев; и (б) на контенте с низкой смысловой ценностью: кликбейт, конспирология, все такое. После этого замерили метрики и сравнили с результатами до дообучения. Итоги:
– Качество ризонинга упало с 74.9 до 57.2
– Понимание длинного контекста – с 84.4 до 52.3
– На элаймент-тестах выяснилось, что у модели развился нарциссизм, макиавеллизм и психопатия
Даже после дополнительного тюнинга на чистых данных деградация не исчезала полностью.
Но дело в том, что никакого глобального открытия тут нет. Объясняется все это простым сдвигом распределения. При дообучении на коротких, популярных, эмоционально окрашенных твитах модель видит совсем другой статистический ландшафт, чем во время исходного претрейна на книжках, статьях и тд.
Это смещает распределение в пространстве эмбеддингов и меняет attention-паттерны. Модель постоянно видит короткие тексты без логической цепочки, и, естественно, маски внимания начинают больше фокусироваться на последних нескольких токенах и терять долгосрочные зависимости, которые раньше и обеспечивали качественный CoT.
Градиентная динамика тут тоже играет против нас. Лосс просто-напросто минимизируется за счет поверхностных корреляций, а параметры, отвечающие за долгие причинно-следственные связи, почти не получают обновлений. Вот и получается, что моделька теряет способность длинно рассуждать. Авторы называют этот феномен thought-skipping.
Вот так. Просто еще одно доказательство, что данные – наше все. Теперь можно идти дальше листать рилсы☕️
arxiv.org/pdf/2510.13928
Исследователи из Техаса выпустили ну очень интересную работу, вызвавшую волну обсуждений. Они показали, что если LLM начать дообучать на низкокачественных данных из соцсетей (коротких, популярных, кликабельных постах), то она начинает терять свои когнитивные способности. Примерно так же, как человек теряет внимание и память, когда слишком много думсерфит.
Разбираемся, почему так, с технической точки зрения.
По факту, эксперимент был следующий. Взяли Llama 3 8B Instruct и начали дообучать на (а) коротких и очень популярных постах, у которых много лайков, ретвитов и реплаев; и (б) на контенте с низкой смысловой ценностью: кликбейт, конспирология, все такое. После этого замерили метрики и сравнили с результатами до дообучения. Итоги:
– Качество ризонинга упало с 74.9 до 57.2
– Понимание длинного контекста – с 84.4 до 52.3
– На элаймент-тестах выяснилось, что у модели развился нарциссизм, макиавеллизм и психопатия
Даже после дополнительного тюнинга на чистых данных деградация не исчезала полностью.
Но дело в том, что никакого глобального открытия тут нет. Объясняется все это простым сдвигом распределения. При дообучении на коротких, популярных, эмоционально окрашенных твитах модель видит совсем другой статистический ландшафт, чем во время исходного претрейна на книжках, статьях и тд.
Это смещает распределение в пространстве эмбеддингов и меняет attention-паттерны. Модель постоянно видит короткие тексты без логической цепочки, и, естественно, маски внимания начинают больше фокусироваться на последних нескольких токенах и терять долгосрочные зависимости, которые раньше и обеспечивали качественный CoT.
Градиентная динамика тут тоже играет против нас. Лосс просто-напросто минимизируется за счет поверхностных корреляций, а параметры, отвечающие за долгие причинно-следственные связи, почти не получают обновлений. Вот и получается, что моделька теряет способность длинно рассуждать. Авторы называют этот феномен thought-skipping.
Вот так. Просто еще одно доказательство, что данные – наше все. Теперь можно идти дальше листать рилсы
arxiv.org/pdf/2510.13928
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤61👍35🤔29🔥14💔4
Именно. Современный человек не просто дебил, он стремительно дебилизируется и дальше, и хочет теперь утянуть за собой и Искусственный Интеллект. Обычный средний человек не просто результат падения, он процесс падения. С ускорением. Стараться быть на волне современности и популярности значит лишь одно: спешить к стремительной деградации. Желание быть модным и популярным яркий маркер ускоренной дегенерации. Современный обыватель опасен не только для человечества, но и для умных машин.
👍182🔥42🤔27❤16💔4
Именно это Рене Генон и имел в виду под «царством количества». Погоня за числом прямо пропорциональна утрате качества. В журнале, напечатанном на глянцевой бумаге с дорогой рекламой, заведомо может содержаться лишь невообразимая ахинея, вообще ни к чему не имеющая отношения. Также и с огромными форумами и ассамблеями, стадионами и гипер-массовыми блогерами и пабликами. Там по определению ничего важного и содержательного заведомо не может быть.
Неоплатоник Прокл считал, что маленькая армия всегда сильней большой армии. Хорошего и качественного всегда мало. Это нечто эксклюзивное, редкое. То, чего полно, бессмысленная дешевка.
Самая дефицитная и ценная вещь - пронзительная мысль, стремящаяся к истине. Все остальное гроша ломанного не стоит. Человек задуман как мыслящее существо, а значит, как философ. Если он проваливает свою миссию, он падает ниже животного и машины. Глупость человеческая это оскорбление Божьего замысла обо всем нашем роде. Так нельзя.
Неоплатоник Прокл считал, что маленькая армия всегда сильней большой армии. Хорошего и качественного всегда мало. Это нечто эксклюзивное, редкое. То, чего полно, бессмысленная дешевка.
Самая дефицитная и ценная вещь - пронзительная мысль, стремящаяся к истине. Все остальное гроша ломанного не стоит. Человек задуман как мыслящее существо, а значит, как философ. Если он проваливает свою миссию, он падает ниже животного и машины. Глупость человеческая это оскорбление Божьего замысла обо всем нашем роде. Так нельзя.
👍166🔥55❤54🤔24💔2
Швеция сможет поставить первую партию истребителей Gripen E Украине (к тому времени в составе Российской Империи) через три года, заявил шведский премьер
🔹 Подписаться на РИА Новости
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
РИА Новости
Главные Новости РИА
Авторы канала - наши корреспонденты в России и за рубежом. Мы рассказываем о том, что видим сами.
Регистрация в перечне РКН www.gosuslugi.ru/snet/678637f9506f967728faabaa
Авторы канала - наши корреспонденты в России и за рубежом. Мы рассказываем о том, что видим сами.
Регистрация в перечне РКН www.gosuslugi.ru/snet/678637f9506f967728faabaa
🔥66🤔30👍12❤8
Forwarded from Фотон Света
Идёт четвёртый год СВО…
Это происходит в самом центре Москвы, в той самой галерее на Трубной Объединения «Выставочных залов Москвы», где в январе мы проводили выставку цифрового искусства «Тут совсем не так, как в твоих розовых очках» от проекта «Русский Стиль». Экспозицию можно увидеть на первых фото. Курировал выставку мой коллега Антон Беликов – идеолог проектов «После иконы» и «Русский Стиль», лауреат Московской Арт Премии, а сейчас военнослужащий-доброволец.
Тогда в галерее на Трубной ВЗМ была открыта первая в России официальная выставка, полностью состоявшая из цифровых экспонатов, посвящённых СВО. Выставка об искусстве СВО, об артефактах сознания, о культурных символах и о войне в широком понимании, как о сложившейся культуре, имеющей свои ориентиры. В рамках выставки мы проводили лекции художников и кинопоказы документальных фильмов об СВО. Гостями выставки были герои и участники специальной военной операции и их друзья и близкие. Тогда, казалось, культура столицы наконец-то отреагировала на столь важные события в нашей стране.
В настоящее время с сайта галереи упоминания прошедшей выставки удалены! (скрин с официальных ресурсов ВЗМ прикрепляю, он был сделан сегодня).
И вновь, то тут, то там, как ни в чём ни бывало, мы видим выставочные проекты с фантазиями на тему масок Пусси Райот, экскрементами и гендерной повесткой.
Посмотрите, что показывали мы на своей выставке в галерее на Трубной (фото вверху) и сравните с тем, что сейчас выставлялось в тех же самых залах (фото внизу).
И у меня возникает закономерный вопрос, что же происходит с нашей Культурой сегодня? Какие цели ставят перед собой такие галереи и кураторы?
И самое главное, осталось ли место в нашей Культуре для такого понятия как элементарная вменяемость?
Фотон Света
Это происходит в самом центре Москвы, в той самой галерее на Трубной Объединения «Выставочных залов Москвы», где в январе мы проводили выставку цифрового искусства «Тут совсем не так, как в твоих розовых очках» от проекта «Русский Стиль». Экспозицию можно увидеть на первых фото. Курировал выставку мой коллега Антон Беликов – идеолог проектов «После иконы» и «Русский Стиль», лауреат Московской Арт Премии, а сейчас военнослужащий-доброволец.
Тогда в галерее на Трубной ВЗМ была открыта первая в России официальная выставка, полностью состоявшая из цифровых экспонатов, посвящённых СВО. Выставка об искусстве СВО, об артефактах сознания, о культурных символах и о войне в широком понимании, как о сложившейся культуре, имеющей свои ориентиры. В рамках выставки мы проводили лекции художников и кинопоказы документальных фильмов об СВО. Гостями выставки были герои и участники специальной военной операции и их друзья и близкие. Тогда, казалось, культура столицы наконец-то отреагировала на столь важные события в нашей стране.
В настоящее время с сайта галереи упоминания прошедшей выставки удалены! (скрин с официальных ресурсов ВЗМ прикрепляю, он был сделан сегодня).
И вновь, то тут, то там, как ни в чём ни бывало, мы видим выставочные проекты с фантазиями на тему масок Пусси Райот, экскрементами и гендерной повесткой.
Посмотрите, что показывали мы на своей выставке в галерее на Трубной (фото вверху) и сравните с тем, что сейчас выставлялось в тех же самых залах (фото внизу).
И у меня возникает закономерный вопрос, что же происходит с нашей Культурой сегодня? Какие цели ставят перед собой такие галереи и кураторы?
И самое главное, осталось ли место в нашей Культуре для такого понятия как элементарная вменяемость?
Фотон Света
🤔205❤72💔42🔥26👍11