#unrealneural #пытаюсьпонять
Карпатый говорит, что архитектура трансформера позволяет выполнять функции аналогичные участку корковой ткани мозга, потому что она универсальна и работает с разными типами данных (коры головного мозга в этом смысле тоже очень пластичны, поэтому удаление ее частей не исключает переадаптацию зрительной части на слуховую и так далее).
Обучение выстраиванию цепочек рассуждений для думающих моделей - это работа прифронатльной коры.
Но многие отделы мозга не до конца изучены. Не смотря на то что для решения интеллектуальных задач не все части мозга важны, есть те участки которые пока не имеют аналогов. Например миндалевидные тело (амигдала). Его сложно смоделировать, потому что она отвечает за эмоциональную обработку, быстрые реакции, мотивации и принятии решенией в условиях неопределенности.
P.S. - некоторые участки мозга ИИ скорее всего не будут нужны вовсе
Про работу миндалевидного тела
https://ru-dark-triad.livejournal.com/299020.html
Карпатый говорит, что архитектура трансформера позволяет выполнять функции аналогичные участку корковой ткани мозга, потому что она универсальна и работает с разными типами данных (коры головного мозга в этом смысле тоже очень пластичны, поэтому удаление ее частей не исключает переадаптацию зрительной части на слуховую и так далее).
Обучение выстраиванию цепочек рассуждений для думающих моделей - это работа прифронатльной коры.
Но многие отделы мозга не до конца изучены. Не смотря на то что для решения интеллектуальных задач не все части мозга важны, есть те участки которые пока не имеют аналогов. Например миндалевидные тело (амигдала). Его сложно смоделировать, потому что она отвечает за эмоциональную обработку, быстрые реакции, мотивации и принятии решенией в условиях неопределенности.
P.S. - некоторые участки мозга ИИ скорее всего не будут нужны вовсе
Про работу миндалевидного тела
https://ru-dark-triad.livejournal.com/299020.html
🤓3⚡1👍1🤮1
#unrealneural #вкопилкуэрудита
Стресс и кортизол со временем подавляют выработку дофаминовой системы и могут привести к снижению уровня дофамина, что делает человека склонным к зависимости или определенному виду аддиктивного поведения.
Это потому, что все зависимости – это попытка вашего организма повысить уровень дофамина в мозге 🧐
Стресс и кортизол со временем подавляют выработку дофаминовой системы и могут привести к снижению уровня дофамина, что делает человека склонным к зависимости или определенному виду аддиктивного поведения.
Это потому, что все зависимости – это попытка вашего организма повысить уровень дофамина в мозге 🧐
🤔5👍2🤷♂1
This media is not supported in your browser
VIEW IN TELEGRAM
#unrealneural
Немного ИИ красоты в начале недели
Центральная библиотека Singularity
Авторы использовали: Midjourney, Gemini, Claude, Firefly, Magnific, Kling, Suno, Grammarly
Немного ИИ красоты в начале недели
Центральная библиотека Singularity
Авторы использовали: Midjourney, Gemini, Claude, Firefly, Magnific, Kling, Suno, Grammarly
👍10🔥5❤4
This media is not supported in your browser
VIEW IN TELEGRAM
#unrealneural #пытаюсьпонять
Текстовая диффузия
Диффузия - это способ создания картинок и видео, где модель постепенно убирает шум из случайного хаоса, слой за слоем, сверху вниз. А вот для текста чаще используют авторегрессию: модель пишет слова по порядку — слева направо, сверху вниз, как человек печатает предложение. Если не углубляться в математику, всё сводится к простому:
Берем поток случайных токенов и постепенно уточняем их.
Используем обычный трансформер, но с двустороннм вниманием: модель смотрит на весь текст сразу. Каждый шаг переоцениваем и маскируем слова, которые еще "шумные". Повторяем, пока не получится чистый и готовый текст.
Модель постоянно подстраивает слова под общий смысл, пока всё не встанет на место.
Текстовая диффузия
Диффузия - это способ создания картинок и видео, где модель постепенно убирает шум из случайного хаоса, слой за слоем, сверху вниз. А вот для текста чаще используют авторегрессию: модель пишет слова по порядку — слева направо, сверху вниз, как человек печатает предложение. Если не углубляться в математику, всё сводится к простому:
Берем поток случайных токенов и постепенно уточняем их.
Используем обычный трансформер, но с двустороннм вниманием: модель смотрит на весь текст сразу. Каждый шаг переоцениваем и маскируем слова, которые еще "шумные". Повторяем, пока не получится чистый и готовый текст.
Модель постоянно подстраивает слова под общий смысл, пока всё не встанет на место.
👍4⚡1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
#unrealneural
Немного ИИ красоты в конце рабочего дня 🌙
Поставьте лайк и поделюсь промптом 🙃 в комментариях
Немного ИИ красоты в конце рабочего дня 🌙
Поставьте лайк и поделюсь промптом 🙃 в комментариях
👍15❤6🔥3
Media is too big
VIEW IN TELEGRAM
🔥6❤3👍3🌚2
#unrealneural #пытаюсьпонять
Визуальное восприятие текста
Изображения часто могут представлять собой более компактное представление данных. Пиксели представляют собой богатую визуальную информацию, которая теряется в результате токенизации.
Отсюда встает вопрос насколько эффективнее были бы LLM модели если бы даже текст обрабатывался через пиксельный поток?
Новая OCR модель от Deepseek, которая иллюстрирует систему эффективного оптического сжатия данных.
https://github.com/deepseek-ai/DeepSeek-OCR
Визуальное восприятие текста
Изображения часто могут представлять собой более компактное представление данных. Пиксели представляют собой богатую визуальную информацию, которая теряется в результате токенизации.
Отсюда встает вопрос насколько эффективнее были бы LLM модели если бы даже текст обрабатывался через пиксельный поток?
Новая OCR модель от Deepseek, которая иллюстрирует систему эффективного оптического сжатия данных.
https://github.com/deepseek-ai/DeepSeek-OCR
👍2🔥1🤔1
Media is too big
VIEW IN TELEGRAM
#unrealneural
Немного ИИ красоты в конце рабочего дня 🌙
Поставьте лайк и поделюсь промптом 🙃 в комментариях
Немного ИИ красоты в конце рабочего дня 🌙
Поставьте лайк и поделюсь промптом 🙃 в комментариях
❤9⚡2🤗1