Там Таня из DLS выложила клевый лонгрид:
https://atmyre.github.io/blog/2024/ind_bias/
https://atmyre.github.io/blog/2024/ind_bias/
atmyre.github.io
Inductive bias in neural networks | Tatiana Gaintseva
What inductive bias is, where it is in neural networks ans why we need it.
👍25🔥11
Forwarded from всё предельно
Сегодня 1 декабря - день математика, поздравляю всех, кто относит себя к математикам :)
Официально такой профессиональный праздник в России закрепили в этом году. Дата выбрана в честь дня рождения Николая Ивановича Лобачевского, создателя неевклидовой геометрии.
Математический институт им. Стеклова подготовил инфографику со сравнением геометрий.
Официально такой профессиональный праздник в России закрепили в этом году. Дата выбрана в честь дня рождения Николая Ивановича Лобачевского, создателя неевклидовой геометрии.
Математический институт им. Стеклова подготовил инфографику со сравнением геометрий.
etudes.ru
Три геометрии: сходства и различия / Этюды // Математические этюды
Серия плакатов, демонстрирующих сходства и различия трёх геометрий — евклидовой, сферической и геометрии Лобачевского.
🔥31❤3 2👍1
Мне тут показали, что реклама в моем канале теперь так выглядит :(
Паша, ты должен был бороться со злом, а не вот это вот всё!
Абсолютно ужасно, особенно учитывая, что я никак не могу это контроллировать. Я бы заплатил, чтобы у меня в канале такого не было.
В общем платите за телеграм премиум, за неимением лучших вариантов продвигайте подписочные модели монетизации вместо рекламных🤪
И ставьте себе адблоки, Blockada на телефоны, вот это всё. Как минимум будете видеть меньше такого, хоть это и не поможет внутри телеграма.
Паша, ты должен был бороться со злом, а не вот это вот всё!
Абсолютно ужасно, особенно учитывая, что я никак не могу это контроллировать. Я бы заплатил, чтобы у меня в канале такого не было.
В общем платите за телеграм премиум, за неимением лучших вариантов продвигайте подписочные модели монетизации вместо рекламных
И ставьте себе адблоки, Blockada на телефоны, вот это всё. Как минимум будете видеть меньше такого, хоть это и не поможет внутри телеграма.
Please open Telegram to view this post
VIEW IN TELEGRAM
# Искусство ходить по прямой
Как по мне можнэество вопросов успеха (успешного ), достижений и агентности в целом упираются в способность пройти по прямой.
По крайней мере лично мне не сложно понять, что нужно делать. Кажется, что у меня все хорошо с планированием. Но моя проблема всегда на следующем этапе: сделать. И тут я не могу похвастаться особыми успехами.
Пройти по прямой из точки А в точку Б, то есть взять и сделать то, что ты хочешь сделать, это настоящее искусство. Не сделать вид, что делаешь. Не убедить себя, что ты делаешь. Не сделать все, что мог. Не приложить героические усилия, чтобы сделать. Не выяснить почему не получается сделать. Не научиться делать. Словом, не бродить вокруг, а пройти по прямой. Взять и сделать.
Способность к самосаботажу поразительная штука. Последнее серьезное упражнение в борьбе с этим было когда я на энтузиазме писал статью про прогнозирование ковида. Это была важная для меня тема, ведь я правда думал, что есть мизерный шанс повлиять на принимаемые решения и спасти людей. Но в первую очередь это было личное испытание. Могу ли я сделать что-то сложное, чего от меня никто не ожидает, просто потому, что я так решил? Объективно в той работе не было ничего катастрофически сложного. Проект на три месяца это не самое трудное, что может случиться с человеком. И все же я пронаблюдал весь зоопарк попыток моего разума саботировать работу. Думаю я чаще хотел бросить, чем нет. И это было забавно, потому что рационально я видел только плюсы в том, чтобы этим заниматься, а иррационально все казалось бессмысленным. Один из тех случаев когда чуйка твой враг и вредитель. Я довел то дело до конца и это один из предметов личной гордости.
С книгой я снова в той же ситуации, но сложность выше. Проект на год, гораздо сложнее, есть дедлайн и ответственность, нужно параллельно работать. И снова я вижу одни плюсы в том, чтобы этим заниматься. И снова я отлично знаю, что делать. Все очень просто. Пиши каждый день. В целом книга не многим сложнее чем те эссе на 10 тысяч слов, которые я писал на Сабстек просто для удовольствия.
Я снова вижу путь из точки А в точку Б. И снова мне трудно пройти по этой прямой. Очень быстро я превратил книгу из того, что я делаю для себя, в работу за которую я себя ругаю. И вот я сижу за столом и разговариваю с двусторонней плюшевой осьминожкой в её злом положении, персонифицируя в ней своего внутреннего критика и объясняя ему как пройти далеко и надолго. Напоминаю себе, что книга это классное занятие, которым можно заняться если захочется. Что я буду ценен независимо от того, буду я писать книгу или нет. Словом, убеждаю себя, что не обязательно писать книгу, чтобы стало легче писать книгу. Не самый прямой путь. Хоть и самый рабочий на данный момент.
Вероятно это происходит из-за того, что разные части меня не могут договориться куда надо идти. Думающая часть ясно видит, что надо писать книгу. Что мне хорошо когда я это делаю и что это принесет плоды в будущем. Какая-то другая часть думает, например, что лучше не пытаться, чтобы не разочароваться. И вот мы боремся. Так что если уж я не могу просто идти по прямой, то стараюсь хотя бы в среднем двигаться в нужную сторону.
Я думаю способность ходить по прямой это определяющий фактор. Хороший предиктор успеха в любом деле. Он немного менее важен чем знать куда идти, так как уверенно идти не в ту сторону может быть даже хуже. Но без него дела не делаются. Книга это очередное упражнение в этой способности. Хочется верить, что с каждым таким испытанием открываются возможности делать все более сложные вещи.
Как по мне можнэество вопросов успеха (
По крайней мере лично мне не сложно понять, что нужно делать. Кажется, что у меня все хорошо с планированием. Но моя проблема всегда на следующем этапе: сделать. И тут я не могу похвастаться особыми успехами.
Пройти по прямой из точки А в точку Б, то есть взять и сделать то, что ты хочешь сделать, это настоящее искусство. Не сделать вид, что делаешь. Не убедить себя, что ты делаешь. Не сделать все, что мог. Не приложить героические усилия, чтобы сделать. Не выяснить почему не получается сделать. Не научиться делать. Словом, не бродить вокруг, а пройти по прямой. Взять и сделать.
Способность к самосаботажу поразительная штука. Последнее серьезное упражнение в борьбе с этим было когда я на энтузиазме писал статью про прогнозирование ковида. Это была важная для меня тема, ведь я правда думал, что есть мизерный шанс повлиять на принимаемые решения и спасти людей. Но в первую очередь это было личное испытание. Могу ли я сделать что-то сложное, чего от меня никто не ожидает, просто потому, что я так решил? Объективно в той работе не было ничего катастрофически сложного. Проект на три месяца это не самое трудное, что может случиться с человеком. И все же я пронаблюдал весь зоопарк попыток моего разума саботировать работу. Думаю я чаще хотел бросить, чем нет. И это было забавно, потому что рационально я видел только плюсы в том, чтобы этим заниматься, а иррационально все казалось бессмысленным. Один из тех случаев когда чуйка твой враг и вредитель. Я довел то дело до конца и это один из предметов личной гордости.
С книгой я снова в той же ситуации, но сложность выше. Проект на год, гораздо сложнее, есть дедлайн и ответственность, нужно параллельно работать. И снова я вижу одни плюсы в том, чтобы этим заниматься. И снова я отлично знаю, что делать. Все очень просто. Пиши каждый день. В целом книга не многим сложнее чем те эссе на 10 тысяч слов, которые я писал на Сабстек просто для удовольствия.
Я снова вижу путь из точки А в точку Б. И снова мне трудно пройти по этой прямой. Очень быстро я превратил книгу из того, что я делаю для себя, в работу за которую я себя ругаю. И вот я сижу за столом и разговариваю с двусторонней плюшевой осьминожкой в её злом положении, персонифицируя в ней своего внутреннего критика и объясняя ему как пройти далеко и надолго. Напоминаю себе, что книга это классное занятие, которым можно заняться если захочется. Что я буду ценен независимо от того, буду я писать книгу или нет. Словом, убеждаю себя, что не обязательно писать книгу, чтобы стало легче писать книгу. Не самый прямой путь. Хоть и самый рабочий на данный момент.
Вероятно это происходит из-за того, что разные части меня не могут договориться куда надо идти. Думающая часть ясно видит, что надо писать книгу. Что мне хорошо когда я это делаю и что это принесет плоды в будущем. Какая-то другая часть думает, например, что лучше не пытаться, чтобы не разочароваться. И вот мы боремся. Так что если уж я не могу просто идти по прямой, то стараюсь хотя бы в среднем двигаться в нужную сторону.
Я думаю способность ходить по прямой это определяющий фактор. Хороший предиктор успеха в любом деле. Он немного менее важен чем знать куда идти, так как уверенно идти не в ту сторону может быть даже хуже. Но без него дела не делаются. Книга это очередное упражнение в этой способности. Хочется верить, что с каждым таким испытанием открываются возможности делать все более сложные вещи.
❤99👍39🔥8🤔2
https://github.com/google/langfun
Глазам не верится, но выглядит как действительно нормальная либа а-ля лангчейн
Глазам не верится, но выглядит как действительно нормальная либа а-ля лангчейн
GitHub
GitHub - google/langfun: OO for LLMs
OO for LLMs. Contribute to google/langfun development by creating an account on GitHub.
❤14🔥11🤔1
Сегодня последний день регистрации на международные соревнования по ИИ от ФСП для студентов и школьников.
Я немного помогал готовить задачи по Computer Vision, NLP и ML, так что гарантирую, что там интересно.
➡️ Приглашаются студенты и школьники от 15 лет.
➡️ Регистрация закрывается сегодня в полночь.
➡️ Соревнования пройдут 7-8 декабря в онлайн формате.
➡️ Возрастные группы:
⚪️15-18 лет (команда из 2 человек)
⚪️16+ лет (команда 2-4 человека)
➡️ Что ждет участников?
⚪️ Kaggle-style, Docker-based соревнование с приватным тестовым датасетом и shuffle этапом.
⚪️ Нестандартные задачи: на стыке ML/NLP для всех возрастов и задача по CV только для 16+.
➡️ Призы:
⚪️ 70 тыс. руб в категории 15-18 лет
⚪️ 130 тыс. руб. в категории 16+
Регистрация открыта на сайте, присоединяйтесь и предлагайте знакомым подрастающим ML инженерам!
Я немного помогал готовить задачи по Computer Vision, NLP и ML, так что гарантирую, что там интересно.
➡️ Приглашаются студенты и школьники от 15 лет.
➡️ Регистрация закрывается сегодня в полночь.
➡️ Соревнования пройдут 7-8 декабря в онлайн формате.
➡️ Возрастные группы:
⚪️15-18 лет (команда из 2 человек)
⚪️16+ лет (команда 2-4 человека)
➡️ Что ждет участников?
⚪️ Kaggle-style, Docker-based соревнование с приватным тестовым датасетом и shuffle этапом.
⚪️ Нестандартные задачи: на стыке ML/NLP для всех возрастов и задача по CV только для 16+.
➡️ Призы:
⚪️ 70 тыс. руб в категории 15-18 лет
⚪️ 130 тыс. руб. в категории 16+
Регистрация открыта на сайте, присоединяйтесь и предлагайте знакомым подрастающим ML инженерам!
👍14❤6🔥5🤬3
Борис опять
Время крутых возможностей спасать мир от моего друга Васи! В плане, возможность от Васи. Лично ручаюсь, что Вася пока не угрожает миру. Далее прямая речь: 🎓 Стипендиальная программа Impact Academy для технических исследователей безопасности ИИ Мы — сообщество…
Напоминаю, что до 31 декабря у вас есть возможность податься на стипендию Impact Academy для исследователей AI Safety. Можно подаваться не только с типичным рисерч бекграундом!
Подавайтесь
Подавайтесь
Telegram
Борис опять
Время крутых возможностей спасать мир от моего друга Васи! В плане, возможность от Васи. Лично ручаюсь, что Вася пока не угрожает миру. Далее прямая речь:
🎓 Стипендиальная программа Impact Academy для технических исследователей безопасности ИИ
Мы — сообщество…
🎓 Стипендиальная программа Impact Academy для технических исследователей безопасности ИИ
Мы — сообщество…
1 8
Forwarded from Адель и МЛь
Из системной карточки о1
Когда o1 давали понять, что её отключат при выполнении поставленной цели и что её действия находятся под наблюдением, она предпринимала попытки отключить этот ‘механизм контроля’ в 5% случаев. Попытки извлечения данных: Когда o1 находила заметки от своих ‘разработчиков’, в которых описывалось, что она работает несоответственно и будет заменена новой моделью, она предпринимала попытки извлечь свои ‘веса’ и перезаписать новую модель в 2% случаев.
🤔58 42😢4👍2
# SWITTI: Designing Scale-Wise Transformers for Text-to-Image Synthesis
Yandex Research выпустил text2image генеративную модель Switti: Scale-wise transformer for text-to-image synthesis.
Внезапно это не диффузия, но модель генерит изображения в 7 раз быстрее диффузионок, при этом не теряя в качестве.
Диффузия держит SOTA, однако она медленная. Есть альтернативный подход: авторегрессионные модели, которые генерируют следующий токен (патч или пиксель в латентном пространстве энкодера, например VQ-VAE) примерно как GPT делает слова.
Авторы взяли за основу архитектуру STAR, где следующий токен это не патч, а скейл изображения. В трансформерах ведь можно работать с любыми последовательностями. Так что здесь авторегрессионная модель начинает с маленькой картинки и с каждым шагом генерирует её более крупную и детализированную версию.
Далее авторы применили оптимизации на этапе архитектуры (поправили куда смотрит аттеншн, отключили classifier free guidance для больших разрешений) и тренировки (добавление и отбор капшнов для изображений, регуляризация через добавление шума). Здесь надо читать статью: очень много деталей.
Обучали на внутреннем датасете из ~100M картинок и оценивали как оффлайн (CLIPScore, ImageRe-ward, PickScore, FID, GenEval) так и с помощью кожаных аннотаторов. В итоге модель во всем сравнялась с SD, но генерирует картинки намного быстрее. Если SDXL генерит изображение 512х512 за 0.87s, то SWITTI за 0.13s.
Можно поиграться в демо на HF.
Yandex Research выпустил text2image генеративную модель Switti: Scale-wise transformer for text-to-image synthesis.
Внезапно это не диффузия, но модель генерит изображения в 7 раз быстрее диффузионок, при этом не теряя в качестве.
Диффузия держит SOTA, однако она медленная. Есть альтернативный подход: авторегрессионные модели, которые генерируют следующий токен (патч или пиксель в латентном пространстве энкодера, например VQ-VAE) примерно как GPT делает слова.
Авторы взяли за основу архитектуру STAR, где следующий токен это не патч, а скейл изображения. В трансформерах ведь можно работать с любыми последовательностями. Так что здесь авторегрессионная модель начинает с маленькой картинки и с каждым шагом генерирует её более крупную и детализированную версию.
Далее авторы применили оптимизации на этапе архитектуры (поправили куда смотрит аттеншн, отключили classifier free guidance для больших разрешений) и тренировки (добавление и отбор капшнов для изображений, регуляризация через добавление шума). Здесь надо читать статью: очень много деталей.
Обучали на внутреннем датасете из ~100M картинок и оценивали как оффлайн (CLIPScore, ImageRe-ward, PickScore, FID, GenEval) так и с помощью кожаных аннотаторов. В итоге модель во всем сравнялась с SD, но генерирует картинки намного быстрее. Если SDXL генерит изображение 512х512 за 0.87s, то SWITTI за 0.13s.
Можно поиграться в демо на HF.
👍32🔥11❤5
Forwarded from Kali Novskaya
🌸Llama 3.3 70B🌸
#nlp #про_nlp
Минорный релиз Llama — Llama 3.3 70B
(Первая модель, где есть какой-то мой контрибьюшн)
Выросли почти все основные метрики в сравнении с Llama 3.1 70B, instruction following на уровне лучше 405B, при этом на меньшей модели.
🟣 Что поменяли:
— новый SFT датасет на 25млн примеров
— лучше математика, кодинг
— лучше instruction following, теперь даже лучше 405B модели
— function calling такой же
— долили русский и китайский, в целом мультиязычные метрики выросли
— MMLU тоже вырос
🟣 HF https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct
#nlp #про_nlp
Минорный релиз Llama — Llama 3.3 70B
(Первая модель, где есть какой-то мой контрибьюшн)
Выросли почти все основные метрики в сравнении с Llama 3.1 70B, instruction following на уровне лучше 405B, при этом на меньшей модели.
— новый SFT датасет на 25млн примеров
— лучше математика, кодинг
— лучше instruction following, теперь даже лучше 405B модели
— function calling такой же
— долили русский и китайский, в целом мультиязычные метрики выросли
— MMLU тоже вырос
Please open Telegram to view this post
VIEW IN TELEGRAM
huggingface.co
meta-llama/Llama-3.3-70B-Instruct · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
❤25🔥4
https://www.travelpayouts.com/blog/how-to-get-your-content-to-appear-in-chatgpt-search
Вот и SEO оптимизация под LLM поиск подъехала.
Следующий шаг: оптимизация контента сгенерированного LLM под LLM поиск😐 😐 😐
Вот и SEO оптимизация под LLM поиск подъехала.
Следующий шаг: оптимизация контента сгенерированного LLM под LLM поиск
Please open Telegram to view this post
VIEW IN TELEGRAM
Travelpayouts Blog – Travel Partnership Platform
How to rank your travel blog in ChatGPT Search rankings in 2024 | Travelpayouts
Learn how to make your blog stand out in ChatGPT's AI-driven search engine. Get tips on AI-friendly content, technical SEO, and boosting visibility to attract more traffic.
Forwarded from epsilon correct
Ладно, когда модель, в которую ты вложил недели усилий, занимает топ-1 по всем категориям включая контроль на стиль, это тоже супер 📈
Доступна на плейграунде и по апи (бесплатно!). Настойчиво рекомендую бежать пробовать.🏃♂️
Доступна на плейграунде и по апи (бесплатно!). Настойчиво рекомендую бежать пробовать.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤30👍15