Там Таня из DLS выложила клевый лонгрид:
https://atmyre.github.io/blog/2024/ind_bias/

# Искусство ходить по прямой

Как по мне можнэество вопросов успеха (успешного), достижений и агентности в целом упираются в способность пройти по прямой.

По крайней мере лично мне не сложно понять, что нужно делать. Кажется, что у меня все хорошо с планированием. Но моя проблема всегда на следующем этапе: сделать. И тут я не могу похвастаться особыми успехами.

Пройти по прямой из точки А в точку Б, то есть взять и сделать то, что ты хочешь сделать, это настоящее искусство. Не сделать вид, что делаешь. Не убедить себя, что ты делаешь. Не сделать все, что мог. Не приложить героические усилия, чтобы сделать. Не выяснить почему не получается сделать. Не научиться делать. Словом, не бродить вокруг, а пройти по прямой. Взять и сделать.

Способность к самосаботажу поразительная штука. Последнее серьезное упражнение в борьбе с этим было когда я на энтузиазме писал статью про прогнозирование ковида. Это была важная для меня тема, ведь я правда думал, что есть мизерный шанс повлиять на принимаемые решения и спасти людей. Но в первую очередь это было личное испытание. Могу ли я сделать что-то сложное, чего от меня никто не ожидает, просто потому, что я так решил? Объективно в той работе не было ничего катастрофически сложного. Проект на три месяца это не самое трудное, что может случиться с человеком. И все же я пронаблюдал весь зоопарк попыток моего разума саботировать работу. Думаю я чаще хотел бросить, чем нет. И это было забавно, потому что рационально я видел только плюсы в том, чтобы этим заниматься, а иррационально все казалось бессмысленным. Один из тех случаев когда чуйка твой враг и вредитель. Я довел то дело до конца и это один из предметов личной гордости.

С книгой я снова в той же ситуации, но сложность выше. Проект на год, гораздо сложнее, есть дедлайн и ответственность, нужно параллельно работать. И снова я вижу одни плюсы в том, чтобы этим заниматься. И снова я отлично знаю, что делать. Все очень просто. Пиши каждый день. В целом книга не многим сложнее чем те эссе на 10 тысяч слов, которые я писал на Сабстек просто для удовольствия.

Я снова вижу путь из точки А в точку Б. И снова мне трудно пройти по этой прямой. Очень быстро я превратил книгу из того, что я делаю для себя, в работу за которую я себя ругаю. И вот я сижу за столом и разговариваю с двусторонней плюшевой осьминожкой в её злом положении, персонифицируя в ней своего внутреннего критика и объясняя ему как пройти далеко и надолго. Напоминаю себе, что книга это классное занятие, которым можно заняться если захочется. Что я буду ценен независимо от того, буду я писать книгу или нет. Словом, убеждаю себя, что не обязательно писать книгу, чтобы стало легче писать книгу. Не самый прямой путь. Хоть и самый рабочий на данный момент.

Вероятно это происходит из-за того, что разные части меня не могут договориться куда надо идти. Думающая часть ясно видит, что надо писать книгу. Что мне хорошо когда я это делаю и что это принесет плоды в будущем. Какая-то другая часть думает, например, что лучше не пытаться, чтобы не разочароваться. И вот мы боремся. Так что если уж я не могу просто идти по прямой, то стараюсь хотя бы в среднем двигаться в нужную сторону.

Я думаю способность ходить по прямой это определяющий фактор. Хороший предиктор успеха в любом деле. Он немного менее важен чем знать куда идти, так как уверенно идти не в ту сторону может быть даже хуже. Но без него дела не делаются. Книга это очередное упражнение в этой способности. Хочется верить, что с каждым таким испытанием открываются возможности делать все более сложные вещи.

Эмодзи в статьях? Эмодзи в статьях.

Nebius такой типа "мы Европейская компания и нам можно доверить инвестиции"

Если серьёзно то поздравляем ребят

https://github.com/google/langfun

Глазам не верится, но выглядит как действительно нормальная либа а-ля лангчейн

Особенно меня порадовал момент, когда в первом туториале они говорят, что элайнмент это очень важно, но наша либа позволяет его сломать, смотрите как

Сегодня последний день регистрации на международные соревнования по ИИ от ФСП для студентов и школьников.

Я немного помогал готовить задачи по Computer Vision, NLP и ML, так что гарантирую, что там интересно.

➡️ Приглашаются студенты и школьники от 15 лет.

➡️ Регистрация закрывается сегодня в полночь.

➡️ Соревнования пройдут 7-8 декабря в онлайн формате.

➡️ Возрастные группы:
⚪️15-18 лет (команда из 2 человек)
⚪️16+ лет (команда 2-4 человека)

➡️ Что ждет участников?

⚪️ Kaggle-style, Docker-based соревнование с приватным тестовым датасетом и shuffle этапом.
⚪️ Нестандартные задачи: на стыке ML/NLP для всех возрастов и задача по CV только для 16+.

➡️ Призы:
⚪️ 70 тыс. руб в категории 15-18 лет
⚪️ 130 тыс. руб. в категории 16+

Регистрация открыта на сайте, присоединяйтесь и предлагайте знакомым подрастающим ML инженерам!

Напоминаю, что до 31 декабря у вас есть возможность податься на стипендию Impact Academy для исследователей AI Safety. Можно подаваться не только с типичным рисерч бекграундом!

Подавайтесь

# SWITTI: Designing Scale-Wise Transformers for Text-to-Image Synthesis

Yandex Research выпустил text2image генеративную модель Switti: Scale-wise transformer for text-to-image synthesis.

Внезапно это не диффузия, но модель генерит изображения в 7 раз быстрее диффузионок, при этом не теряя в качестве.

Диффузия держит SOTA, однако она медленная. Есть альтернативный подход: авторегрессионные модели, которые генерируют следующий токен (патч или пиксель в латентном пространстве энкодера, например VQ-VAE) примерно как GPT делает слова.

Авторы взяли за основу архитектуру STAR, где следующий токен это не патч, а скейл изображения. В трансформерах ведь можно работать с любыми последовательностями. Так что здесь авторегрессионная модель начинает с маленькой картинки и с каждым шагом генерирует её более крупную и детализированную версию.

Далее авторы применили оптимизации на этапе архитектуры (поправили куда смотрит аттеншн, отключили classifier free guidance для больших разрешений) и тренировки (добавление и отбор капшнов для изображений, регуляризация через добавление шума). Здесь надо читать статью: очень много деталей.

Обучали на внутреннем датасете из ~100M картинок и оценивали как оффлайн (CLIPScore, ImageRe-ward, PickScore, FID, GenEval) так и с помощью кожаных аннотаторов. В итоге модель во всем сравнялась с SD, но генерирует картинки намного быстрее. Если SDXL генерит изображение 512х512 за 0.87s, то SWITTI за 0.13s.

Можно поиграться в демо на HF.