😐 Полиглот от EleutherAI

В рамках нашей работы по демократизации и расширению доступа к языковым моделям во всем мире сформировалась команда Polyglot, лаба в EleutherAI, исследования которых сосредоточены вокруг многоязычного и неанглоязычного НЛП.

Мы (да да) рады объявить об их первых моделях: корейских LLM с параметрами 1.3B и 3.8B

Так что ждите и другие языки натрененные нормально 😅

🗣 Polyglot от Eleuther
🌐 твит Стэллы

🚀 WoW! DALL-E 2 для генерации видео! MAKE-A-VIDEO от MetaAI

📄 tl;dr

Ресерчеры из MetaAI обучили диффузионную нейросеть (типа DALL-E 2, Imagen, Стебель) MAKE-A-VIDEO, способную генерировать короткие видео-ролики по текстовому описанию!

А самое крутое то, что для этого им не потребовался датасет, содержащий пары видео - текст!


🚬 Что же за заверь MAKE-A-VIDEO?

Начнем с того, что название MAKE-A-VIDEO, отсылает нас к Make-A-Scene от тех же MetaAI — DALL-E поколения, которая имела кондишн не только в тексте, но и в семантической маске. Название имхо не очень удачное, так как тут ничего подобного нет. НО это DALL-E-like 2-го поколения и, видно, они просто решили двигать свой бренд MAKE-A- ... Ок, их дело.

Основной фишкой этой работы является развитие мысли: "Картинка это видео с одним кадром". Но как это реализовано? И главное, как можно сделать Text-To-Video без Text-To-Video данных?!

Подход напоминает DALL-E 2 — разделяй и властвуй декомпозируй и генерь,с его CLIP_text_emb -> CLIP_image_emb Prior!

Генрация видео Y может быть представлена как композиция Модулей:

🗒 Y = SR(th) ◦ SR(tl) ◦ ↑F ◦ Dt ◦ P ◦ (X_t, C(X_i))

Идея очень простая и изящная давайте прост разберем ее элементы:

0. X_i — картинка, X_t — текст. {X_i, X_t} — пара картинка-текст.

1. C(X_i) — CLIP embedding изображения X_i. N-мерный вектор, содержащий в себе необходимые фичи для описания картинки.

2. P — Prior, диффузионная нейронная сеть, отображающая X_t текстовые CLIP embedding'и в CLIP image embedding'и

Теперь понятно, что имея текст, можно получить | P (X_t) —> C(X_i) | варианты визуальных эмбеддингов возможных изображений.

3. Дальше вступает модуль Dt, который готовит 16 RGB фреймов по 64 × 64 на основе CLIP эмбеддинга первого кадра!

И на этот этапе становится понятно, что не нужны пары текст-видео!

4. Модуль ↑F делает интерполяции между кадрами и SR(th) ◦ SR(tl) делают пространственно-временной апскейл из 64pix в 256 и 768

👾 Сайт Проект (тыкать обязательно!)
📄 Paper

🤖 м и ш и н л е р н и н г

😈 Новояз Машоба

— Генератор и дискриминатор вооруженных сил рф

— Loss продолжил отрицательное падение

— Dropout в рядах вооруженных сил

— Произошел хлопок градиентов

— "CUDA error: out of memory" — Обучение совершило жесткую посадку

— Чистка датасета в фильтрационных лагерях

— Шаг доброй воли по отрицательному направлению к сходимости

— Феномен пропадающих без вести градиентов

— Срочников будут посылать на глубокие обучения

— Параллельный import torch as th

— Превентивный gradient clipping

— Недружественные фреймворки

— Традиционные свертки вместо их нетрадиционных Трансформеров

— Локальные минимумы и седловые точки признаны Экстремистскими

— Показывает все признаки латентного вектора

— 140 миллионов точек Z-пространства

— Специальная градиентная аккумуляция

— Частичная квантизация

— Свой трейн не бросаем (С) Z-вектор Vq-gan'ов

— Денормализация и детокенизация

— RL-алгоритмы признаны иностранными агентами

— Прунинг войск с целью оптимизации

p.s.:
- А в какой концлагерь нас везут?
- Я не знаю, я вне политики.

🤖 м и ш и н л е р н и н г