Hey, friends!
We've made SuperDuperAI so you can make some really cool videos just by using text. https://superduperai.co/

All you need to do is describe the video you want to create, and our AI will create a fully generated video for you, crafting scenes, music, voiceovers, and much more!

Друзья, очень всем советую запись вебинара CB Insights по Generative AI - https://www.cbinsights.com/research/briefing/webinar-generative-ai-predictions-2024/recording/

кому лень - суммирую 2 словами:
1. ХАЙП
2. НЕОПРЕДЕЛЕННОСТЬ

https://www.tg-me.com/shoifot 🦄🐳🐅

🔥 SOTA: Stable Diffusion 3:вышла! 🔥

Stable Diffusion 3 - это новая технология преобразования текста в изображение SOTA.

Новая архитектура Multimodal Diffusion Transformer (MM Bit) использует отдельные наборы весов для изображений и языка, улучшая возможности понимания текста / правописания.

✅ Новая масштабируемая архитектура для синтеза текста в изображение
✅ Двунаправленное смешивание потоков токенов текста и изображений
✅ Самые крупные модели превосходят открытые модели SOTA, такие как SDXL

▪Blog: https://stability.ai/news/stable-diffusion-3-research-paper
▪ Paper: https://stabilityai-public-packages.s3.us-west-2.amazonaws.com/Stable+Diffusion+3+Paper.pdf

ai_machinelearning_big_data

Сейчас очень много сервисов, позиционирующих себя, как сервисы генерации видео из текста с помощью ИИ. Обычно у многих написано Text2Video. И когда начинаешь с кем-то говорить на эту тему, обычно всегда говорят, что полно аналогов.

На самом деле, многие сервисы позиционируют себя одинаково, но под капотом спрятано совершенно другое.

Подборка сервисов создания видео из текста

https://vc.ru/964837

Google открыли для всех доступ к Gemini 1.5 Pro с 1М токенов контекста: https://aistudio.google.com/app/prompts/new_chat

Можно загрузить видео или целую папку с файлами для анализа

Го тестировать

Интро в Трансформеры для чайников

3Blue1Brown, популярный математический ютубер, начал выпускать серию видео о том, как работает трансформер. Первое видео посвящено эмбеддингам и тому, как моделька определяет, какой токен ей выдать. Вышло лучшее объяснение темы "для чайников", с анимациями и довольно простым языком. Обещает ещё две части: одну посвящённую Attention, другую MLP.

Если после просмотра возникнет желание погрузиться в детали:
- У Андрея Карпатого есть видео где он имплементирует и объясняет как саму GPT, так и её токенизатор.
- Лекция Интро в большие языковые модели (LLM), тоже от Карпатого.

#ликбез
@ai_newz

Вышла Ллама 3.

8B, 70B. (8192 tokens)
После тестиков в ближайшее время узнаем что в реальности по бенчам.

Веса (придется формочку заполнить)
https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6

Код
https://github.com/meta-llama/llama3

Обещают 400B+ модельку. Марк Цукерберг все еще тренирует её. (на видео)

SuperDuperAI - сервис генерации видео с помощью ИИ. Предназначен для упрощения создания наративного видеоконтента с помощью генеративного ИИ для маркетинга.

Мы используем Stable Diffusion для генерации изображений и видео и различные LLM через Langchain (OpenAi, Mixtral).

Наша архитектура разработана для масштабируемости в облаке, при поддержке Microsoft для Ai стартапов, что позволяет нам развертывать узлы OpenAI в Azure.

Безопасное управление данными: использование Okta Auth0 для безопасного хранения данных.

Система построена на основе Kubernetes, Airflow ETL и Python для асинхронной обработки тысяч заказов.

Про сервис👇

https://vc.ru/tribuna/1141585

– Показали GPT4-4o, самую мощную новую модель: она будет доступна для платных и ДЛЯ БЕСПЛАТНЫХ пользователей ChatGPT (даже без регистрации). Модель сейчас на первом месте по тестам сравнивая с другими лучшими моделями — и в коде и в других задачах.

– GPT4-4o это «Омнимодель» натренированная сразу на тексте, фото и видео — то есть та самая мультимодальность которую мы ждали.

– GPT4-4o уже доступна через API и стоит в два раза дешевле, и работает в 2 раза быстрее.

– Показали улучшенную версию аудио-чата через ассистента — она теперь шутит, понимает ваши эмоции; теперь ассистента можно перебивать своим голосом и сам ассистент говорит с эмоциями, и вы можете просить ее менять эти эмоции (даже петь). Переводчик с помощью GPT4-4o просто работает как в Sci-Fi кино (не путаясь и не требуя дополнительных нажатий кнопок).

– Запустят десктопные приложение наконец-то, чтобы не в вебе сидеть; в десктопном приложении ей можно показывать экран целиком и просить ее подправить код, что-то рассказать и тп. То есть это ассистент, который всегда видит ваш экран.


Дополнительные мелочи:

— Заявленные фичи выкатят через пару недель.
— Теперь через приложение можно просто ей показывать видео фид и она будет давать советы как решить какую-то задачу (не нужно фоткать ничего, работает как стрим);

— Во время демки ассистент тормозил хехе.

А вот что я предсказывал в посте выше и что сбылось или не сбылось:

✅ Демку ассистента как из фильма Her
✅ Полную мультимодальность: модель будет обучена сразу на видео, аудио, картинках и тексте
❓ Размер контекстного окна в 1М (мы не знаем пока)
✅ Новую архитектуру к новой модели, у которой сразу будут все фишки выше
✅ GPT4 обновление с лучшим написанием кода, или 4.5 или 4.1 (с названиями, они, конечно, не консистентны)
❌ Новую версию Dalle 3, с улучшенным фотореализмом

Сегодня твиттер взорвался. Экс-сотрудник OpenAI из команды Superalignment опубликовал 165-страничный документ о будущем ИИ.

Там много деталей, фактов, индукции и вполне разумных прогнозов, поэтому прежде чем строчить гневные и безумные комментарии крайне советую прочитать сам документ.

- AGI к 2027 году более чем вероятен.
- После AGI переход к ASI (сверхинтеллекту) за счет самообучения будет очень быстрым, почти мгновенным
- AGI — это самый существенный геополитический ресурс, куда важнее, чем ядерное оружение и страны пойдут на многое, чтобы получить его первым. В статье приводятся примеры того как китайцы шпионят за ИИ-компаниями в США.
- сегодня большой дата-центр это единицы или десятки мегаватт, но с ИИ потребность вырастет на, как минимум, 4 порядка (x 10,000)
- мы увидим единый вычислительный кластер стоимостью в триллион долларов в течении пяти лет. самая рациональная инвестиция со стороны state actors и big tech — это compute, атомная энергия и инфраструктура для первых двух.
- NVIDIA, MSFT, AMZN, GOOG уже сегодня планируют капекс в $100B в квартал на датацентры только для ИИ
- к 2030 году ежегодно и глобально будет инвестироваться $8T в ИИ (включая чипы и компьют), а так же только для ИИ будет потребляться больше чем 100% э/э генерируемой в США сегодня
- к 2026 году выручка одной из big tech компаний от ИИ превысит $100B
- это не безумно, и сравнимые расходы и сдвиги происходили во время Манхеттенского проекта или Промышленной революции и строительства ж/д

Завтра продолжу со второй частью

Если вам лень читать, то можете послушать вышедший сегодня 4-часовой подкаст о том же самом: https://www.dwarkeshpatel.com/p/leopold-aschenbrenner