Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Новые открытые LLM #ml_news
Пришло время обозреть открытые языковые модели, вышедшие за последнее время.
➕ Mixtral-8x7B
Новая модель от французского стартапа Mistral. Обучили модель подходом MoE (Mixture of Experts), при котором небольшая часть модели является роутером, а остальная часть состоит из N «экспертов», из которых активируется только часть.
Здесь таких частей 8, то есть суммарный вес модели ~ 45B параметров, но вычислений при инференсе столько же, как у 14B модели (активируется топ-2 «эксперта»).
Благодаря этому, Mixtral превосходит Llama 70B на большинстве бенчмарков, работая в 6 раз быстрее. На днях выложили и инструктивную версию.
HF | GitHub
➕ Phi-2
Продолжение экспериментов с малыми моделями от Microsoft. На этот раз модель стала больше — 2.7B. Идея, напомню, в обучении модели в основном на синтетических данных, тщательно подготовленных. Объем данных сравнительно небольшой — 1.4B токенов за ~5 эпох.
На многих тестах Phi-2 показывает себя лучше чем модели размером 13B, а в некоторых случаях, типа кода, лучше Llama 70B. Также на всех тестах лучше Gemini Nano 2 (3.2B). MMLU — 56,7.
HF | релиз
➕ Zephyr 3B
И новая модель от StableLM, которую обучили на открытых датасетах и выровняли при помощи DPO. Ребята провели замеры на MT-Bench (тесты в которых в роли судьи играет другая LLM) и получили неплохие результаты, кое-где догоняя ChatGPT 3.5. На MMLU получили 46.3.
Поигрался с Zephyr'ом, на английском понравилось, на русском очень слабо.
HF | релиз
Пришло время обозреть открытые языковые модели, вышедшие за последнее время.
➕ Mixtral-8x7B
Новая модель от французского стартапа Mistral. Обучили модель подходом MoE (Mixture of Experts), при котором небольшая часть модели является роутером, а остальная часть состоит из N «экспертов», из которых активируется только часть.
Здесь таких частей 8, то есть суммарный вес модели ~ 45B параметров, но вычислений при инференсе столько же, как у 14B модели (активируется топ-2 «эксперта»).
Благодаря этому, Mixtral превосходит Llama 70B на большинстве бенчмарков, работая в 6 раз быстрее. На днях выложили и инструктивную версию.
HF | GitHub
➕ Phi-2
Продолжение экспериментов с малыми моделями от Microsoft. На этот раз модель стала больше — 2.7B. Идея, напомню, в обучении модели в основном на синтетических данных, тщательно подготовленных. Объем данных сравнительно небольшой — 1.4B токенов за ~5 эпох.
На многих тестах Phi-2 показывает себя лучше чем модели размером 13B, а в некоторых случаях, типа кода, лучше Llama 70B. Также на всех тестах лучше Gemini Nano 2 (3.2B). MMLU — 56,7.
HF | релиз
➕ Zephyr 3B
И новая модель от StableLM, которую обучили на открытых датасетах и выровняли при помощи DPO. Ребята провели замеры на MT-Bench (тесты в которых в роли судьи играет другая LLM) и получили неплохие результаты, кое-где догоняя ChatGPT 3.5. На MMLU получили 46.3.
Поигрался с Zephyr'ом, на английском понравилось, на русском очень слабо.
> Describe unexisted Martian language like in Wikipedia article
> An extinct Martian language, also known as an extinct extraterrestrial language, was an ancient linguistic system used by the hypothetical intelligent, now extinct,
Martian civilization that once inhabited the Red Planet.
1. Language family: ...
HF | релиз
🔥4😁2👍1🥰1
Forwarded from Агенты ИИ | AGI_and_RL
У DeepMind вышла статья, как с помощью LLM строить алгоритмы решающие математические задачи:
https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
Сама генерации решений строится как эволюционный проецесс, добавляя решения в базу и оценивая их. Пользователь может запросить лучшее решение в любой момент.
Испытали на некоторых открытых задачах из разных областей математики и смогли построить решения, которые лучше прежде известных. (в некоторых случаях)
Один из плюсов в том, что решения - программы легко интерпретировать.
Пока так понял :)
Код: https://github.com/google-deepmind/funsearch
Статья
https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
Сама генерации решений строится как эволюционный проецесс, добавляя решения в базу и оценивая их. Пользователь может запросить лучшее решение в любой момент.
Испытали на некоторых открытых задачах из разных областей математики и смогли построить решения, которые лучше прежде известных. (в некоторых случаях)
Один из плюсов в том, что решения - программы легко интерпретировать.
Пока так понял :)
Код: https://github.com/google-deepmind/funsearch
Статья
Google DeepMind
FunSearch: Making new discoveries in mathematical sciences using Large Language Models
We introduce FunSearch, a method for searching for “functions” written in computer code, and find new solutions in mathematics and computer science. FunSearch works by pairing a pre-trained LLM,...
🔥3👍2
🤓 OpenAI представили официальное руководство по написанию промптов.
Самые нужные лайфхаки в одном месте: как задать длину ответа, привести примеры, получить нужный формат и т.д.
Работает с VPN.
• Сохраняем тут
Самые нужные лайфхаки в одном месте: как задать длину ответа, привести примеры, получить нужный формат и т.д.
Работает с VPN.
• Сохраняем тут
👍5🤮1
Топ - нейронок 2023
Ведущие искусственные нейронные сети для создания изображений, видеороликов, аудиозаписей, текстов и других полезных инструментов доступны легко и без лишних сложностей.
ИИ-Чат-боты
Falcon — простейшее решение для диалога. Зайдите на сайт и начните общение.
CharacterAI — позволяет создать собственного ИИ-помощника, который можно тренировать и адаптировать под личные или рабочие нужды.
Perplexity — не только поисковая система, но и чат-бот, обладающий высоким уровнем интеллекта и функциональностью, включая последнюю версию ChatGPT.
Генерация изображений с помощью ИИ
Ideogram — разработка бывших сотрудников Google, предлагает удобный интерфейс для создания изображений после простой авторизации через Google.
KREA — основной тренд конца 2023 года, позволяет генерировать изображения в реальном времени, отлично подходит для индивидуального или семейного творчества.
Fast Stable Diffusion XL— это выдающаяся версия Stable Diffusion, обеспечивающая максимальную скорость и качество. Просто введите запрос и получите результаты.
Генерация видео с помощью ИИ
SuperDuperAI - регистрируйтесь и приступайте к созданию видео. Это перспективный продукт, который пока в стадии тестирования и доступен бесплатно. Управление осуществляется через чат.
Genmo — многофункциональный инструмент с акцентом на видео, доступен бесплатно и стоит внимания.
Runway — предлагает регистрацию для создания видео с множеством функций. Начальные кредиты ограничены, далее услуги платные.
Генерация музыки с помощью ИИ
Riffusion — отличная возможность для создания музыки и сопутствующего видеоряда, идеально подходит для создания контента для TikTok, YouTube Shorts и Instagram Reels.
Suno — идеальный выбор для начала работы с музыкальной генерацией. Этот инструмент обеспечивает впечатляющие результаты.
Stable Audio — развивающийся музыкальный генератор от компании Stability, заслуживает внимания.
Другие полезные нейронные сети
Silero TTS — для генерации голоса с обширной базой различных дикторов и персонажей.
Neo Prompt — «кнопка красоты», помощник-промпт, который преобразит любой ваш запрос в привлекательный результат без необходимости обладать специальными навыками.
PixelBin — множество инструментов для ежедневных задач: улучшение качества фото, удаление фона, удаление водяных знаков и многое другое.
С какими вы уже знакомы? Если есть что добавить в список, пишите в комментариях 🤝
@deeplearning_ru
Ведущие искусственные нейронные сети для создания изображений, видеороликов, аудиозаписей, текстов и других полезных инструментов доступны легко и без лишних сложностей.
ИИ-Чат-боты
Falcon — простейшее решение для диалога. Зайдите на сайт и начните общение.
CharacterAI — позволяет создать собственного ИИ-помощника, который можно тренировать и адаптировать под личные или рабочие нужды.
Perplexity — не только поисковая система, но и чат-бот, обладающий высоким уровнем интеллекта и функциональностью, включая последнюю версию ChatGPT.
Генерация изображений с помощью ИИ
Ideogram — разработка бывших сотрудников Google, предлагает удобный интерфейс для создания изображений после простой авторизации через Google.
KREA — основной тренд конца 2023 года, позволяет генерировать изображения в реальном времени, отлично подходит для индивидуального или семейного творчества.
Fast Stable Diffusion XL— это выдающаяся версия Stable Diffusion, обеспечивающая максимальную скорость и качество. Просто введите запрос и получите результаты.
Генерация видео с помощью ИИ
SuperDuperAI - регистрируйтесь и приступайте к созданию видео. Это перспективный продукт, который пока в стадии тестирования и доступен бесплатно. Управление осуществляется через чат.
Genmo — многофункциональный инструмент с акцентом на видео, доступен бесплатно и стоит внимания.
Runway — предлагает регистрацию для создания видео с множеством функций. Начальные кредиты ограничены, далее услуги платные.
Генерация музыки с помощью ИИ
Riffusion — отличная возможность для создания музыки и сопутствующего видеоряда, идеально подходит для создания контента для TikTok, YouTube Shorts и Instagram Reels.
Suno — идеальный выбор для начала работы с музыкальной генерацией. Этот инструмент обеспечивает впечатляющие результаты.
Stable Audio — развивающийся музыкальный генератор от компании Stability, заслуживает внимания.
Другие полезные нейронные сети
Silero TTS — для генерации голоса с обширной базой различных дикторов и персонажей.
Neo Prompt — «кнопка красоты», помощник-промпт, который преобразит любой ваш запрос в привлекательный результат без необходимости обладать специальными навыками.
PixelBin — множество инструментов для ежедневных задач: улучшение качества фото, удаление фона, удаление водяных знаков и многое другое.
С какими вы уже знакомы? Если есть что добавить в список, пишите в комментариях 🤝
@deeplearning_ru
👍8❤2
This media is not supported in your browser
VIEW IN TELEGRAM
Оказалось, что ChatGPT прекрасно понимает всю боль мужчин при температуре 37 градусов.
Интересно, что он сделает про женщин 🤔
Интересно, что он сделает про женщин 🤔
🔥3
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Самая мощная LLM в опесорсе, Mixtral 8x7B MoE от Mistral AI, теперь доступна во фреймворке Сandle* - с поддержкой квантизации. За счет квантизации модели могут работать локально на ноутбуке с 32 GB RAM.
Например, 4-битная Mixtral 8x7B MoE занимает всего 26.44GB памяти. Тогда как в bf16 на GPU модель бы заняла 112+ GB VRAM (то есть влезла бы только на H100).
*Candle - это минималистский ML-фреймворк для Rust, сфокусированный на производительности (включая поддержку GPU) и простоте использования.
- Поддерживает 2-bit, 3-bit, 4-bit, 5-bit, 6-bit and 8-bit int квантизованные модели в gguf and ggml форматах.
- SIMD оптимизации для Apple Silicon и x86.
Вот тут можете попробовать демки разных моделей на Candle:
- Whisper, [пост в канале]
- LLaMa-2, [пост в канале]
- T5,
- YOLOv8,
- Segment Anything [пост в канале]
@ai_newz
Например, 4-битная Mixtral 8x7B MoE занимает всего 26.44GB памяти. Тогда как в bf16 на GPU модель бы заняла 112+ GB VRAM (то есть влезла бы только на H100).
*Candle - это минималистский ML-фреймворк для Rust, сфокусированный на производительности (включая поддержку GPU) и простоте использования.
- Поддерживает 2-bit, 3-bit, 4-bit, 5-bit, 6-bit and 8-bit int квантизованные модели в gguf and ggml форматах.
- SIMD оптимизации для Apple Silicon и x86.
Вот тут можете попробовать демки разных моделей на Candle:
- Whisper, [пост в канале]
- LLaMa-2, [пост в канале]
- T5,
- YOLOv8,
- Segment Anything [пост в канале]
@ai_newz
🔥3👍1
Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
https://humanaigc.github.io/animate-anyone/
https://humanaigc.github.io/animate-anyone/
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Дримувинг - анимация людей от Алибабы или Video ControlNet.
Алибаба серьезно вваливается на рынок генераторов контента.
Вот смотрите, что они опять выкатили.
DreaMoving: A Human Video Generation Framework based on Diffusion Models
Там внутри Video ControlNet для управления движением и Content Guider для сохранения идентичности. Можно самим попробовать и даже развести локально.
На входе одно фото.
Информация и все ссылки тут: https://dreamoving.github.io/dreamoving/
Демо на попробовать тут: https://huggingface.co/spaces/jiayong/Dreamoving
И обязательно поглядите вот этот твиттор, там очень много примеров использования:
https://twitter.com/heybarsee/status/1741106778849300900
Алибаба серьезно вваливается на рынок генераторов контента.
Вот смотрите, что они опять выкатили.
DreaMoving: A Human Video Generation Framework based on Diffusion Models
Там внутри Video ControlNet для управления движением и Content Guider для сохранения идентичности. Можно самим попробовать и даже развести локально.
На входе одно фото.
Информация и все ссылки тут: https://dreamoving.github.io/dreamoving/
Демо на попробовать тут: https://huggingface.co/spaces/jiayong/Dreamoving
И обязательно поглядите вот этот твиттор, там очень много примеров использования:
https://twitter.com/heybarsee/status/1741106778849300900
❤5🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
OpenVoice: Instantly clone any voice and generate speech in any style and any language!
https://research.myshell.ai/open-voice
https://github.com/myshell-ai/OpenVoice
https://research.myshell.ai/open-voice
https://github.com/myshell-ai/OpenVoice
👍6👎1
imaginAIry - консольная утилита для генерация изображений и видео!
https://github.com/brycedrennan/imaginAIry
https://github.com/brycedrennan/imaginAIry
👍6🔥3🤮1
Forwarded from AI для Всех (Artemii)
🚀 Keynote: Следующее поколения ИИ для разработчиков
На докладе был продемонстрирован ряд новых интересных инструментов для работы с искусственным интеллектом и облачными вычислениями, что подчеркивает стремление компании интегрировать искусственный интеллект в свои основные сервисы.
- Microsoft Cloud и Copilot Stack: Интеграция искусственного интеллекта в каждое облачное решение, преобразующее работу разработчиков с Azure, которая теперь предлагает платформу для приложений, данных и искусственного интеллекта.
- Copilot для Microsoft 365: Использование больших языковых моделей (LLM) OpenAI и Microsoft Graph, обеспечивающих улучшенный пользовательский опыт.
- Security Copilot: Предлагает специализированные знания для обеспечения безопасности организации.
- Microsoft Copilot Studio: No/low code решение без кода с тысячами готовых плагинов, упрощающее создание новых приложений Copilot.
- GitHub Copilot: Теперь более мощный, с такими возможностями, как объяснение кода в Visual Studio Code и быстрое исправление ошибок.
- Синергия данных и ИИ: Признавая важность данных, Microsoft подчеркнула успех ChatGPT, работающего на базе Azure Cosmos DB, и представила Microsoft Fabric для расширенной аналитики данных.
- Инновационные функции: Векторный поиск в Azure AI Search и полный доступ к лучшим моделям OpenAI.
- Партнерство с NVidia: Продвижение NeMO для расширения возможностей ИИ.
- Chat Studio: Интуитивно понятная платформа для создания и настройки решений для чатов с легкой интеграцией поиска Azure AI и озер данных.
- PromptFlow: Визуальный интерфейс для создания цепочек промптов, Python и RAG, развертываемый как Azure endpoint.
- Azure Content Safety: Внедрение фильтров контента и настраиваемых параметров допустимости для более безопасного контента.
Выводы
Акцент Microsoft на простоте использования, безопасности и надежной аналитике данных указывает на значительный сдвиг в сторону ИИ-ориентированных решений, упрощающих сложные задачи и стимулирующих инновации среди разработчиков.
На докладе был продемонстрирован ряд новых интересных инструментов для работы с искусственным интеллектом и облачными вычислениями, что подчеркивает стремление компании интегрировать искусственный интеллект в свои основные сервисы.
- Microsoft Cloud и Copilot Stack: Интеграция искусственного интеллекта в каждое облачное решение, преобразующее работу разработчиков с Azure, которая теперь предлагает платформу для приложений, данных и искусственного интеллекта.
- Copilot для Microsoft 365: Использование больших языковых моделей (LLM) OpenAI и Microsoft Graph, обеспечивающих улучшенный пользовательский опыт.
- Security Copilot: Предлагает специализированные знания для обеспечения безопасности организации.
- Microsoft Copilot Studio: No/low code решение без кода с тысячами готовых плагинов, упрощающее создание новых приложений Copilot.
- GitHub Copilot: Теперь более мощный, с такими возможностями, как объяснение кода в Visual Studio Code и быстрое исправление ошибок.
- Синергия данных и ИИ: Признавая важность данных, Microsoft подчеркнула успех ChatGPT, работающего на базе Azure Cosmos DB, и представила Microsoft Fabric для расширенной аналитики данных.
- Инновационные функции: Векторный поиск в Azure AI Search и полный доступ к лучшим моделям OpenAI.
- Партнерство с NVidia: Продвижение NeMO для расширения возможностей ИИ.
- Chat Studio: Интуитивно понятная платформа для создания и настройки решений для чатов с легкой интеграцией поиска Azure AI и озер данных.
- PromptFlow: Визуальный интерфейс для создания цепочек промптов, Python и RAG, развертываемый как Azure endpoint.
- Azure Content Safety: Внедрение фильтров контента и настраиваемых параметров допустимости для более безопасного контента.
Выводы
Акцент Microsoft на простоте использования, безопасности и надежной аналитике данных указывает на значительный сдвиг в сторону ИИ-ориентированных решений, упрощающих сложные задачи и стимулирующих инновации среди разработчиков.
🔥4👍2
idea2movie (VideoGPT) на OpenAI Store.
🎬 idea2movie (VideoGPT) - это готовое решение в мире создания видео. Просто напишите в чате запрос, описывая видео, которое вы хотите создать.
⏳ После отправки запроса, вам нужно будет немного подождать. Всего через 5-10 минут вы получите ссылку на скачивание вашего персонализированного видео, полностью сгенерированного с помощью нейронных сетей.
Инструмент для авторов, маркетологов, образовательных учреждений и всех, кто ищет уникальный способ для воплощения своих идей в видео.
👀Посетите idea2movie (VideoGPT) прямо сейчас!
🎬 idea2movie (VideoGPT) - это готовое решение в мире создания видео. Просто напишите в чате запрос, описывая видео, которое вы хотите создать.
⏳ После отправки запроса, вам нужно будет немного подождать. Всего через 5-10 минут вы получите ссылку на скачивание вашего персонализированного видео, полностью сгенерированного с помощью нейронных сетей.
Инструмент для авторов, маркетологов, образовательных учреждений и всех, кто ищет уникальный способ для воплощения своих идей в видео.
👀Посетите idea2movie (VideoGPT) прямо сейчас!
ChatGPT
ChatGPT - idea2movie (text2video) as VideoGPT
Transform text into engaging videos with text2video. Input a prompt, choose a style, and our AI creates story-driven content perfect for social media. Ideal for education, marketing, and personal storytelling.
🔥7👍3❤1
Forwarded from ML for Value / Ваня Максимов (Ivan Maksimov)
GPT-4 не особо впечатлил меня
Весь прошлый год хайповали LLM-ки и GenAI. Которые вроде крутые, но в массовое внедрение в бизнесы пока не вошли. Шок, но даже массовой замены поддержки на ChatGPT пока не случилось
В это же время мимо меня прошел релиз DINO-v2 🦕
И вот он уже очень меня очень удивил
Self Supervised Learning на картинках
Вдумайтесь: мы просто показали нейронке картинки без лейблов, аннотации текста и вообще чего-то еще, и получилось выучить SOTA фичи! Бьет даже OpenCLIP в zero-shot сетапе
Широта применения
Работает для классификации, сегментации, оценки карты глубины и кучи других задач
В общем, я бы ставил на подобные self-supervised encoder модели для применения в бизнесе, чем на gpt-like (вспомните бум BERT). Ну а пока можете потыкать демо DINO-v2
P.S. К посту прикреплены скрины оценки карты глубины, сегментации объектов и матчинга точек между 2умя картинками
Весь прошлый год хайповали LLM-ки и GenAI. Которые вроде крутые, но в массовое внедрение в бизнесы пока не вошли. Шок, но даже массовой замены поддержки на ChatGPT пока не случилось
В это же время мимо меня прошел релиз DINO-v2 🦕
И вот он уже очень меня очень удивил
Self Supervised Learning на картинках
Вдумайтесь: мы просто показали нейронке картинки без лейблов, аннотации текста и вообще чего-то еще, и получилось выучить SOTA фичи! Бьет даже OpenCLIP в zero-shot сетапе
Широта применения
Работает для классификации, сегментации, оценки карты глубины и кучи других задач
В общем, я бы ставил на подобные self-supervised encoder модели для применения в бизнесе, чем на gpt-like (вспомните бум BERT). Ну а пока можете потыкать демо DINO-v2
P.S. К посту прикреплены скрины оценки карты глубины, сегментации объектов и матчинга точек между 2умя картинками
👍11🥴4🔥3
Forwarded from Machinelearning
🎉 Release Code Llama 70B!
Вышла Code Llama 70B: новая, более производительная версия LLM для генерации кода - доступная по той же лицензии, что и предыдущие модели Code Llama.
- Base https://hf.co/codellama/CodeLlama-70b-hf
- Python https://hf.co/codellama/CodeLlama-70b-Python-hf
- Instruct https://hf.co/codellama/CodeLlama-70b-Instruct-hf
CodeLlama-70B-Instruct достигает 67,8 балла в HumanEval, что делает ее одной из самых высокопроизводительных открытых моделей на сегодняшний день.
CodeLlama-70B - это самая производительная база для тонкой настройки моделей генерации кода.
✅ Разрешено коммерческое использование
➡️Скачать модели
@ai_machinelearning_big_data
Вышла Code Llama 70B: новая, более производительная версия LLM для генерации кода - доступная по той же лицензии, что и предыдущие модели Code Llama.
- Base https://hf.co/codellama/CodeLlama-70b-hf
- Python https://hf.co/codellama/CodeLlama-70b-Python-hf
- Instruct https://hf.co/codellama/CodeLlama-70b-Instruct-hf
CodeLlama-70B-Instruct достигает 67,8 балла в HumanEval, что делает ее одной из самых высокопроизводительных открытых моделей на сегодняшний день.
CodeLlama-70B - это самая производительная база для тонкой настройки моделей генерации кода.
✅ Разрешено коммерческое использование
➡️Скачать модели
@ai_machinelearning_big_data
🔥2❤1👍1