⚡️ Анализируйте изображения с помощью опенсорсных нейросетей

Yandex B2B Tech открыл доступ к опенсорсным визуально-генеративным моделям (VLM). С ними бизнес-клиенты могут выстраивать свои сценарии обработки изображений — например, составлять описания товаров по фотографиям или быстро находить нужную информацию в документах.

Уже доступны около 20 VLM- и LLM-моделей. Среди них: DeepSeek-VL2 Tiny и Gemma 3 27b, Qwen 2.5, LLaMa 3.3 и рассуждающие нейросети QwQ 32b и DeepSeek-R1. Модели доступны в пакетном режиме: за один раз в них можно отправить множество запросов. В будущем мы будем разворачивать на платформе новые опенсорсные модели, а ещё вскоре добавим собственную VLM-модель Яндекса.

➡️ Попробовать их можно в Yandex Cloud AI Studio. А узнать подробности в статье на Хабре.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Подписывайтесь:
💬 @Yandex4Developers

📕 Познакомим с Горынычем, покажем горячий спор про то, как писать код, и подскажем, что посмотреть на майских. Всё это в свежем дайджесте от Yandex for Developers.

🚙 Куда сходить

🔴 17 мая — Vertis Mobile Meetup. Мероприятие по мобильной разработке от Яндекс Вертикалей. Обсудим SwiftUI Layout Protocol, скриншот-тесты в Compose, разработку App Clips и возможности KSP

🔴 24 мая — «Я Железо». Расскажем о разработке умных устройств, автономного транспорта и роботов. В программе два трека на выбор — Hardware и Software, а также крутое экспо

🔴 28 мая — Data&ML2Business. Конференция Yandex Cloud о применении технологий: от экспериментов до реальной пользы и успешной интеграции решений в бизнес-процессы. Теперь не только про ML, но и про данные

🔴 31 мая — Я.Субботник по мобильной разработке. Большой митап в офисах Яндекса в Москве и Петербурге. В программе: доклады, экскурсия, афтерпати и разбор кейсов из реальной практики

🔴 С 30 июня по 12 июля — студкемп по управлению данными от Яндекса и ИТМО. Приглашаем студентов на бесплатный очный интенсив по работе с архитектурой, инженерией и инфраструктурой систем управления данными

🌎 Что случилось

🔴 Yandex B2B Tech открыл доступ к LLM и VLM в пакетном режиме. Это позволяет одновременно анализировать тысячи запросов с изображениями и текстом с помощью около 20 опенсорсных нейросетей

📖 Что почитать

🔴 Как нейросеть в облаке помогает с уборкой побережья Камчатки и Арктики. Рассказали, как обучили модель находить мусор на спутниковых снимках и определять его структуру, массу и объём

🔴 Знакомьтесь, это Горыныч. Рассказали, как мы создали мощный USB-хаб для отладки Яндекс Станций. Внутри много схем!

🔴 Новая ветка прокачки для магии рекомендаций Яндекс Карт. Показали в карточках, как устроена новая нейросеть-трансформер для RecSys мест и организаций

🔴 Камон, гайз, просто пишите простой код. Ну или не пишите. Главный спор этой весны на Хабре. После статей не забудьте заглянуть в комментарии

🔴 Студенты (разработчики) пользуются нейросетями — это факт. И запрещать это бессмысленно. Но можно сделать так, чтобы использовать их стало труднее, чем выполнить работу самостоятельно

📺 Что посмотреть

🔴 Записи докладов с Backend Talks 2025. Разработчики, архитекторы и DevOps-инженеры прочитали доклады про инфраструктуру, общие платформенные инструменты и команды. Смотрите на ютубе или в VK Видео

💻 И пересмотреть на майских

🔴 При разработке продуктов часто говорят о ценности. Но как её найти? Рассказал Иван Замесин, основатель сервиса «Мета»

🔴 Как инженеры управляют временем и увеличивают скорость целых городов и стран. Доклад Алексея Гусакова, технического директора Яндекс Поиска

🔴 Что такое жизнь без работы и как продолжить работать после саббатикала. Рассказал Олег Смоляков, Chief of Engineering Staff в Яндексе

🔴 Яндекс x Акустика IT stand-up. 10 выступлений от айтишников и продактов, которые шутят над тем, что их бесит, и смеются над этим, потому что жиза

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Подписывайтесь:
💬 @Yandex4Developers

📎 Найдите 10 различий: новый голос перевода видео сохраняет тембр и интонацию спикеров

Ребята из Яндекс Браузера совместно со службой синтеза речи прокачали нейросети, чтобы онлайн-перевод видео стал ещё комфортнее. Раньше сервис подбирал под спикера один из заранее заготовленных нейтральных голосов. Из-за этого они повторялись и иногда звучали роботизированно. Новая версия нейросети умеет анализировать оригинальную аудиодорожку и подбирать тембр и интонации голоса, которые максимально похожи на изначальные.

Это стало возможным благодаря:

🔴 Интеграции модели голосовой биометрии в языковую модель
🔴 Управляемости качества синтеза через автометрику UTMOS
🔴 Сокращению количества генерируемых гипотез в языковой модели и числа итераций диффузионной модели на стадии инференса
🔴 Использованию общего фонемного представления текста для английского и русского языка

➡️ Технология демонстрирует, как комбинация фундаментальных исследований и инженерных оптимизаций помогает выполнять продуктовые задачи. Подробнее об архитектуре, вызовах zero-shot-синтеза и быстром инференсе новой модели читайте на Хабре.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Подписывайтесь:
💬 @Yandex4Developers

🥹 Как мы учили Алису видеть мир

Недавно в приложении «Алиса» появился лайф-режим, в котором AI-ассистент распознаёт объекты, показанные ей через камеру смартфона, и рассказывает о них пользователю. В его основе наша новая мультимодальная нейросеть (VLM).

VLM включает в себя языковую модель из семейства YandexGPT 5, картиночный энкодер и адаптер. Последний чем-то похож на кота Леопольда: он тоже делает так, чтобы другие компоненты жили дружно.

При адаптации технологии для Алисы нам удалось создать единую VLM, которая отвечает за зрение ассистента как в обычном чате, так и в лайф-режиме. Она обучена на общем датасете, а режим её работы выбирается специальным тегом.

Кроме того, чтобы Алиса всегда выбирала самый удачный кадр для анализа, ​​мы реализовали алгоритм оценки резкости изображения непосредственно на устройстве.

➡️ Читайте больше об архитектуре, обучении и оценке качества VLM в статье на Хабре.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Подписывайтесь:
💬 @Yandex4Developers

🥹 Обсуждаем разработку роботов и умных устройств

📆 24 мая в Москве пройдёт конференция «Я.Железо». Обсудим разработку роботов-доставщиков, автономного транспорта, умных устройств и серверной инфраструктуры. Приглашаем всех, кто в теме: теоретиков и практиков робототехники.

Будет два трека с докладами спикеров:

🔴 Hardware — про железо. Расскажем о роботах-курьерах, лидарах, AI-ассистенте и умных устройствах.

🔴 Software — про софт. Поговорим о безопасных операционных системах и смарт-функциях в ТВ Станциях.

Крутыми кейсами поделятся команды Автономного транспорта, Yandex Infrastructure, Яндекс Роботикса, Алисы и Умных устройств. В экспозоне участники увидят наши роверы и складских роботов, а на нетворкинге смогут завести полезные знакомства и обменяться опытом.

⏯ Посетить «Я.Железо» получится только по приглашению. Зарегистрироваться уже сейчас можно по ссылке — ждём вас!

Подписывайтесь:
💬 @Yandex4Developers