Compressed Vision for Efficient Video Understanding

DeepMind опубликовал интересную статью, с далеко идущими последствиями. Идея довольно простая и элегантная:

У нас есть много длинных видео, работать с ними сложно по ряду причин (long sequences, размер и тп). Так почему бы нам сначала не сжать эти видосы (с помощью нейрокодека), а потом обучать нейросеть уже на сжатых видео?

Так они и поступили. Мне кажется этот подход будет хорошо работать и с другими долгими последовательностями, например со стримами с датчиков.

🌟 Блог-пост
📖 Статья

https://github.com/instill-ai/vdp

Visual Data Preparation (VDP) is an open-source visual data ETL tool to streamline the end-to-end visual data processing pipeline:

Extract unstructured visual data from pre-built data sources such as cloud/on-prem storage, or IoT devices

Transform it into analysable structured data by Vision AI models

Load the transformed data into warehouses, applications, or other destinations

⚡️NerfStudio: Простая библиотека для создания NeRF-ов и с охеренным web-GUI

Если хотите покрутить нерф, но не знаете с чего начать, либо просто хотите поиграться с фотками и реконструировать 3Д сцену, то эта библиотека для вас. Для запуска не требуется глубокого понимания того, как работает нейронный рендеринг. Нужно просто обработать фотки в COLMAP и запустить скрипт. На видео – примеры работы либы.

🔥Реализованные методы:

- Nerfacto: кастомный нерф, которые включает в себя все последние трюки для лучшего качества и скорости рендеринга.
- Базовый NeRF
- Instant NGP: быстро тренируем нерф за счёт оптимизации на гриде и рендеринге маленькими MLP сетками.
- MipNerf: решает проблему алиасинга при редеринге объекта в разных масштабах.
- NerfW: NeRF in the Wild
- Semantic NeRF: в 3D рендерятся лейблы семантическоц сегментации вместо текстуры рбъектов.

❱❱ Сайт проекта
❱❱ Web Viewer (нужно соединить с NeRF-ом, который крутится на GPU) сеткой
❱❱ Как использовать свои фото
❱❱ Видео tutorial

@ai_newz

На рождество получил отличный подарок. Это библия Reinforcement Learning от Ричарда Саттона. Второе дополненное издание особенно крутое.

Собираюсь за праздники подтянуть базу по RL. Советую эту книгу всем, кто хочет реально разобраться, на каких принципах работают, например:
- ChatGPT (это без комментариев)
- AlphaGo (победил чемпиона Европы в игру Go)
- AlphaStar (AI, которые обыгрывает профессионалов в StarCraft)
- MuZero (умеет профессионально играть в кучу игр сразу, включая Go, шахматы, Atari и др)
- OpenAI Five (AI который выносит людей в Доту 2)
и другие современные AI агенты.

❱❱ Вот тут есть PDF версия книги.

@ai_newz

Middle/Senior Python Developer в ZenPulsar

📍Португалия или remote не из РФ
💸3500-4500€ в месяц
💎Опыт от 3 лет
🚀Фаундер – Александр Писемский, ex Head of Forensic Technology в PwC, ко-фаундер Group-IB

ZenPulsar – AI-инструмент извлечения сигналов для финансового рынка из соцсетей.

Размер команды – 11-50 | Инвестиции – €1M

Узнать подробнее: тут

Прямой контакт для отклика: @salavatov

Другая вакансия в стартапе:
– System Administrator

#backend #python #zenpulsar

⚡️Приглашаем вас на бесплатный вебинар «Методы суррогатного моделирования сложных динамических систем», который пройдет 16 февраля в 10:00 по московскому времени

Суррогатное моделирование в последнее время стало набирать обороты в сфере математического моделирования динамических систем.

Сложные технические системы могут быть описаны разными способами, как через дифференциальные уравнения, что сильно замедляет процесс расчета, так и через специфические модели для их симуляции, или даже через экспериментальные данные. При этом любое упрощение системы уравнений ведёт к серьезной потере точности.

Суррогатные модели решают две проблемы: ускоряют расчеты и позволяют сохранить точность упрощенных моделей при наличии нескольких экспериментальных точек данных.

В докладе будут представлены суррогатные аналоги модели механизма элерона самолета в Simulink на базе рекуррентных нейронных сетей и адаптивных алгоритмов с подробным сравнением результатов моделирования.

Регистрация тут 👈

Streamline AI & ML Product Delivery

https://github.com/jina-ai/jina

🔍 Haystack is an open source NLP framework to interact with your data using Transformer models and LLMs (GPT-3 and alike). Haystack offers production-ready tools to quickly build ChatGPT-like question answering, semantic search, text generation, and more.

https://github.com/deepset-ai/haystack/

Появился сервис AIcyclopedia, в котором собрано более 1000 ИИ-инструментов по категориям из сотен источников, более 900 промтов и инструкций ChatGPT, подкасты и даже фильмы. Всё это по нейросетям в одном месте, чтобы было намного проще найти то, что вас интересует.

Ссылка

r/#InternetIsBeautiful

Vector search demo with the arXiv paper dataset, HuggingFace, OpenAI, FastAPI, React, and Redis as the vector database.

https://github.com/RedisVentures/redis-arXiv-search
https://docsearch.redisventures.com/