Апдейтнул гайд по тому как запускать нейронки на рокчипе. Какие есть репозитории, какая в них общая логика, как настраивать платы, и.т.д.
За последний год появилось много нового и интересного. Появилось много экспортированных сеточек, почти для всех неплохо описана логика изменений.
https://youtu.be/Mm9eJoqXuto

Представим ситуацию. К вам приходит заказчик. Сколько времени тратить на разговоры? Надо ли чарджить с первой минуты или можно разобраться в ТЗ и бесплатно сделать оценку проекта? Кажется что должен быть простой ответ. Но нет. Разные бизнес модели предполагают разное взаимодействие, разные ответы и разные разговоры. Я попробовал немного описать свой взгляд и восприятие - https://youtu.be/ej1BmC6w7a0

Всем привет!
Раз в год я публикую статистику канала. Немножко сумбурно получилось в этот раз и без цельной канвы. Но кажется фанатам статистики должно зайти:) Попробовал собрать много приколов. Огромное спасибо всем кто отвечал на вопросы которые я задавал в канале.
Очень интересно было читать ответы и комменты. Часть попробовал отразить в тексте.
https://telegra.ph/Statistika-kanala-20242025-12-23
И один вопрос напоследок. Что на ваш взгляд было главное событие в 2024 в мире Computer Vision и вокруг?

Небольшое видео с результатами года. Что интересного произошло, какие тренды, куда смотреть. Пригласил Васю обсудить и поговорить какие тренды сейчас работают а какие нет.
https://youtu.be/PnkL8k3BBPg
Если что, на Васин LI можно подписаться тут. Он периодически рассказывает что-то интересное про роботов там.

Пару дней назад вышла модель Stable Point Aware 3D от StableDiffusion. Сама по себе модель не то чтобы очень полезная. Но зато хороший пример поговорить про ограничения таких моделей. Это полезно и для ChatGPT и для других генеративок
https://youtu.be/VsRVCWZrK0s

Уже достаточно давно я хотел протестировать NPU-шки от TI. Но как-то не срасталось. То было слишком устаревшее в продаже. То слишком дорого с доставкой получалось. То куча других плат в наличии.
Да и с документацией, как-то странно. Каждый разговор с представителями TI или соседних плат вызывал некоторый уровень недосказанности.
Но, тут я понял что TI плату можно потестить онлайн (ну, типа того). Собственно видео про это;)
https://youtu.be/NJSqmMEdc5c

Последние месяцы было много инсайтов про то насколько сломаны современные бенчмарки в LLM-ках. Попробовал собрать все в одном месте + докидать несколько логичных заключений - https://youtu.be/Vis2CRoQ52o
Расскажите о ваших проблемах и наблюдениях тоже:)
(я не знаю почему сломались превью в телеге, как починиться апдейтну пост)

Смехуёчки смехуёчками, и очевидная глупость (нет ничего уникального в этих консолях, чтобы там выламывать). Проще взять новый Intel/AMD.

Но вспомнил смешную байку. Году в 2013 одна компания с которой я был знаком скупала игровые приставки с Nvidia Tegra чтобы её оттуда выломать:)
Не то что это был единственный путь, но эти приставки стоили дешевле чем покупать Nvidia чипы официально партиями по 100 устройств и ждать поставку по пол года.
Зачем надо было это делать? В тот момент стало понятно что можно сделать дешевый M2M протокол если хватит производительности.
Edge девайсов тогда особо не было производительных. Большие компы были дорогими, большими, потребляющими.
В то же время алгоритмы хорошо параллелились, и CUDA спасала положение. Дешево, не греется, маленький размер.

Так что да, иногда купить дешевый хлам и выломать оттуда плату - это вариант. Но не тут:)

Ок. Последняя неделя богата на LLM-ки. DeepSeek супер классный, но тут я про него ничего рассказывать не буду. А вот Qwen2.5VL - это просто супер прикольно. Мы уже много где использовали Qwen2VL. Так что было очень интересно посмотреть и потыкать.
Глобально, разница одна - детекция. Теперь не надо много думать и комбинировать пару сеток вместе.
https://youtu.be/YjbnSAyk56g

Давно хотел потестить AMD NPU и наконец добрался. В целом, скорее, я приятно удивлён. Видна рука большой компании. Много не доделано, но:
1) Сделано крайне по-человечески: есть вся документация, проблемы не встречены
2) Очень много поддержано
3) Видно развитие

Понятно, что для полного впечатления надо на этом что-то загнать в продакшн. Квантизация может испортить настроение. Но для "взял потетстить" оно прямо на топ-топ уровне.
https://youtu.be/mqtjsYAByEg

С одной стороны мне очень нравится современная робототехника. Очень много чего появилось нового. Явно расширились границы. Явно падают цены. Люди начинают смотреть на это не как на что-то из другого мира.
Но в то же время область сейчас супер перегрета. Хайп значит больше чем реальность. Люди не видят разницы между тем где реально AI и видео с вечеринки Теслы где был телеоп.
Решил в этом видео подсветить реальные проблемы роботов сегодня. А если зайдёт - сделаю продолжение на тему того что есть кроме хайпа:)
https://youtu.be/Fi7abF18pQ4

Давно хотел добраться до VLM'ок на NPU.
У Рокчипа оно появилось ещё в декабре. Но из-за проблем с драйверами запустить было сложно без удаления системы с той борды которая мне была нужна. Но в какой-то момент вышло новое ядро - и я наконец смог проверить.
Кажется, что это первая плата за исключением Jetson где такое стало возможно.
https://youtu.be/iTq1m2ro6xg

Как я и обещал в позапрошлом видео - видео о том что в роботах сегодня всё же хорошо:)
Краткий обзор почему это возможно будет следующей большой штукой. Ну, или по крайней мере почему это хорошо работает сейчас;)
https://youtu.be/QHKd-GYB6X4

Когда-то я тут рассказывал про наш стартап, RemBrain. Но давно не было апдейтов. Давайте немного покажу-расскажу.
Где-то года два с половиной назад мы поставили проект на паузу. Не полную, но активности свернули. Стало понятно что в прошлом варианте идея не будет работать, а на новый не хватало сил.
Но в конце прошлой весны он восстановился в другом виде - wyyt. Роботы стали ещё дешевле и доступнее, алгоритмы ещё лучше и проще. В проект пришло много новых людей, фокус сместился на US, все переформатировалось.
Я сейчас несколько уменьшил участие по сравнению с тем как было раньше, скорее консультирую и помогаю с разными мелочами. Но все равно хочу поделиться показать:)
На видео подборка того что мы умеем делать из наших демо роликов. Понятно что это все one-shot. Что-то обучено за 15 минут, что-то за пару часов. Accuracy зависит от времени обучения и сложности, но для хороших условий может быть идеальной.

Банальное, но нужное видео. Очень часто я с удивлением узнаю что люди не используют DLA на Jetson'ах. При том что для некоторых моделей это 60% производительности с низким энергопотреблением. Но очень часто люди игнорируют его. В этом видео я рассказываю как экспортировать модель на DLA, почему его надо использовать и какие у него ограничения.
https://youtu.be/CRMI8gmOiOc

В последнее время я стал обращать внимание что все больше и больше людей под моими видео возмущаются "А почему на этой железке не работает моя LLM?!", "А что это за фейковая плата?!".
Тут я попробую разобрать текущую ситуацию, что сделать и куда надо смотреть если вы все же хотите запустить какую-то LLM с поддержкой железа.
https://youtu.be/OcHltzCBRY8

Видюшек давно не было. Но это потому что сейчас в процессе достаточно интересная, где долго собирал все доступы и тестировал. А пока небольшое видео про модный тренд этой зимы. Разберём где пока Вайб-кодинг хромает и вы можете быть сильно лучше стандартного GPT;)
Собрал интересные примеры и задачи где не достаточно пару раз запромптить.
https://youtu.be/M3xTcEm0qwA

Если вы внимательно смотрели видео, то могли там заметить что у нас открыта позиция для эксперта в VLM / LLM и.т.д. На эту позицию мы (Artisight, одна из самых быстрорастущих медицинских компаний) нанимаем по всему миру (кроме РФ/Белоруссии/Ирана/Кореи/Израиля/Китая и некоторых других). Зарплатную вилку не называю, она зависит от локации (вне/внутри США). Во вне США готовы платить больше чем в Европе. Но зарплата реально зависит от вашего опыта. Если поймем что вы можете закрыть те вопросы в которых у нас сейчас нет опыта - будем готовы платить много. Что надо: понимание как оптимально создавать и подготавливать дататсеты для VLM (что надо бы разметить, где можно нагенерить), выбор оптимальных подходов для тренировок (какие фреймворки быстрее и оптимальнее по памяти, как структурировать обучение). Практический опыт в реализации этого всего. И.т.д. Подаваться тут - https://ats.rippling.com/artisight-open-roles/jobs/ddd390c7-b4c1-419d-b100-86ac7c0f961d

Параллельно ищем AI бекенд инженера для создания систем и пайплайнов обработки аудио и видео с применением последних наработок в области распознавания речи, компьютерного зрения. Работа с одной из сильнейшех RnD-командой в отрасли.
Эта вакансия только для кандидатов за пределами США (кроме стран где запрещена работа с US медтехом), предполагается работа в европейском временной зоне (с пересечением с Chicago time)
https://ats.rippling.com/artisight-open-roles/jobs/dc5fdb7e-8774-49c5-a99a-d9b2b0f08f36

Сейчас в EC своего офиса у нас нет, большая часть как самозанятые. Но открывать планируем. Основной офис в США.

Да-да, я уже понял что трети читателей не нравиться вайбкодить или работать. Так что только хардкор.
Поговорим про него.
Я делаю сейчас статью про одну платформу. И хотел понять насколько она вообще популярна. Так что хочу сделать опрос на эту тему. Заодно пару вопросов давно любопытны. Платформу не называю пока, но картинка со спойлером для красоты и привлечения внимания.

Итак. Ответ на прошлую загадку - Sophon. Это не только злобный компьютер трисоляриан, но и современный лидер в производстве AI плат. Про них то и будет этот обзор. Так как вышел обзор большим (две платы, небольшая демка), то я решил сделать его на нескольких платформах:
Хабр
Medium
Ютуп
Не забывайте ставить плюсики/хлопочки/сердечки в зависимости от вашей религиозной ориентированности.