Как роботы видят и понимают, что видят? В этом виде показана моделька в реальном времени, которую вы можете использовать немедленно. Вам все еще нужны инвесторы и программисты?
Демонстрация с веб-камеры в реальном времени с использованием @huggingface, SmolVLM и сервера llama.cpp от @ggml_org. Всё работает локально на MacBook с чипом M3.
Ниже объяснение. Это не я такой умный, это все ИИ мне и разъяснил. И вам разъяснит.

Как все настроить? Представим, что ты — волшебник, а твой компьютер — волшебная книга. Сейчас мы настроим заклинание, чтобы твоя камера «смотрела», «понимала», что видит, и «рассказывала» тебе об этом.

Вот как это работает и как всё подключить, очень просто, шаг за шагом:

🔧 Что это вообще?
1. Веб-камера — это как глаз.
2. SmolVLM — это мозг, который смотрит на изображение и говорит, что он видит.
3. llama.cpp сервер — это помощник, который умеет быстро думать с помощью искусственного интеллекта.
4. @huggingface — это как магазин с мозгами и знаниями для таких помощников.
5. Всё это запускается на твоём MacBook, без интернета. Только твой компьютер и магия!

🪄 Как всё включить (простыми словами):

Шаг 1: Установи “волшебные инструменты”

Скачай и установи:
• Homebrew — это как магазинчик для программ.
👉 В терминале:

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

• Python и Git через Homebrew:

brew install python git

Шаг 2: Установи llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

Это создаёт локальный сервер с искусственным интеллектом.

Шаг 3: Скачай модель (мозг)

Зайди на сайт huggingface.co, найди модель типа SmolVLM или llama 2 в .gguf формате и скачай её.

Положи её в папку llama.cpp/models/.

Шаг 4: Запусти сервер

./server -m models/тво_модель.gguf

Шаг 5: Запусти веб-камеру + SmolVLM

Скачай SmolVLM демо и запусти его. Там уже есть код, который открывает камеру и посылает картинку в модель.

Примерно так (если использовать Python):

pip install opencv-python transformers
python camera_demo.py

🧠 Что будет происходить:
• Камера делает снимок.
• AI смотрит на него и говорит: «Я вижу: котёнка, лежащего на подушке».
• Ты видишь это в тексте прямо на экране.

Вот простой скрипт на Python, который использует камеру и отправляет изображение в модель для описания. Мы используем opencv для камеры и библиотеку transformers от HuggingFace. В этом примере мы подгружаем SmolVLM, который может описывать, что он «видит» на картинке.

✅ Что нужно установить заранее:

pip install opencv-python transformers torch torchvision

📸 Скрипт: camera_smolvlm_demo.py

import cv2
import torch
from transformers import AutoProcessor, AutoModelForVision2Seq

# Загружаем модель и процессор
processor = AutoProcessor.from_pretrained("microsoft/speecht5_vl")
model = AutoModelForVision2Seq.from_pretrained("microsoft/speecht5_vl")

# Подключаем камеру (0 — это встроенная)
cap = cv2.VideoCapture(0)

print("Нажми Q, чтобы выйти")

while True:
ret, frame = cap.read()
if not ret:
print("Камера не работает")
break

# Показываем изображение
cv2.imshow('Webcam', frame)

# Каждые N кадров или по нажатию анализировать изображение
key = cv2.waitKey(1)
if key == ord(' '): # пробел — анализ
print("⚙ Анализирую изображение...")

# Преобразуем изображение для модели
image_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
inputs = processor(images=image_rgb, return_tensors="pt")

with torch.no_grad():
output = model.generate(**inputs)

description = processor.decode(output[0], skip_special_tokens=True)
print("🧠 Модель говорит:", description)

if key == ord('q'):
break

cap.release()
cv2.destroyAllWindows()

🧪 Как использовать:
1. Запусти скрипт:

python camera_smolvlm_demo.py

2. Откроется окно с камерой.
3. Нажми пробел, чтобы AI описал изображение.
4. Нажми Q, чтобы выйти.

Если скрипт с первого раза не пойдет, используйте GPT-o4-mini-high - она отлично шарит в коде.

Почему все психологи, педагоги, в том числе и для самых маленьких пойдут на выход. Тот, кто хочет спорить - просто не в курсе того, что происходит уже сейчас. https://youtu.be/8ZqECRyrJwc?si=8R1_08dMr9___s2u

Опытные разработчики и специалисты радостно говорят: "Я настолько крутой, что меня не уволят." Ок, ну почитайте это:

"После 18 лет работы в Microsoft, из которых около десяти лет я работал над TypeScript, меня, к сожалению, уволили в ходе последнего раунда сокращений. Мне нужно несколько дней, чтобы все обдумать, прежде чем я начну искать работу. Спасибо всем, кто был частью моего пути до сих пор."

Конечно, они скажут, что этот было так себе. В следующих постах, разработчики поймут, что именно они БОЛЬШЕ всего в зоне риска.

Что нас ждет в будущем? Послушайте тех, кто реально это будущее делает. Конечно, когда я говорю "наше", стоит уточнить, что, видимо в разные страны будущее будет приходить не равномерно. А в некоторые не придет до тех пор, пока не сменятся режимы.

Отзыв: "Что мне дал курс? - я работала всю жизнь и в hr-кадры-рекрутинг и там всегда есть, что консолидировать, анализировать, делать таблицы. Была внутренняя система учета всего-всего и там куча возможностей, достаточно багов (-было, верю, что сейчас у них все намного круче), сотрудничала с коллегами-программистами, которые работали именно над разработкой внутреннего портала.

Это я к чему - что так сложилась жизнь, что работа прекратилась и я потерялась. Да, у меня все хорошо, учу языки, забочусь о доме и муже, помогаю мужу в семейном деле, но я не прекращала что-то искать. А теперь меня снова увлекло и я хочу сделать что-то полезное для семейного дела. Это, как глоток воздуха. Плюс - мне нравится понимать и запоминать новую терминологию. Этого у вас валом. Именно это и изменилось. Возможности - ну сайт то почти готов! Есть проект в GPT Plus.

Я попросила его быть дотошным в мелочах и видеть на 5 шагов вперед, как я люблю. Так он и пишет теперь "как ты любишь - стратегия на перспективу* :) Задаю ему много вопросов, собираем с ним ответы все в один файл-индекс и потом убеждаюсь, что он его читает. Итерация - это прям мое, умею держать фокус, но иногда записываю, если мыслей много и они спешат :). Мы с ним уже проделали одну большую работу - контракт для аренды туристического жилья с учетом местных законов. Это вы меня научили!!! Спасибо вам, Алексей, за то, что мне интересно и я хочу продолжать.

Вот... дочитала до конца и следующий шаг - покупка курса. Даже, если у меня не будет идеи или что-то не получится. Я хочу быть в курсе. Меня ваш курс очень зацепил и напомнил фразу "в начале было слово....". И теперь мы программируем словами - промптами. Это не может быть новой эпохой человечества. Автор: Светлана Пара слов о себе: многолетний опыт рекрутинг, hr-back office. Email: (email blank) Рейтинг: 5 звёзд"

Курс. Бесплатно: https://alexeykrol.com/courses/ai_intro/

Отзыв: Наш мозг работает как мышца — его нужно постоянно развивать и тренировать. Но стоит расслабиться и залипнуть в бесконечные ленты Instagram и Facebook — и он начнет слабеть и утрачивать форму. Особенно в наше время, когда все меняется с бешеной скоростью. Мне повезло — я нашел Алексея Крола — замечательного инструктора по прокачке мозга.

Я начал с его бесплатного курса по ChatGPT и продолжил более продвинутым и мощным курсом по созданию ИИ-агентов с нуля.

После бесплатного курса я начал удивлять друзей всякими «фокусами» — например, созданием реалистичных подкастов. А всего после трех уроков второго курса я написал кастомного GPT, который на 80% заменил одного из моих подчиненных и позволил ему заняться более интересной работой.

У Алексея настоящий талант: он точно чувствует, когда нужно объяснить (а объясняет он действительно доступным языком, понятным даже домохозяйке), а когда стоит отправить человека на самостоятельные поиски, чтобы тот сам нашел ответ. Как говорили древние: «Дай человеку рыбу — и он будет сыт один день. Научи его ловить рыбу — и он будет сыт всю жизнь».

Еще один огромный плюс — Алексей, кажется, по-настоящему горит своей работой. Он обожает преподавать и искренне увлечен тем, чему учит. Он получает удовольствие от преодоления трудностей: когда что-то не получается, он не сдается, а продолжает пробовать, пока не добьется результата. И часто повторяет: «Самому интересно». Курс по искусственному интеллекту особенно сложен для преподавателей, потому что сфера стремительно меняется, и чтобы материал оставался актуальным, приходится ежедневно перерабатывать огромные объемы информации. Алексей посвящает нам массу времени, и за это ему огромное спасибо.

Автор: Макс Пара слов о себе: ИТ-менеджер, Канада Email: [email protected] Рейтинг: 5 звёзд

Курс. Бесплатный: https://alexeykrol.com/courses/ai_intro/

CEO Палантира в Эр-Рияде. Характерное замечание: "Люди в Европе сдались...". Я еще полгода назад писал, что Европа мертва. Приятно получить подтверждение от таких осведомленных людей. Если кто не знает:

1. Компания Palantir Technologies занимается разработкой программного обеспечения для анализа больших данных (big data analytics).

2. Она создаёт платформы, которые помогают организациям собирать, интегрировать, анализировать и визуализировать огромные объёмы данных из различных источников. Основные продукты Palantir — это Gotham, Foundry и Apollo, которые используются для решения сложных аналитических задач.

3. Основные клиенты Palantir Technologies действительно включают силовой блок и спецслужбы, особенно в США.

4. Компания активно сотрудничает с такими структурами, как ЦРУ, ФБР, Агентство национальной безопасности (NSA), Министерство обороны США и другие агентства, предоставляя им инструменты для анализа данных в целях национальной безопасности, разведки, борьбы с терроризмом и киберугрозами.

5. Это сотрудничество началось ещё с момента основания компании в 2003 году, когда она получила финансирование от In-Q-Tel, венчурного фонда ЦРУ.

6. Помимо этого, Palantir работает с аналогичными структурами в других странах, например, с разведывательными и правоохранительными органами в Европе.

Кто-то предложил в электрики и сантехники пойти? Да неужели?

#новости 1. США и Катар подписывают крупные экономические соглашения в рамках обязательств на сумму 1,2 трлн долларов. (С СА уже подписались на 600 млрд.)

2. Директор по экономике Белого дома Кевин Хассетт только что объявил, что у торговой команды на столе 20-25 новых торговых сделок.

Похоже, что Китай был большой костяшкой домино, которая должна была упасть, и теперь остальной мир делает все возможное, чтобы заключить собственную сделку.

3. Невероятно. Роберт Кеннеди-младший заявляет, что единственная причина, по которой до сих пор не найдено лекарство от болезни Альцгеймера — это коррупция в Национальном институте здоровья США (NIH):

«В течение 20 лет из-за тотальной коррупции и мошенничества все исследования болезни Альцгеймера велись в рамках одной-единственной гипотезы, а все альтернативные направления подавлялись.

Сегодня мы уже должны были бы иметь лекарство от Альцгеймера. Единственная причина, по которой у нас его нет, — это коррупция в NIH. Но мы добьёмся его в ближайшее время.»

4. Да, Microsoft уволила 6 000 сотрудников, но одновременно ввела жёсткую новую кадровую политику:
• Двухлетний бан на повторный найм для тех, кого уволили по причине низкой продуктивности.
• Новый показатель “good attrition” — то есть компания теперь отслеживает, рады ли они, что вы ушли.
• И только 5 дней на выбор:
– либо 16 недель выходного пособия,
– либо программа улучшения продуктивности — без выходного, если не справитесь.

Это почти копия модели Amazon с метрикой “unregretted attrition” — когда увольнение считается успешным, если о нём не жалеют. Это уже не просто оптимизация. Это — новая эпоха безжалостного управления эффективностью в Big Tech.

5. ДЖЕНСЕН ХУАН: ГУМАНОИДНЫЕ РОБОТЫ — ЭТО ИНДУСТРИЯ НА 50 ТРИЛЛИОНОВ ДОЛЛАРОВ

"В мире не хватает рабочих рук, рождаемость снижается, поэтому миру нужно много рабочих. Первым вариантом использования человекоподобных роботов станет производство. Робототехника — один из лучших способов для нас дополнить все это".

6. Один из разработчиков, благодаря которому TypeScript стал работать в 10 раз быстрее, — только что был уволен Microsoft. И это лишь одна из множества подобных историй: инженеры, которые выкладывались по полной, создавали революционные фичи, улучшали опыт миллионов разработчиков — и всё равно остались без работы.

На этой неделе Microsoft уволила около 6 000 сотрудников — примерно 3% от всей глобальной команды. Не потому, что они плохо работали. Не потому, что не приносили пользы.

А потому, что ИИ стал “достаточно хорошим”, чтобы оправдать массовые замены за одну ночь.

Вывод? Горькое напоминание: неважно, насколько ты усерден и сколько пользы приносишь — компании всегда сделают то, что выгоднее для бизнеса.

Так что делайте и вы то, что выгодно для вас:
• стройте сеть контактов,
• держите альтернативы открытыми,
• берегите внутренний ресурс.

Лояльность — это благородно. Но самосохранение — не менее важно. Никто не позаботится о вашей карьере лучше вас самих.

7. БУМ! Даже CNN признаёт, что инфляция сейчас на самом низком уровне с 2021 года. Трамп обещал снизить инфляцию — и СДЕРЖАЛ СВОЁ ОБЕЩАНИЕ!

8. "Люди старшего возраста используют ChatGPT как замену Google. Люди в возрасте 20–30 лет используют его как жизненного консультанта. Люди в колледже используют его как операционную систему." Альтман.

9. Главный научный сотрудник Google, Джефф Дин: «Уже в течение года у нас будут ИИ-системы, работающие на уровне младших инженеров.» https://x.com/slow_developer/status/1922061725974622339

Все новости из Твиттера, подписывайтесь, читайте сами. В ролике все титры и перевод by CapCut (кому не нравится - слушайте речь😍🤣)

Начинаете переживать, что ИИ заберет вашу работу? Не сомневайтесь - заберет. Об этом переживать не надо, это на 100% случится. Начните хотя бы начинать учиться, чтобы прокачать себя в 100 раз за пару часов. Тогда ИИ заберет у вас работу не так быстро. См. бесплатный курс - https://alexeykrol.com/courses/ai_intro/ - боитесь и сомневаетесь? Да мне насрать. 🤣