LLaMa 3 уже тренируется

Марк анонсировал сегодня у себя в IG, что мы уже тренируем LLaMa 3, и на подходе другие клёвые AI модели.

Чтобы все это добро эффективно тренировать, по ходу строим огромный кластер, в котором будет 350,000 H100 и другие GPU. Общий размер компьюта будет примерно равен 600,000 H100, если перевести все в H100.

@ai_newz

Привет, есть место на французскую стартап визу 🇫🇷 - пишите в личку кому интересно @cyber_oleg

r/ #technology
Туалеты Шанхая — это отдельный вид искусства, представляющий целую медицинскую лабораторию

В некоторых из них можно провести тест на здоровье, результаты которого будут отправлены на ваш телефон.

У Гриши интересный проект, если кто сейчас в поиске напишите ему 🙏

Нарисовал верхнеуровневую схему, как технически работает realtime система определения качества произношения. При таком подходе пользователь практически мгновенно получает обратную связь по мере чтения.

Из интересного тут:

1️⃣ Кастомная библиотека для подсветки прочтённых слов в тексте.
Мы взяли готовую сишную библиотеку и модифицировали под нашу задачу. Работает оно очень хорошо и быстро. Из этой же библиотеки мы извлекаем фичи для следующего шага — определения правильности произношения.

2️⃣ Моделька для определения произношения.
Она на самом деле определяет не произношение, а восстанавливает транскрипцию слова, которое произнёс пользователь. Например, в тексте слово rachel (правильная транскрипция ˈɹeɪtʃəɫ), а пользователь произнёс ˈɹaɪtəɫ, значит он ошибся и нужно его поправить.

В качестве модели сейчас используется LSTM и обучается оно на CTCLoss (эта функция специально создана для подобных задач). Трансформеры мы тоже пробовали, но они что-то слишком умные 🙂 вместо того чтобы распознавать произнесённые транскрипции вместе с ошибками, они запоминают в себе все правильные транскрипции и прячут ошибки произношения. Происходит это потому, что в датасете кроме правильных транскрипций ничего нет. Либо нужен другой датасет, который очень сложно будет собрать, либо что-то другое. Возможно стоит вообще от транскрипций избавиться и обучать модель, которая сравнивает речь пользователя с эталонной речью.

Без хорошей модели сервис бесполезен. А без хорошего Data Scientist я не сделаю хорошую модель. Поэтому, друзья, перешлите пожалуйста это сообщение своим знакомым, которые умеют и любят заниматься подобными задачками. А там мы договоримся.

🔍 Data Scientist, я знаю ты где-то есть. Пиши мне - @phoenixmstu 🙂

💡 Почитать про проект можно в группе.

20 тысяч юзеров в инсомнии - для нас это важный майлстоун, уверенно идем к годовой цели в 200к юзеров 🙏

Также добавились платящие юзеры и есть из Европы по 99$ в месяц

Экономику мы увы пока не свели, но понимаем какие драйверы более четко, по факту думаю лишь 3-4 компании на рынке сводят экономику в Generative AI сейчас прямо, остальные работают на долю рынка или будущий рынок

Спасибо всем, кто нас поддерживает и генерит контент днем и ночью 🦄

Шел 2026 год, 18 часов тиктока напрямую в сетчатку, на 90% из AI контента, живешь в коробке 2 на 2 метра

Пиздец, довели или убили