Telegram Web Link
📝 Amphion — это фреймворк для многозадачного восприятия и генерации текстов на основе языка. Его основная цель — поддерживать как модульные задачи (например, классификация или генерация) для отдельных модальностей, так и мультизадачные сценарии

🌟 Фреймворк объединяет несколько библиотек OpenMMLab, таких как MMDetection и MMDetection3D, и оптимизирован для работы с мультизадачными моделями, такими как MMWizard

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍3🔥2
📝 Эта статья представляет метод для различения типов "галлюцинаций" (неверных ответов) в больших языковых моделях (LLM): либо это незнание ответа, либо ошибка при наличии знания.

🌟 Авторы предлагают подход для выявления случаев, когда модель ошибается, несмотря на наличие информации, и вводят способ для создания специализированных наборов данных, что улучшает выявление галлюцинаций. Это помогает лучше понять и смягчить ошибки LLM, минимизируя риски ложных данных.

📖 Читать: *клик*

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥1😁1
Нашел для вас ламповый митап в двух частях от команды AI VK: пройдут 14 и 21 ноября. В эти дни будут обсуждаться свежие статьи с RecSys 2024, 18-й Международной конференции ACM Recommender Systems.

Много интересных докладов и спикеров, активное общение и отличная возможность для нетворкинга!

Темы митапа охватывают самые актуальные направления ML: от семантических эмбеддингов до больших рекомендательных нейронных сетей и классических моделей. Разбор статей проведут специалисты из VK и других ведущих компаний.

Кстати, свои работы также представят участники русскоязычного RecSys-сообщества, чьи статьи были отобраны для этой конференции.

Реальная рекомендация, чтобы расширить свой кругозор и завести новые полезные знакомства! Регистрация уже открыта — присоединяйтесь!
Ссылки для регистрации и программа: 14 ноября здесь и 21 ноября здесь.

@machinelearning_ru
👍4🔥31😁1
📝 Эта статья исследует использование "цепочек рассуждений" (Chain-of-Thought, CoT) для улучшения логических способностей языковых моделей. CoT помогает моделям разбивать сложные задачи на простые шаги, что позволяет лучше выявлять ошибки на каждом этапе рассуждения и корректировать их, вместо того чтобы переходить сразу к финальному ответу

🌟 Авторы предлагают обучать модели с демонстрацией как корректных, так и ошибочных решений, что способствует более глубокому пониманию логики рассуждений и улучшает устойчивость модели к ошибкам

📖 Читать: *клик*

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103🔥3
Forwarded from Machinelearning
✔️ FrontierMath: набор тестов по математике, который ставит в тупик модели ИИ и кандидатов наук.

Epoch AI представила FrontierMath, математический тест, который содержит сотни задач экспертного уровня. Claude 3.5 Sonnet, GPT-4o, o1-preview и Gemini 1.5 Pro показали крайне низкие результаты - менее 2%, а для решения задач теста математикам-специалистам обычно требуются часы или дни.

Набор задач в FrontierMath остается закрытым и неопубликованным, чтобы предотвратить загрязнение данных. Задачи охватывают несколько математических дисциплин, от вычислительной теории чисел до абстрактной алгебраической геометрии.
Epoch AI планирует проводить регулярную оценку моделей ИИ с помощью теста, одновременно расширяя набор задач.
epoch.ai

✔️ Лаборатория искусственного интеллекта на защите людей искусства от генеративного ИИ.

Ученые из SAND Lab Чикагского университета разработали два инструмента, Glaze и Nightshade, которые защищают цифровое искусство от несанкционированного использования в обучении моделей.

Glaze изменяет изображения таким образом, чтобы алгоритмы ИИ не могли распознать стиль художника, а Nightshade добавляет в изображения «яд», нарушающий работу моделей ИИ. Оба инструмента были загружены миллионы раз и используются художниками для защиты своих работ от копирования и использования без их согласия.

Nightshade может нанести серьезный ущерб моделям ИИ, заставив их интерпретировать изображения неправильно, например, принимать собак за кошек. Разработчики инструментов надеются, что они заставят компании, занимающиеся ИИ, вести переговоры с художниками о лицензировании и справедливой компенсации.
technologyreview.com

✔️ OpenAI представит план развития инфраструктуры ИИ в США для конкуренции с Китаем.

OpenAI разработала план развития инфраструктуры ИИ в США, который включает создание специальных экономических зон для ИИ, использование опыта ВМС США в области ядерной энергетики и финансирование государственных проектов частными инвесторами. План также предусматривает создание североамериканского альянса по ИИ для конкуренции с китайскими инициативами.

Компания считает, что инвестиции в ИИ в США приведут к созданию десятков тысяч рабочих мест, росту ВВП, модернизации энергосистемы, появлению новых заводов по производству чипов и привлечению миллиардов долларов инвестиций из глобальных фондов.

В плане также прогнозируется принятие закона о национальной транспортной магистрали, который позволит расширить строительство линий электропередач, волоконно-оптических сетей и газопроводов.
cnbc.com

✔️ YouTube тестирует функцию ремиксов песен с помощью ИИ.

YouTube тестирует новую функцию в наборе инструментов Dream Track, которая позволяет авторам ремиксовать треки с помощью опции «Restyle a track» и описать текстом, как они хотят изменить стиль песни. Restyle a track сгенерирует 30-секундный фрагмент, который авторы смогут использовать в Shorts.

Ремикшированные фрагменты будут содержать информацию об оригинальной песне на странице Shorts audio pivot. Ремиксы также будут иметь соответствующую метку, указывающую на то, что трек был изменен с помощью ИИ.
techcrunch.com

✔️ Сверхчеловеческое зрение для роботов благодаря ИИ и радиоволнам.

Исследователи из Университета Пенсильвании разработали систему PanoRadar, которая использует радиоволны и ИИ, чтобы обеспечить роботов трехмерным зрением, подобным LiDAR, но по более низкой цене.

PanoRadar работает как маяк, вращаясь и излучая радиоволны, отражения которых обрабатываются ИИ для создания точного 3D-изображения окружающей среды. Эта технология позволяет роботам видеть сквозь препятствия, дым и туман. PanoRadar использует алгоритмы машинного обучения для интерпретации сложных сигналов радиоволн и достижения высокого разрешения, сравнимого с LiDAR.
interestingengineering.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👍3🥰2
🖥 Voice Pro — это проект, созданный для управления голосовым взаимодействием с поддержкой ИИ, оптимизированный для среды Python!

💡 Репозиторий включает инструменты для запуска приложений голосового взаимодействия и поддерживает функционал, такой как проверка среды и установка необходимых компонентов. Проект также предоставляет возможность обновления интерфейсов через командную строку и настройки некоторых элементов среды выполнения для запуска сторонних библиотек, включая llama-cpp для взаимодействия с CUDA (если доступно) в ML-проектах.

🔐 Лицензия: MIT

🖥 GitHub

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥3
Forwarded from Machinelearning
🌟 Athene-V2: диалоговая и агентная модели от Nexusflow с 72 млрд. параметров.

Nexusflow представила семейство Athene-V2 из двух специализированных моделей: Athene-V2-Chat-72B, оптимизированную для чат-диалогов, и Athene-V2-Agent-72B, предназначенную для работы в качестве агента.

Обе модели построены на базе Qwen 2.5-72B-Instruct. Ключевая особенность Athene-V2 - концепция "границы Парето" в постобработке LLM.

По мере обучения модели с помощью RLHF на качественных данных достигается оптимальный баланс между метриками производительности, формируя "границу Парето". Дальнейшее улучшение отдельных характеристик становится возможным только за счет снижения других показателей.

Athene-V2-Chat-72B демонстрирует конкурентоспособные результаты по сравнению с GPT-4o в бенчмарках, превосходя его в задачах чата (Arena-Hard), завершения кода (bigcode-bench-hard) и математических задачах (MATH).

Athene-V2-Agent-72B превосходит GPT-4o в бенчмарках Nexus-V2, ориентированных на сложные сценарии вызова функций в корпоративной среде.

Athene-V2-Chat-72B использует шаблон чата Qwen2.5-72B-Instruct. Пример инференса с помощью библиотеки Transformers.

Athene-V2-Agent-72B можно использовать в любой совместимой с OpenAI API среде с помощью docker-образа VLLM. Примеры запуска погодного и RAG-агента.

⚠️ Athene-V2-Agent использует уникальный стиль промптов, который включен в docker-образ, поскольку исполняемые вызовы извлекаются из сгенерированного планирования модели.
Использование шаблона чата HuggingFace приведет к неоптимальным результатам в случае использования Athene-V2-Agent .

▶️На HF доступны неофициальные квантованные версии в формате GGUF c диапазоном разрядности от 3 до 8 bit:

🟠Athene-V2-Chat-72B

🟠Athene-V2-Agent-72B


📌Лицензирование: Nexusflow Research License


🟡Страница проекта
🟡Набор моделей
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #ML #LLM #AtheneV2 #Nexusflow
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥21🥰1
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: www.tg-me.com/ai_machinelearning_big_data
C++ www.tg-me.com/cpluspluc
Python: www.tg-me.com/pythonl
Linux: www.tg-me.com/linuxacademiya
Хакинг: www.tg-me.com/linuxkalii
Devops: www.tg-me.com/DevOPSitsec
АНАЛИЗ Данных: www.tg-me.com/data_analysis_ml
Javascript: www.tg-me.com/javascriptv
C#: www.tg-me.com/csharp_ci
Java: www.tg-me.com/javatg
Базы данных: www.tg-me.com/sqlhub
Python собеседования: www.tg-me.com/python_job_interview
Мобильная разработка: www.tg-me.com/mobdevelop
Docker: www.tg-me.com/DevopsDocker
Golang: www.tg-me.com/Golang_google
React: www.tg-me.com/react_tg
Rust: www.tg-me.com/rust_code
ИИ: www.tg-me.com/vistehno
PHP: www.tg-me.com/phpshka
Android: www.tg-me.com/android_its
Frontend: www.tg-me.com/front
Big Data: www.tg-me.com/bigdatai
Собеседования МЛ: www.tg-me.com/machinelearning_interview
МАТЕМАТИКА: www.tg-me.com/data_math
Kubernets: www.tg-me.com/kubernetc
Разработка игр: https://www.tg-me.com/gamedev

💼 Папка с вакансиями: www.tg-me.com/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: www.tg-me.com/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: www.tg-me.com/addlist/eEPya-HF6mkxMGIy
Папка ML: https://www.tg-me.com/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://www.tg-me.com/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: www.tg-me.com/memes_prog
🇬🇧Английский: www.tg-me.com/english_forprogrammers
🧠ИИ: www.tg-me.com/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://www.tg-me.com/addlist/BkskQciUW_FhNjEy
2👍1🔥1
📖 Эта статья описывает подход к расширению поисковых запросов с использованием больших языковых моделей (LLM) и знаний из графов знаний (KG)! Авторы предлагают метод для улучшения поиска информации по полуструктурированным данным, который учитывает не только текстовую релевантность, но и структурные связи документов, представленных в графе знаний.

💡 Идея состоит в том, чтобы расширить начальный запрос пользователя за счет семантических и структурных связей в документах, которые могут быть релевантными для ответа на более сложные запросы, содержащие как текстовые, так и реляционные элементы. Система оценивает релевантность связей между элементами в графе знаний на основе информации в текстах документов, а не только по именам сущностей, что повышает точность поиска.

🌟 Этот метод улучшает поиск по запросам, которые требуют не только совпадений по тексту, но и учета взаимосвязей, например, в академическом поиске, когда учитываются такие параметры, как авторство и цитирование статей.

🔗 Читать: *клик*

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍3🔥3
Forwarded from Machinelearning
🌟 OpenCoder - модели для кодинга, cookbook обучения и датасеты.

OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.

Семейство моделей OpenCoder обучалось с нуля на 2,5 трлн. лексем, состоящих на 90 % из сырого кода и на 10 % из веб-данных, связанных с кодом, и прошло отладку на более чем 4,5 млн. высококачественных примеров SFT, в итоге достигнув производительности топовых LLM с похожей специализацией.

В открытый доступ опубликованы не только веса моделей и код для инференса, но и датасеты, полный цикл обработки данных, результаты экспериментальной абляции и подробные протоколы обучения.

OpenCoder тщательно протестирован с помощью исследований абляции на различных стратегиях очистки данных и процессах обучения, включая эксперименты по дедупликации на уровне файлов и репозиториев, что обеспечило семейству тщательную проверку производительности моделей.

OpenCoder достигает высокой производительности в различных бенчмарках, что ставит их в ряд SOTA-моделей с открытым исходным кодом для задач программирования.

▶️ Семейство моделей OpenCoder :

🟢OpenCoder-1.5B-Base, 4 тыс. токенов контекста;

🟢OpenCoder-8B-Base, 8 тыс. токенов контекста;

🟠OpenCoder-1.5B-Instruct, 4 тыс. токенов контекста;

🟠OpenCoder-8B-Instruct, 8 тыс. токенов контекста;

▶️ Датасеты:

🟢OpenCoder-SFT-Stage1, 4.21 млн. строк;

🟠OpenCoder-SFT-Stage2, 375 тыс.строк.


▶️ Пример инференса на HF Transformers:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "infly/OpenCoder-8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

messages=[
{ 'role': 'user', 'content': "write a quick sort algorithm in python."}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(inputs, max_new_tokens=512, do_sample=False)

result = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)



🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🟡Набор датасетов
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #OpenCoder #Datasets
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42
📝 Эта статья — исследование, посвященное персонализации больших языковых моделей (LLM). Она рассматривает подходы к индивидуализации LLM для различных приложений, таких как системы рекомендаций и персонализированная генерация текста.

🌟 Авторы предлагают таксономию техник персонализации, анализируют текущие вызовы, проблемы и различные методы, оценивая подходы и задачи, которые необходимо решить для эффективной адаптации LLM под нужды пользователей.

📖 Читать: *клик*

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥1👏1
🎓Погружаемся в мир обучения с подкреплением (RL) и изучаем его применение в разработке рекомендательных систем!

3 декабря в 20.00 мск приходите на открытый вебинар "Автоматизация инжениринга признаков", на котором мы разберем:

- сильные и слабые стороны алгоритмов классического RL и Deep RL.;
- постановку задачи о многоруком бандите для классического и Deep RL.
- подходы к применению задачи о многоруком бандите для разработки рекомендательных систем

👉Регистрация. Участие бесплатно https://otus.pw/AHZ2/?erid=LjN8KQBpG

Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Обучение на курсе позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем

#реклама
О рекламодателе
👍2
🔍 carefree-learn — упрощенный интерфейс для работы с глубоким обучением на PyTorch.

💡 Его цель — сделать разработку нейронных сетей более доступной, избегая усложнений, таких как наследование, и поддерживая модульный подход для более удобной компиляции и расширяемости. Система ориентирована на задачи как обучения, так и инференса, поддерживает обработку табличных данных и AutoML и включает набор моделей и алгоритмов для гибкого применения в различных проектах глубокого обучения.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍4🔥3
👩‍💻 Mesop — это фреймворк от Google, упрощающий создание AI веб-приложений на Python. Он ориентирован на ускоренную разработку AI-приложений и демонстрационных интерфейсов, не требуя навыков в JavaScript, CSS или HTML.

🌟 Mesop поддерживает горячую перезагрузку, обеспечивая быструю настройку интерфейсов. Код создается с помощью Python, в том числе с использованием готовых компонентов и API для упрощенного подключения модели.

🔐 Лицензия: Apache-2.0

🖥 Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥2
🔥 LLM MapReduce: упрощенная обработка длинных последовательностей с использованием больших языковых моделей

💡 Расширение контекстного окна больших языковых моделей (LLM) стало важной областью исследований, особенно для приложений, включающих чрезвычайно длинные тексты. В этой статье авторы предлагают новую структуру без обучения для обработки длинных текстов, используя стратегию «разделяй и властвуй» для достижения всестороннего понимания документа. Предлагаемая технология разбивает весь документ на несколько фрагментов для чтения LLM, а затем объединяет промежуточные ответы для получения окончательного результата.

📖 Читать: *клик*

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥31👏1
2025/07/14 17:25:33
Back to Top
HTML Embed Code: