HF kernels hub
кернел это такой кусок кода встраивыаемый в вычислительный граф и описыващий какие то спецефичные по памяти/последовательности вычислений операции которые за счет последовательности прям сильно быстрее работают(flash attn как хороший пример)
HF выпускают библеотеку кернелов, чтобы не таскать из vllm в sglang и обратно кернелы, а просто делать
ВСЕ, ускоряем почти любой кусок графа в несколько раз бесплатно!
link
кернел это такой кусок кода встраивыаемый в вычислительный граф и описыващий какие то спецефичные по памяти/последовательности вычислений операции которые за счет последовательности прям сильно быстрее работают(flash attn как хороший пример)
HF выпускают библеотеку кернелов, чтобы не таскать из vllm в sglang и обратно кернелы, а просто делать
import torch
import torch.nn.functional as F
from kernels import get_kernel
DEVICE = "cuda"
activation_kernels = get_kernel("kernels-community/activation")
x = torch.randn((4, 4), dtype=torch.float16, device=DEVICE)
# Prepare an output tensor
y = torch.empty_like(x)
# Run the fast GELU kernel
activation_kernels.gelu_fast(y, x)
# Get expected output using PyTorch's built-in GELU
expected = F.gelu(x)
ВСЕ, ускоряем почти любой кусок графа в несколько раз бесплатно!
link
dark fantasy топ мэнджеров в том чтобы уволить 70% штата заменив на агентов-индусов-аутсорс в восточной европе, главное верить, щаща в индии обуичим агентов разработку
27 сентября пройдет конференция по прикладному машинному обучению от Яндекса — Practical ML Conf. В этом году на конференции будут представлены доклады по 6 трекам: CV, NLP, Speech, RecSys, MLOps, Data Science. CFP открыт до 23 июня, для подачи заявки перейдите по ссылке.
Что предлагаем для спикеров:
⚪ ПК конференции дадут советы по структуре и содержанию доклада
⚪ Прогоны материалов с тренером по публичным выступлениям и помощь с дизайном презентаций
⚪ Возможность понетворкать с другими спикерами и получить фидбэк по проекту
⚪ Промо докладов через каналы Яндекса до и после конференции
⚪ Возможность посетить PML Conf без отбора вместе с +1
Что предлагаем для спикеров:
Please open Telegram to view this post
VIEW IN TELEGRAM
openaifiles.org очень забавный сборник про то какие опенаи плохие
This media is not supported in your browser
VIEW IN TELEGRAM
https://www.midjourney.com/updates/introducing-our-v1-video-model
Лучше ли чем veo3? Скорее нет. Лучше ли чем соседи в виде huynyan и прочих? Скорее да.
Лучше ли чем veo3? Скорее нет. Лучше ли чем соседи в виде huynyan и прочих? Скорее да.
Love. Death. Transformers.
Цукерберг купил кусок scale.ai и дал Александру вангу лабу которая будет строить ASI
Одного чела для меты купили в 6 раз дороже чем вся АИ индустрия в России. Думайте.
я очень часто рекомендую runpod в разных чатах, интересно а сколько людей заюзает рефер и пополнит на 10usd?
link
link
www.runpod.io
Runpod - The Cloud Built for AI
Develop, train, and scale AI models in one cloud. Spin up on-demand GPUs with GPU Cloud, scale ML inference with Serverless.