سخنرانی جالبی بود :
مهمترین عنصر پیاده سازی هست

Pydata Youtube

اون پست رو یادتون هست ؟

حالا ماکروسافت امروز اومد کلی ابزار رو open-source کرد که مهم‌ترین مورد مربوط به این کانال

BitNet.cpp

هست که با efficiency بالا مدل‌ها رو می‌بره روی 1bit برای inference داستان اونجایی قشنگ میشه که خیلی‌ها دارن مدل‌های 70B رو باهاش می‌برن روی لوکال و CPU اجرا می‌کنند.

https://github.com/microsoft/BitNet

متأسفانه فرصت تست نداشتم و امشب هم فکر نکنم بتونم
ولی حتماً برای فردا روی مدل‌های سایز مختلف سعی می‌کنم تست کنم و نتایج رو منتقل کنم.

سال 2020 درمورد نحوه استفاده از Rapids توی شرکتی که اون زمان کار میکردم گفتم.
بعدتر درمورد cuGraph هم صحبت کردم.


دیروز دیدم یک تیم ایرانی شدیدا درگیر پردازش یک حجم بزرگ از گراف هستند که خب networkX سالها طول میکشه

قبل خرید و تصمیمات … گرفتن یک مشاوره از من گرفتند؛ کد رو بردم روی cuGraph و پردازش تا 300x سریعتر شد؛ قطعا بیشتر هم میشد ولی نیاز به اپتیمایز کردن نبود.


خواستم یادآوری کنم که؛ حواستون به پستهای قدیمی کانال هم باشه؛ بعضیاش طلاس
زمان لازم داره تا ارزشش مشخص بشه.

این ویدئو ۷۰٪ سوالاتی که توی چندماه اخیر (بعد از راه‌اندازی @PyRust ) پرسیدید رو جواب میده و خیلی هم عالی :

Youtube Link

بطور کلی PyData اخیر سخنرانی خوب کم نداشت واقعا

#ایده #تمرین

اگر لینکدین رو بذارم مرجع بیش از ۸۰٪ کسانی که در زمینه AI کار می‌کنند و سطح Senior (با توجه به لینکدین)

فقط مدرس هوش مصنوعی هستند.
یا بنیانگذار شرکتی که از API هوش مصنوعی شرکت‌های خارجی استفاده می‌کند.
و هیچ پروژه موفق دپلوی شده‌ای ندارند.


فروش رویا به نسل جدید توی شرایط سخت این روزها منبع درآمد این گروه شده.


اگر خواستید حرف‌های من رو validate کنید این مسیری هست که ما رفتیم :

1) LinkedIn crawler (playwright mostly)
2) Json parser for most of the information
3) LLM & LLM Scrappers
4) Search company, role and ... using google/duckduckgo api
5) Human check (for edge cases)

این پروژه‌ای بود که من به دوتا از بچه‌ها دادم (هدف یادگیری llm finetune و ... بود با یک پروژه چالشی)

الان خود کد و تحلیل‌هاشون رو می‌فروشند، شما هم می‌تونید تمرین کنید.


شاید تا چندوقت دیگه اینم سرویس شد (برای تمرین بیشتر و تعداد یوزر در اسکیل بزرگ)


پ.ن : فقط منتورشیپ بچه‌ها ٫ کد ریوو با من بود و بنده هیچ کدی رو نزدم روی این پروژه (همش کار خودشون بود)

بگذارید هرکس به آیین خودش باشد.
زنان را گرامی بدارید.
فرودستان را دریابید.
اجازه دهید هرکسی به تکلم قبیله‌ی خویش سخن بگوید.

آدمی تنها در مقام خویش به منزلت خواهد رسید.

۷ آبان روز بزرگداشت کوروش کبیر، همایون باد.

ی بنده خدا هم هست توی لینکدین
۲ سال و نیم هست (حداقل از وقتی من میشناسم) داره مصاحبه می‌کنه که موقعیت خارج از ایران بگیره

هنوز موفق نشده، بعد تجربیاتی که می‌ذاره زیر ۱۰۰۰ تا لایک نداره.

امشب دیدم زده می‌خواد بصورت خصوصی افراد رو راهنمایی کنه موقعیت بگیرن (با هزینه)

بعد ۳۰۰ تا اسکل هم کامنت کردن با این مضمون که :
تورو خدا منو بذار تو اولویت

لینکدین از اینستاگرام هم اسکل بیشتر داره 🤣😂

تکنیک مورد علاقه جدیدم :

https://docs.instructlab.ai

اینجا کاخ سفید و اینم ایلان ماسک.

دونالد ترامپ رئیس جمهور جدید آمریکا (ایلان طرفدار ایشون)

ایلان این حرکت رو بعد از خرید توییتر زده بود.



الان ی مشت حسود پلاستیکی میان میگن عکس فتوشاپ هست‌

اون شخصی بود که لینکدین گذاشته بود که
Pull Request
زده روی پروژه models خود تنسرفلو بعد ۱۸۰۰ تا لایک و ... گرفته.

تا اینجاش به ما ربطی نداشت، ولی اونم پکیج فروشی رو شروع کرده. (که دیگه به ما ربط داره)

تازه اسم بچه‌های AI رو هم داره خراب می‌کنه

تمام کاری که کرده این بوده، A0 رو به A2 تغییر داده.

آموزش همکاری روی پروژه‌های open source هم گذاشته.
پشمام

ولی اگر خواستید کار قشنگی بکنید
نرید توی نوت‌بوک‌های آموزشی که توسط community نگهداری می‌شه اشتباه تایپ تغییر بدید.

خیلی پروژه‌های بزرگ هستند که:
۱- داکیومنت آپدیت شده ندارند (برای خیلی از فیچرهای جدید)
۲- داکیومنت فارسی ندارند
۳- داکیومنت مثال نداره
۴- تست نویسی مناسبی نداره
۵- داک‌استرینگ و تایپینگ ندارند.

همه‌ی اینها کارهای بسیار با ارزش و بزرگی هست که می‌تونید انجام بدید؛ حتی وقتی دارید یک کتابخونه رو یاد میگیرید، خیلی هم اسم بهتری داره
ولی
هیچوقت از هیچ کاری تو دنیای open source سعی نکنید سو استفاده کنید.

نتایج
Qwen2.5 32b

تست می‌کنم و میگم.

خیلی خوب جواب میده
اونقدر هم دست به کد هست که :

باید بهش بگی داداش، فقط توضیح بده کد نزن ی دیقه بذار خودمم به راه‌حل فکر کنم

من تمام تست‌ها رو روی Rust انجام دادم.

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان، قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

از کانال محمد طلایی عزیز
قبلاً هم این کانال رو به بچه‌هایی که علاقه‌مند به مباحث مالی هستند معرفی کردند.

محمد از دوستان خوب و بسیار با سوادم هست، که همیشه از خوندن مطالب و بحث کردن باهاش لذت می‌برم

Test time training

که از MIT هم اومده بسیار جذابه‌ها (نه برای پروداکشن البته؛ حداقل فعلا نه).

طرف زده ML Engineer توی رزومه‌، باهاش مصاحبه می‌کنم
می‌گه فقط پرامپت نویس هستم، Prompt Engineer میری جلوتر می‌بینی از Enginner بودنش هم سوادی نداره


مثه این می‌مونه که :
عریضه نویس بیاد بگه من وکیل پایه‌ یک دادگستری هستم.

کلا اسم Prompt Engineer اسم خوبی نیست یک چیزی بذارید که توش Engineer نباشه

#ایده #تمرین

این دمو دیپ‌مایند رو دیدید ؟
DeepMind

شب قبل یکی از دوستام پیام داد، که یک پروژه آموزشی بهم بده ولی همه چیز داشته باشه وسط بازی فیفا بودم و این قضیه اذیتم می‌کرد که اسکریپت گزارشگرها دائماً درحال تکرار هست.


فکر کنم ایده رو گرفتید :
۱- بازیکنان، وضعیت توپ، داور و اتفاقات اصلی بازی رو log کنید (خود fifa اینکار رو می‌کنه ولی شما یک مدل vision براش بذار، مدل زیاد هست ولی برای تمرین بیشتر من جزئیات بیشتری غیر از توپ و بازیکنان رو می‌خوام)

۲- با یک ورژنی مثل Smol (باهم تبدیلش کردیم به ollama توی پست‌های قبلی) لاگ بازی رو تبدیل به متن کنید.

۳- از مدل دیپ‌مایند یا هر مدل دیگری برای تبدیل اسکریپت به صدا استفاده کنید.


آیا شدنی هست ؟ ۱۰۰٪
مصرف GPU بیشتر نمی‌شه ؟ چرا ولی این رو می‌شه توی بازی اضافه کرد، بخش تنظیمات.
در نهایت یک سری به تیم AI شرکت EaGame بزنید و ببینید چه کارهای خفنی که نمی‌کنند.

ازین به بعد این پست‌ها رو با #ایده و #تمرین علامت میذارم.

برای تمرین راحت پیدا کنید