سال 2020 درمورد نحوه استفاده از Rapids توی شرکتی که اون زمان کار میکردم گفتم.
بعدتر درمورد cuGraph هم صحبت کردم.


دیروز دیدم یک تیم ایرانی شدیدا درگیر پردازش یک حجم بزرگ از گراف هستند که خب networkX سالها طول میکشه

قبل خرید و تصمیمات … گرفتن یک مشاوره از من گرفتند؛ کد رو بردم روی cuGraph و پردازش تا 300x سریعتر شد؛ قطعا بیشتر هم میشد ولی نیاز به اپتیمایز کردن نبود.


خواستم یادآوری کنم که؛ حواستون به پستهای قدیمی کانال هم باشه؛ بعضیاش طلاس
زمان لازم داره تا ارزشش مشخص بشه.

این ویدئو ۷۰٪ سوالاتی که توی چندماه اخیر (بعد از راه‌اندازی @PyRust ) پرسیدید رو جواب میده و خیلی هم عالی :

Youtube Link

بطور کلی PyData اخیر سخنرانی خوب کم نداشت واقعا

#ایده #تمرین

اگر لینکدین رو بذارم مرجع بیش از ۸۰٪ کسانی که در زمینه AI کار می‌کنند و سطح Senior (با توجه به لینکدین)

فقط مدرس هوش مصنوعی هستند.
یا بنیانگذار شرکتی که از API هوش مصنوعی شرکت‌های خارجی استفاده می‌کند.
و هیچ پروژه موفق دپلوی شده‌ای ندارند.


فروش رویا به نسل جدید توی شرایط سخت این روزها منبع درآمد این گروه شده.


اگر خواستید حرف‌های من رو validate کنید این مسیری هست که ما رفتیم :

1) LinkedIn crawler (playwright mostly)
2) Json parser for most of the information
3) LLM & LLM Scrappers
4) Search company, role and ... using google/duckduckgo api
5) Human check (for edge cases)

این پروژه‌ای بود که من به دوتا از بچه‌ها دادم (هدف یادگیری llm finetune و ... بود با یک پروژه چالشی)

الان خود کد و تحلیل‌هاشون رو می‌فروشند، شما هم می‌تونید تمرین کنید.


شاید تا چندوقت دیگه اینم سرویس شد (برای تمرین بیشتر و تعداد یوزر در اسکیل بزرگ)


پ.ن : فقط منتورشیپ بچه‌ها ٫ کد ریوو با من بود و بنده هیچ کدی رو نزدم روی این پروژه (همش کار خودشون بود)

بگذارید هرکس به آیین خودش باشد.
زنان را گرامی بدارید.
فرودستان را دریابید.
اجازه دهید هرکسی به تکلم قبیله‌ی خویش سخن بگوید.

آدمی تنها در مقام خویش به منزلت خواهد رسید.

۷ آبان روز بزرگداشت کوروش کبیر، همایون باد.

ی بنده خدا هم هست توی لینکدین
۲ سال و نیم هست (حداقل از وقتی من میشناسم) داره مصاحبه می‌کنه که موقعیت خارج از ایران بگیره

هنوز موفق نشده، بعد تجربیاتی که می‌ذاره زیر ۱۰۰۰ تا لایک نداره.

امشب دیدم زده می‌خواد بصورت خصوصی افراد رو راهنمایی کنه موقعیت بگیرن (با هزینه)

بعد ۳۰۰ تا اسکل هم کامنت کردن با این مضمون که :
تورو خدا منو بذار تو اولویت

لینکدین از اینستاگرام هم اسکل بیشتر داره 🤣😂

تکنیک مورد علاقه جدیدم :

https://docs.instructlab.ai

اینجا کاخ سفید و اینم ایلان ماسک.

دونالد ترامپ رئیس جمهور جدید آمریکا (ایلان طرفدار ایشون)

ایلان این حرکت رو بعد از خرید توییتر زده بود.



الان ی مشت حسود پلاستیکی میان میگن عکس فتوشاپ هست‌

اون شخصی بود که لینکدین گذاشته بود که
Pull Request
زده روی پروژه models خود تنسرفلو بعد ۱۸۰۰ تا لایک و ... گرفته.

تا اینجاش به ما ربطی نداشت، ولی اونم پکیج فروشی رو شروع کرده. (که دیگه به ما ربط داره)

تازه اسم بچه‌های AI رو هم داره خراب می‌کنه

تمام کاری که کرده این بوده، A0 رو به A2 تغییر داده.

آموزش همکاری روی پروژه‌های open source هم گذاشته.
پشمام

ولی اگر خواستید کار قشنگی بکنید
نرید توی نوت‌بوک‌های آموزشی که توسط community نگهداری می‌شه اشتباه تایپ تغییر بدید.

خیلی پروژه‌های بزرگ هستند که:
۱- داکیومنت آپدیت شده ندارند (برای خیلی از فیچرهای جدید)
۲- داکیومنت فارسی ندارند
۳- داکیومنت مثال نداره
۴- تست نویسی مناسبی نداره
۵- داک‌استرینگ و تایپینگ ندارند.

همه‌ی اینها کارهای بسیار با ارزش و بزرگی هست که می‌تونید انجام بدید؛ حتی وقتی دارید یک کتابخونه رو یاد میگیرید، خیلی هم اسم بهتری داره
ولی
هیچوقت از هیچ کاری تو دنیای open source سعی نکنید سو استفاده کنید.

نتایج
Qwen2.5 32b

تست می‌کنم و میگم.

خیلی خوب جواب میده
اونقدر هم دست به کد هست که :

باید بهش بگی داداش، فقط توضیح بده کد نزن ی دیقه بذار خودمم به راه‌حل فکر کنم

من تمام تست‌ها رو روی Rust انجام دادم.

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان، قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

از کانال محمد طلایی عزیز
قبلاً هم این کانال رو به بچه‌هایی که علاقه‌مند به مباحث مالی هستند معرفی کردند.

محمد از دوستان خوب و بسیار با سوادم هست، که همیشه از خوندن مطالب و بحث کردن باهاش لذت می‌برم

Test time training

که از MIT هم اومده بسیار جذابه‌ها (نه برای پروداکشن البته؛ حداقل فعلا نه).

طرف زده ML Engineer توی رزومه‌، باهاش مصاحبه می‌کنم
می‌گه فقط پرامپت نویس هستم، Prompt Engineer میری جلوتر می‌بینی از Enginner بودنش هم سوادی نداره


مثه این می‌مونه که :
عریضه نویس بیاد بگه من وکیل پایه‌ یک دادگستری هستم.

کلا اسم Prompt Engineer اسم خوبی نیست یک چیزی بذارید که توش Engineer نباشه

#ایده #تمرین

این دمو دیپ‌مایند رو دیدید ؟
DeepMind

شب قبل یکی از دوستام پیام داد، که یک پروژه آموزشی بهم بده ولی همه چیز داشته باشه وسط بازی فیفا بودم و این قضیه اذیتم می‌کرد که اسکریپت گزارشگرها دائماً درحال تکرار هست.


فکر کنم ایده رو گرفتید :
۱- بازیکنان، وضعیت توپ، داور و اتفاقات اصلی بازی رو log کنید (خود fifa اینکار رو می‌کنه ولی شما یک مدل vision براش بذار، مدل زیاد هست ولی برای تمرین بیشتر من جزئیات بیشتری غیر از توپ و بازیکنان رو می‌خوام)

۲- با یک ورژنی مثل Smol (باهم تبدیلش کردیم به ollama توی پست‌های قبلی) لاگ بازی رو تبدیل به متن کنید.

۳- از مدل دیپ‌مایند یا هر مدل دیگری برای تبدیل اسکریپت به صدا استفاده کنید.


آیا شدنی هست ؟ ۱۰۰٪
مصرف GPU بیشتر نمی‌شه ؟ چرا ولی این رو می‌شه توی بازی اضافه کرد، بخش تنظیمات.
در نهایت یک سری به تیم AI شرکت EaGame بزنید و ببینید چه کارهای خفنی که نمی‌کنند.

ازین به بعد این پست‌ها رو با #ایده و #تمرین علامت میذارم.

برای تمرین راحت پیدا کنید

چقدر خوبه این

Deepseek R1

نسخه Deep think رو روی سایت فعال کنید و باهاش کد بزنید؛ بذارید تصمیم بگیره که بهترین طراحی و ... برای کد شما چیه
فقط فعلا تنها مشکل تعداد ۵۰ پیام در روزش هست ( با ۲-۳ تا اکانت می‌شه ی پروژه رو درآورد)

من اینطوری تستش کردم که نتایج chatgpt, mistral (نسخه‌های جدید) رو بهش میدم و میگم کدهاشون رو review کنه و بهبود بده.
واقعا هم نتایج بهتری داره نسبت به اون دو مدل؛ همچنان روی preview هست.

https://chat.deepseek.com/

اگر مثل مدل‌های Lite قبلی باشه یعنی چیزی در حدود ۱۲ تا ۲۰ میلیارد پارامتر خواهد بود و احتمالا بعد از اتمام تست‌ها بصورت open-source منتشر خواهد شد.

شما درخواست دادید :
این ۳ تا مدل رو باهم مقایسه کردم (غیر لوکال)

chatgpt 4o, mistral ai, deepseek r1

تمام مواردی که میگم روی Python هست (چون دوستان پرسیدن زبان‌های دیگه چطوری هست؛ مخصوصا Rust, C گفتم اعلام کنم؛ من برای Rust دائما از Qwen2.5-coder 33b استفاده می‌کنم)

به هیچکدوم از مدل‌ها هم تسک پیچیده ندادم؛ که برو ۰-۱۰۰ این پروژه رو بزن و بیار؛ اما تسک‌های کوچیک زیاد بوده؛ استانداردهای کدهام رو مکتوب می‌کنم همون code contribution agreement یک چندتا نمونه از بخش‌هاش رو پیاده‌سازی می‌کنم و باقی موارد رو میدم به این مدل‌ها ازشون پیاده‌سازی می‌خوام و اما نتایج :

mistral ai:
توی تمام موارد عملکرد نسبتا خوبی داره؛ اما بیش از حد تایپ می‌کنه.
بعضی وقتا بطور کامل راه‌حل درست رو می‌گه یا اینکه چطوری باید پیاده‌سازی کنید و ... ولی بعد خودش توی پیاده‌سازی فراموش می‌کنه و دقیقا کدی که ورودی بهش دادید رو بر‌می‌گردونه.
توی کدهای کوچیک (تک فایل و زیر ۲۰۰-۳۰۰ خط) مشکلی نداره و همه چیز درست هست.
سعی می‌کنه syntax کاربر رو هم تا جایی که می‌شه رعایت و دنبال کنه.
سرعت پاسخ خیلی خیلی بالایی داره.

chatgpt 4o:
هیچ جواب اضافه ای نمیده؛ بخصوص اگر اولش بهش گفته باشید و یک راست میره سر اصل مطلب و نکات مهم.
به شرط پرامپت خوب و کدهای کوچیک عملکرد خیلی خوبی داره.
سرعت پاسخش کمی از mistral کمتر هست.

اما ۳ تا مشکل اساسی من باهاش دارم:
۱- کلا کد بزرگ رو درست نمی‌فهمه؛ چندتا مازول رو کنار هم بذاری و ازش چیزی بخوای.
۲- اگر کد بزرگ رو بفهمه و بهت جواب هم بده؛ جوابش توی بیش از ۸۰٪ مواقع بدرد نمیخوره درست هست ولی syntax شما رو رعایت نکرده (مثلا بجای کلاس؛ همرو با تابع می‌نویسه و ...)
۳- خیلی زود به memory full میخوره و حتی اگر به اون هم نخوره خیلی زود code contribution agreement رو فراموش می‌کنه.

اما بطور کلی اگر چیزی رو درست جواب بده و بخواد راه‌حلش رو توضیح بده خیلی روان و صریح توضیح میده که اگر موضوع کد نبود بنظرم برنده بود.

deepseek r1:
حتما؛ حتما؛ حتما حتی شده در نهایت کدها رو بهش میدم و ازش می‌خوام ایراداتش رو بگیره یا اگر چیزی رو با استاندارد رعایت نکردم بهم بگه.
زمان پاسخش بخاطر مرحل تفکر؛ از باقی موارد بالاتر هست ولی بطور کلی توی کدهای بزرگ همزمان خروجی نهایی رو میدهند.
همیشه و در همه شرایط syntax رو رعایت کرده توی تست‌های من.
فایل‌های بزرگ و dependency های زیاد خوراکش هست (تعداد مسیج روزانه‌اتون رو خرچ سوالات ساده و کدهای کوچیک نکنید.)
قوانین contribution رو همیشه رعایت می‌کنه؛ مثلا از دیروز بهش گفتم کد بدون تست نباید تحویل بدی؛ همواره داره تست نویسی رو هم انجام میده (بیش از ۸۰ پیام از اون پیام تست نویسی گذشته)