#Roadmap deep learning (zero to production)

یک دوره دیگه هم به این مجموعه اضافه شد.
مخصوص اونهایی که میخوان وارد صنعت بشوند و اینبار از MIT

تجربه من نشون داده ۸۰٪ این مفاهیم و کانسپت‌ها و البته پیاده‌سازی‌هارو ۹۹٪ درصد افرادی که توی این فیلد کار می‌کنند نمی‌دونند.

پس با این تفاصیر برای کسی که میخواد جزو بهترین‌های هوش مصنوعی باشه در سال‌های آینده لیست دروسی که حتما باید با دقت بالا ببینه می‌شه :

1) NYU (new york university): Yann LeCun & Alfered canziani. Deep learning course

2) Standford university: Prof. Manning, deep learning for nlp

3) Standord university: Deep Generative Models

4) Stanford University: Transformers United

5) EfficientML.ai Lecture, Fall 2023, MIT 6.5940

ترتیب دوره‌ها رو درست کردم؛ اما توجه کنید برای این دوره‌ها باید یک سری پیشنیاز رو داشته باشید :

1- Python

بدون تعارف باید پایتون رو خورده باشید می‌تونید سطح پایتون خودتون رو با @pyhints بسنجید.

2- Pytorch 

می‌تونید همزمان با دوره‌ها یاد بگیرید؛ نیازی نداریم مفاهیم هوش مصنوعی رو برید بخونید موقع یادگیری این ابزار ولی چیزی که واجب هست اینه که خود فریمورک رو به خوبی هرچه تمام یادبگیرید.

3- Math / Algebra and ...

برای این مورد پیشنهاد سریع من توی تست اینکه آیا بیس قضیه رو دارید یا خیر کتاب Mastering NLP from Foundation to LLMs نیازی ندارید همه کتاب رو بخونید فصل ۲ کتاب راجب ریاضیاتی هست که باید بدونید؛ پیشنهادم این هست که بصورت موردی جستجو کنید یادبگیرید.
باقی موارد رو دوره NYU براتون توضیح میده و می‌تونید هر مورد رو که متوجه نشدید همونجا جستجو کنید و کامل درک کنید.
مخالفم که ابتدای کار یک تازه‌کار بره با کتاب‌های سنگین ریاضیاتی شروع کنه.


مفاهیم قدیمی‌تر ماشین لرنینگ رو هم در نهایت نیاز خواهید داشت؛ که پیشنهاد من اینه که یک دوره آنلاین و سریع ببینید راجبش تا بدونید چه تکنیک‌های ساده‌تری برای مسائل ساده وجود داره و آشنا باشید با این موضوع بعد از دوره‌ها و اگر این حوزه مورد علاقه شما بود برید سراغ بخش اول کتاب

Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow

واقعا نیازی برای هیچ دوره دیگری الان نمی‌بینم؛ تمامی این دوره‌ها رایگان هستند و مزیت بسیار زیادی دارند :
۱- اصطلاحات و مطالب تخصصی رو با اسم درست و انگلیسی یاد میگیرید.
۲- ترس از خوندن مطلب انگلیسی میریزه و یاد میگیرید که چطور خودتون رو آپدیت نگهدارید (بدون نیاز به کسی)
۳- تکنیک خوندنی که قبل‌ها گفتم رو دنبال کنید؛ مفاهیم رو یادخواهید گرفت نه فقط راه حل یک مسئله خاص رو
۴- دوره‌ها رایگان هست و با سرعت خوندن خودتون می‌تونید تنظیم کنید.
۵- هزینه‌ای که برای یادگیری تمام مطالب بالا اونم بصورت نصف و نیمه به دوره‌های مختلف قرار بوده بدید رو ذخیره کنید که بعد این دوره‌ها به سخت‌افزار نیاز دارید.

با توجه به قیمت‌هایی که می‌بینم برای دوره‌ها؛ قطعا با این سیو می‌تونید سیستم کاربردی رو بخرید.


پ.ن : برای لینک دوره‌ها، فقط کافیه اسم‌ها رو توی یوتیوب جستجو کنید.

قطعا اگر تلگرام premium داشته باشید می‌دونید که ویژگی تبدیل voice message به متن رو داره
موردی که با توجه به حجم دیتا و ... ایی که تلگرام داره همه فکر می‌کنند مدل و امکانات خودش هست.

اما در واقع موضوع اینه که تلگرام فقط به خوبی هرچه تمام و با حوصله داره از ابزارهای موجود استفاده می‌کنه؛ برای همین مورد بعنوان مثال
داره از whisper-large-v3 در حال حاضر استفاده می‌کنه؛ یک مدل opensource و کاملا در دسترس
با توجه به چیزی که دیده میشه؛ حتی وقتی برای بهبود یا quantize کردن مدل برای دپلوی نذاشتند.

3:40 A.M

بعد از کدهای مربوط به کار و خبر انتشار مدل
multi-token-prediction
درخواست دسترسی دادم؛ حدود ۵ دقیقه طول کشید تا تایید شد و هرجور حساب می‌کنم تست نکرده نمیشه خوابید.

دقیقا این مدل برای منی که بیشتر عضو تیم

Software, Engineering, ...

هستم خیلی اهمیتی و مزیتی نداره؛ اگر این مقاله رو خونده باشید بهبود نتایجش توی مدل‌های بزرگتر هست نه مدل کوچکتر اما مزیت سرعت Inference بالا رو با خودش داره و این بخشی هست که بسیار برای من جذاب هست و قطعا بسیاری از پیشرفت‌ها در این جهت خواهد بود؛ یا به این شکل یا بر اساس این روش.

لینک مقاله:
https://arxiv.org/pdf/2404.19737

Moshi: Realtime multi-modal OpenSource Model 

دمو chatgpt 4o رو یادتون هست ؟
خیلی ها بهترین فیچرش رو صحبت کردن باهاش می‌دونند.

این مدل Moshi که open source هم خواهد بود؛ همون کا رو براتون می‌کنه با تفاوت بزرگتر؛ این مدل واقعا real-time هست.
فوق‌العاده سریع هست؛ بدون شک و تردید توی این مورد بسیار عملکرد بهتری از chatgpt داره

نمی‌تونم صبر کنم که مدل منتشر بشه و به سیستم فعلی؛ RAG و .... که دارم وصلش کنم

نکته؛ این مدل به اینترنت وصل نیست پس سوالاتی که به RAG یا سرچ و ... نیاز داره رو نمی‌تونه خیلی جواب بده ولی مشکلی نیست چون خیلی تازه هست.

Moshi website (free to test, 5min)

اگر ۵ دقیقه تموم شد باید؛ دوباره reload بشید.

پ.ن : این ابزار کار یک تیم ۸ نفره هست.

Andrej Karpathy

این مرد بزرگ یک تنه داره جور کل دوره‌های آموزشی و ... رو می‌کشه

پلن جدید ایشون برای آموزش دقیق همه آنچه که برای ساخت و درک LLM نیاز دارید.

Karpathy GitHub

به محض شروع این دوره قطعاً به لیست بالا اضافه خواهد شد.
بدون شک و تردید و ندیده (شخصاً نمی‌تونم صبر کنم)

طبق بلاگ‌‌ها و صحبت‌هایی که شده
سرعت Moshi توی قسمت‌های مهمی مدیون Rust هست.

یکی از مهمترین ابزارهایی که ما هم داریم استفاده می‌کنیم برای دپلوی مدل‌ها
huggingface Candle

که روی Rust نوشته شده و headless ml framework هست.

قطعا توی همین جملات برای آنان که می‌اندیشند نکات بسیاری هست.


اضافه کنم :
این پست رو برای همراه اول هم بفرستید که توی الکامپ دمو مدل نیاره بعد بگه چون درخواست زیاد بوده نمی‌تونیم جواب بدیم 😂
توقع داشتن توی نمایشگاه که معرفی می‌کنند ۱۰ درخواست در دقیقه بگیره ؟


پ.ن: دارم راجب تکنیک‌های Mushi تحقیق و تست می‌کنم
اگر کسی چیزی دیده خوشحال میشم برای ماهم بفرسته. مدل voice هم فکر می‌کنم پشت قضیه

whisper 

باشه + quantization
با توجه به تست ها من همچین حسی دارم اما علاوه بر اون
۸ نفر و ۶ ماه قطعا تمرکز روی ساخت مدپل نبوده پس احتمال درست بودن حس و حدس من رو بالاتر می‌بره
مدل رو روی دیتاهایی که میشناختم تست کردم خطاها تقریبا نزدیک هست برای همین حدس زدم whisper باشه
اما چون فقط انگلیسی هست خیلی مطمئن نیستم.

بنظرم نسل بعدی

ML Engineer 

هایی که دستمزد بالایی خواهند داشت قطعا

Python + Rust Developer 

خواهند بود.
تیم Groq هم خبری رو شنیدم که از Rust استفاده می‌کنند و قبلا هم راجب تیم خودمون و x.ai هم گفته بودم.

تیم اگر نگم اولین جز اولین‌هایی بود که به سمت Rust رفت که خب خیلی خوشحالم بابت اون تصمبم و البته حسرت که خودم توسعه دهنده Rust نشدم برای اون کدها (شرکت بهم اجازه نداد)

MInference

This approach achieves up to a 10x speedup for pre-filling on an A100 while maintaining accuracy.

برای کسایی که روی Inference کار‌ می‌کنند، ماکروسافت اینفرنس منتشر شد.

https://www.tg-me.com/tensorflowPython

لطفاً تبلیغات ٫ لینک نامشخص ٫ فروارد پیام و ... انجام ندید.

طبق قوانین تمام گروه‌ها ارسال PDF و نرم‌افزار Vpn ممنوع هست

توهین نکنید و مطالبی که شامل فحاشی و ... هست نفرستید (ویدئو - صدا - موسیقی و ...)

اعتقادات مذهبی رو تو جیبتون بذارید، بعد وارد بشید
چه با دین چه بی‌دین

برای اینکه سوالتون جواب بگیره :

۱- سوالاتتون رو کامل - دقیق و واضح بپرسید. از پرسیدن سوالاتی مثل :
کسی اینجا تنسورفلو کار کرده ؟
کسی با ViT آشنایی داره ؟
و ... جدا خودداری کنید. (این سوالات به هیچ‌وجه هوشمندانه نیست)
همیشه هم یک جواب داره :
نه ... تو اولین نفری هستی که بهش رسیدی ...


۲- قبل از سوال پرسیدن مطمئن بشید سوال رو توی گوگل سرچ کردید.

۳- دعوت به همکاری، پروژه دادن و گرفتن و ... همه ممنوع هست
و اگر سر کسی بابت این موضوع کلاه رفت به بنده و ادمین‌ها مرتبط نیست

۴- اگر گوگل سرچ بلد نیستید، از copilot و مروگر edge هم می‌تونید استفاده کنید

در نهایت بازم تاکید می‌کنم؛ سوالاتتون رو واضح و کامل بپرسید.
تبلیغات و فروارد پیام و ... هم انجام ندید.

این سایت بهتون اجازه میده بصورت رایگان و بدون نیاز به حتی ثبت‌نام
بین ۴۰ مدل معروف این روزهای دنیای LLM مقایسه بگیرید.

Check this out

در صورت مقایسه به پایین صفحه هم دقت کنید.
هزینه و سرعت (اگر اشتباه نکنم) برای شما نشون داده میشه

اضافه کنم :
تصویر مربوط به مقایسه gpt-4o , Qwen2 هست.

اگر دنبال مدل تولید عکس می‌گردید
بهترین مدل بنظرم اینجاست اونم :

OpenSource

Github link

HuggingFace Model Card

حتما حداقل نمونه تصاویر تولید شده باهاش رو بینید.

معنی اعداد خیلی مهم هست، اما ۹۹٪ جامعه هیچ درکی ازین موضوع ندارند
حتی ۹۹٪ جامعه دیتا هم درک نمی‌کنند.

امروز یک پروپوزال رو خوندم و یک قراردادی رو لغو کردم، هیچکس از اعضای تیم متوجه نشده بود و افرادی که ذوق این قرارداد رو داشتند مستقیم رفته بودند سراغ مدیرعامل.

(جزو وظایف من نیست که برای دیگران توضیح بدم چرا یک تصمیمی رو گرفتم، فقط باید به مدیر بالا سرم جواب بدم که ایشون هم هیچوقت نمی‌پرسند، بنا بر اعتماد)

اما وقتی دیدم اوضاع اینطوری هست، گفتم نکات آموزشی داخلش هست داخل کانال هم بذارم، البته با مثال که دیگه همگی درک کنید موضوع رو :

فرض کنید ۲ تا شرکت cloud provider دارید، شرکتی با قیمت بالاتر و گزارش ۹۹.۹٪ پایداری و شرکت دوم با قیمتی تا ۱۰٪ پایین‌تر و البته گزارش پایداری ۹۹٪ سالانه وقتی اعداد و ارقام بزرگ باشه؛ آدم‌ها تفاوت ۰.۹٪ رو نمی‌بینند ولی تفاوت ۱۰٪ قیمت رو به خوبی می‌بینند.

توی یک سال ۹۹٪ یعنی حدوداً ۴ روز قطعی سیستم و ۹۹.۹٪ یعنی حدوداً ۹ ساعت قطعی سیستم و چون ممکنه قطعی‌ها ۱۰ دقیقه‌ای باشه حتی اگر توی ساعات مهم کاری شما پیش بیاد باعث از دست رفتن بیزینس میشه.

من مثال سرویس ابری زدم، چون این سرویس‌ها تا ۳-۴ رقم اعشار گزارش می‌دهند، برای مثال خیلی سال قبل یادم هست دلیل انتخاب AWS توسط شرکت خودمون همین ۹۹.۹۹۹٪ نسبت به سرویس Google با ۹۹.۹٪ بود؛ و بعد از اون همه سرویس‌های شرکت دیگه روی AWS فعال شد‌.

خلاصه حواستون به همون حتی چند هزارم هم باشه، وقتی صحبت از اعداد بزرگ یا قرارداد بلند مدت می‌شه؛ ۰.۰۰۰۹ هم خیلی خیلی عدد با ارزشی خواهد بود.

اگر روی RAG کار می‌کنید توی پروداکشن :

Speculative RAG

نتایج بهتری میده مقاله رو بخونید لذت ببرید.

اکانت توییتری elder_plinius پرامپت مروبط به ویژگی artifact های calude 3.5 رو گذاشته
شخصا استفاده‌ای از artifact ندارم و فکر هم نمی‌کنم داشته باشم ولی کلی نکات ریز و قشنگ داخل این پرامپت هست خودش یک crash course هست

حتما ببینید و بخونید.

codestral

اولین مدل معروف و پر‌استفاده‌ای که به سمت mamba رفت؛ مدل ۷ میلیارد پارامتری نتایجی قابل مقایسه با مدل ۲۲ میلیارد پارامتری چند وقت پیش داره.

قطعا تست می‌کنم و این پست آپدیت خواهد داشت.

همزمان یک مدل دیگه هم منتشر شد به اسم mathstral

بالاخره اپل هم وارد بازی شد و مدل LLM داد مهمتر اینکه همه چیز رو تحویل داده باهاش؛ دیتا و مدل و ورزن و کد و ...

Apple DCLM

و فیسبوک هم مدل جدیدی رو منتشر کرد که با 4o مقایسه می‌شه و روی عکس و متن ترین شده. (البته نیاز به تایید و دسترسی داره)

Facebook Chameleon 7B, 30B

از سال ۲۰۱۷ تا امروز که ۷ هزارتایی شدیم.
نه تبلیغاتی داشتیم
نه چیزی فروختیم
نه تبلیغاتی گرفتیم از جایی

و همه‌ی آنچه که آموختیم به رایگان در اختیار همگی قرار گرفت،
پس
بابت 7k شدن از همه‌ی دوستانی که مطالب رو به اشتراک گذاشتند و یا کانال رو به دیگران معرفی کردند سپاسگزارم.

قطعاً همچنان به روند قبل ادامه خواهم داد،
بدون تبلیغات و کاملاً رایگان