مدل های یادگیری CatBoost, LightGBM و XGBoost کارا، به شرط تنظیم درست هایپرپارامتر

هیچکدوم از این سه مدل در سایکیت‌لرن وجود ندارن و هرکدوم بصورت جدا با pip نصب میشن. ولی اینترفیسشون مثل #scikitlearn هست و همان fit و predict را دارن . تو این مدل‌ها باید هایپرپارمترها رو دقیق تنظیم کنی وگرنه قدرت واقعیشون رو نمیبینی
حالا چطوری تنظیم کنی؟

1- باید تئوری این مدل‌ها رو بدونی. تئوری اینها وابسته به دو بحث مدل‌های درخت تصمیم (#Decision_Tree) و #بوستینگ (#Boosting) هست. اگه اینارو بدونی قطعا درک بهتری نسبت به هایپرپارامترها خواهی داشت.

2-برای تنظیم هایپرپارامترها از لایبرری‌های جانبی مثل #Optuna میشه استفاده کرد. با این لایبرری میشه یک Grid Search بسازیم تا هایپرپارامترهای مناسب را پیدا کنیم.

برای نمونه:

import lightgbm as lgb
import optuna
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# Load dataset
X, y = load_iris(return_X_y=True)
X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size=0.2, random_state=42)

# Define objective function
def objective(trial):
    params = {
        'objective': 'multiclass',
        'num_class': 3,
        'metric': 'multi_logloss',
        'verbosity': -1,
        'boosting_type': 'gbdt',
        'learning_rate': trial.suggest_float('learning_rate', 0.001, 0.1),
        'max_depth': trial.suggest_int('max_depth', 2, 10),
        'num_leaves': trial.suggest_int('num_leaves', 2, 100),
    }
    
    model = lgb.LGBMClassifier(**params)
    model.fit(X_train, y_train)
    preds = model.predict_proba(X_valid)
    log_loss = lgb.log_loss(y_valid, preds)
    
    return log_loss

# Run optimization
study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=100)

# Get best hyperparameters
best_params = study.best_params
print("Best hyperparameters:", best_params)

در کد بالا، سه هایپرپارامتر learning_rate max_depth num_leaves را به Optuna دادیم تا از بازه تعریف شده یک عدد انتخاب کنه و میزان خطای مدلو حساب کنه. در واقع دنبال حالتی هستیم که کم‌ترین خطای ممکن حاصل بشه. 100 بار انتخاب هایپرپارامترها به‌صورت رندوم انجام میشه و نهایتا بهترین هایپرپارامتر براساس کم‌ترین خطا گزارش میشه.

#CatBoost #LightGBM #XGBoost

@silicon_brain | از هوش مصنوعی عقب نمانید

مدل YOLOv9 اومد که کارو دربیاره

مدل جدید #Yolo بهتر از هر مدلی #کانولوشن و #ترنسفورمر برای تسک #object_detection عمل میکنه

مقاله | گیتهاب

@silicon_brain | از هوش مصنوعی عقب نمانید

رقابت اصولی و جذاب Nvidia با Intel

این ویدئو رقابت #nvidia با #intel رو از سال 2014 تا 2024 نشون میده. همانطور که مشخصه موفقیت انویدیا یک موفقیت یک شبه و اتفاقی نبوده!
سرمایه گذاری به موقع این شرکت روی هوش مصنوعی بهشون اجازه داد تا در درازمدت بتونن با اقتدار برنده بشن. این موضوع نشون میده که این شرکت پیش بینی دقیقی از مارکت و روند پیشرفت هوش مصنوعی داشته.

برای مثال زمانی که شرکت های مطرح نیاز به #GPU خفن برای آموزش مدل های pre-trained و #LLM هاشون داشتن، انودیا کاملا آماده بود که منابع سخت افزاری رو تامین کنه. حتی در موارد پیش بینی نشده مثل شیوع پاندمی، این شرکت تقاضا سخت افزاری رو که به دلیل کار ریموت افزایش پیدا کرده بودو برطرف کرد و این یه جامپ بزرگ برای این شرکت بود.

@silicon_brain | از هوش مصنوعی عقب نمانید

فریمورک Voodoo

اکثر دوستان با سه فریم‌ورک اصلی یادگیری عمیق یعنی #TensorFlow و #PyTorch و #JAX آشنا هستن، اما #voodoo یک فریم‌ورک نسبتا جدید‌ه که به زبان #Mojo (زبان برنامه‌نویسی جدید برای AI که مزایای C و Python را ترکیب کرده) نوشته شده‌ست.


این فریمورک اجازه میده تا رابط‌های کاربری رو با سرعت بالا و بهینه‌سازی شده برای AI مدنظرتون بسازید و با طیف وسیعی از کتابخانه‌ها و ابزارهای دیگر Mojo سازگاره


نویسنده‌ی #Keras اعلام کرده که در حال بررسی این فریم‌ورک برای افزودن به لیست بک‌اند‌های قابل پشتیبانی در Keras 3 هستن.

گیتهاب | پای‌پای

@silicon_brain | از هوش مصنوعی عقب نمانید

مدل‌های زبانی بزرگ (#LLM ها) معمولا برروی حجم زیادی از داده‌های موجود در وب آموزش دیدن و این داده‌ها ممکنه جهت‌دار و بی‌کیفیت باشن برای رفع این مشکل، معمولا بعد از آموزش مدل زبانی، مدل آموزش‌دیده‌شده در دسترس تعدادی انسان قرار گرفته و خروجی ارزیابی میشه. بعدش با استفاده از بازخورد جمع‌آوری‌شده در این ارزیابی (Human Feedback) و به‌کارگیری روش‌های #یادگیری_تقویتی یک مدل پاداش (Reward Model) برای
ارزیابی خروجی مدل آموزش داده می‌شود.

آموزش دادن مدل پاداش، به نوعی Finetune کردن مدل اصلی محسوب میشه. به این نوع Finetune کردن، روش #RLHF گفته میشه.

برای فاین‌تیون کردن مدل‌های زبانی به روش RLHF به‌طور معمول از الگوریتم Proximal Policy Optimization یا #PPO استفاده میشه که خیلی قدرت‌مند‌تر از الگوریتم‌های پایه‌ی یادگیری تقویتی مثل #REINFORCE هستش.

مقاله‌ی زیر نشون میده که با توجه به توانایی بالای پالیسی اولیه و شرط‌گذاری پرامپت‌ها، نیاز به استفاده از الگوریتم PPO برای فاین‌تیون‌کردن مد‌ل‌های زبانی نیست و الگوریتم‌های ساده‌تر و سریع‌تر مثل REINFORCE تو این زمینه کاراتر‌ه.

مقاله

جالب اینه که #گوگل (دیپ‌مایند) هم در مدل زبانی جدید خود (#Gemma) از الگوریتم REINFORCE به‌جای PPO استفاده کرده.

@silicon_brain | از هوش مصنوعی عقب نمانید

در مورد عنوان شغلی AI Product Manager چی میدونی؟

با توجه به اینکه تمامی بیزینس ها و پروداکتا به سمت AI میرن (و مجبور هم هستن که برن :)) یکی میخواد این محصولاتو سمت بیزینس مدیریت کنه و در عین حال دانش فنی تکنولوژی این محصولاتو داشته باشه
مدیریت محصولات هوش مصنوعی (#AI_Product_Management) یک حوزه متمایز تو مدیریت محصولاته که روی توسعه و مدیریت محصولاتی تمرکز داره که از هوش مصنوعی و یادگیری ماشین استفاده میکنن.
حالا کسایی که میخوان تو این زمینه فعال باشن باید دانش زیادی تو زمینه هوش مصنوعی و متدهاش داشته باشن تا بتونن پروداکتایی که تکنولوژی های مثل #یادگیری_عمیق، الگوریتم‌های #یادگیری_تقویتی و دیگر تکنیک‌های روز هوش مصنوعی رو شامل میشن، مدیریت کنن.

سمت مدیریت محصول باید چی بدونن؟
شناسایی فرصت‌های بازار: به دنبال فرصت‌هایی برای استفاده از هوش مصنوعی برای حل مشکلات یا بهبود تجربه مشتریان در یک بازار خاص باشند.
تعریف نیازهای محصول: نیازهای کاربران و الزامات فنی محصول را بر اساس تحقیقات بازار و داده‌ها مشخص کنند.
ایجاد استراتژی محصول: یک استراتژی بلندمدت برای محصول ایجاد کنند که شامل چشم‌انداز، اهداف و نقشه راه محصول باشد.
مدیریت توسعه محصول: فرآیند توسعه محصول را از ایده اولیه تا عرضه به بازار مدیریت کنند.
بازاریابی و فروش محصول: به تیم‌های بازاریابی و فروش در معرفی و فروش محصول به مشتریان کمک کنند.

اگه بخواییم برای چالش های روز این فیلد یه مثال بزنیم میشه به امنیت و #حریم_خصوصی محصولات این زمینه اشاره کرد. مدیران محصولات هوش مصنوعی باید نگرانی‌های مربوط به امنیت و حریم خصوصی را در نظر بگیرن و از روش‌ها و استانداردهای مناسب برای مدیریت این موارد استفاده کنن این موضوع میتونه برای شروع چالش خوبی برای افرادی که علاقه دارن وارد این فیلد بشن، باشه
#pm
@silicon_brain | از هوش مصنوعی عقب نمانید

اجرای LLM ها به روی دسکتاپ

پلتفرم lmstudio.ai یه ابزار رایگانه که اجازه میده تا مدل‌های بزرگ زبانی (#LLM) رو روی دسکتاپتون اجرا کنید. آپشنایی که این پلتفرم ارائه میده خیلی کاربردیه:
🤖 - اجرای آفلاین LLM ها رو کامپیوتر لوکال
👾 - اتصال به سرور #openai و استفاده کردن از مدل هاش
📂 - اتصال به مدل های #HuggingFace 🤗
🔭 - اطلاع از مدل های LLM جدید

سخت افزار مورد نیازشم به این صورته:
16GB+ of RAM is recommended.
For PCs, 6GB+ of VRAM is recommended
NVIDIA/AMD GPUs supported

لینک

@silicon_brain | از هوش مصنوعی عقب نمانید

مدل‌ زبانی بزرگ فاین تیوین شده برای زبان فارسی

این مقاله در مورد #LLM فارسی به نام #PersianLLaMA هستش. این مدل روی مجموعه ای از متن‌ها و دیتاست‌های فارسی آموزش داده شده و با دو نسخه با 7 و 13 میلیارد پارامتر ارائه شده است که بر روی متون رسمی و محاوره ای فارسی با دو رویکرد متفاوت آموزش داده شده.
PersianLLaMA: Towards Building First Persian Large Language Model

لینک‌ مقاله

@silicon_brain | از هوش مصنوعی عقب نمانید

یه #کتاب خوب برای مبحث #embedding
#nlp

@silicon_brain | از هوش مصنوعی عقب نمانید

با آرزوی بهترین‌ها برای اعضای کانال در سال جدید و با تشکر از همراهی شما.
🌸🍀 حالتون سبز و بهاری و سالتون خجسته باشه

و باز هم NVIDIA و معرفی تراشه جدید

پلتفرم NVIDIA Blackwell یه پلتفرم پردازشی جدید و با کارایی بالاست که توسط #NVIDIA معرفی شد. (بخاطر قدرت پردزشی بالا، این پلتفرم به عنوان "جاه‌طلبانه‌ترین پروژه در سیلیکون‌ولی" توسط تحلیلگران شناخته شده).

عملکرد بی‌نظیر: معماری GPU Blackwell از 6 فناوری پیشرفته برای افزایش کارایی در پردازش داده

پشتیبانی از هوش مصنوعی نسل جدید: Blackwell برای پشتیبانی از #LLM با تعداد پارامترهای بسیار زیاد طراحی شده.

مصرف انرژی کم: Blackwell میتونه وظایف پردازش هوش مصنوعی را به صورت Real-Time روی مدل‌های LLM بزرگ با 25 درصد مصرف انرژی کمتر از نسل های قبلی اجرا کنه.

به طور خلاصه، NVIDIA Blackwell Platform گامی بزرگ و نقطه عطفی برای هوش مصنوعی هستش.
لینک
@silicon_brain | از هوش مصنوعی عقب نمانید

ربات خلاصه کننده صوتی یوتیوب تلگرام

یه ربات تلگرامی که می‌تونه صدا رو از ویدیوهای مختلفی که تو #YouTube هستش، دانلود کنه و با استفاده از موتور GPT-3 OpenAI محتوا رو خلاصه بکنه.
یه ابزار مفید برای استخراج سریع اطلاعات از محتوای YouTube هستش که میتونین برای تسک‌ها و کاربرد‌های مختلف ازش استفاده کنین.
گیتهاب

@silicon_brain | از هوش مصنوعی عقب نمانید

پدیده گروکینک چیست؟

گاهاً مدل‌های هوش مصنوعی از خود رفتارهایی نشون میدن که خیلی عجیبه. دو سال پیش، (Yuri Burda) و (Harri Edwards)،محققان شرکت #openai میخواستن بفهمن برای دستیابی به یک مدل بزرگ زبانی جهت انجام محاسبات پایه چه چیزای لازمه. در واقع می‌خواستن ببیننکه آیا این مدل می‌تونه محاسبات اولیه رو انجام بده یا نه.
اولش ،مدل‌ها، اعدادی رو که می‌دیدن حفظ می‌کردن، اما نمی‌تونستن موارد جدیدو حل کنن.

بوردا و ادواردز برای این آزمایش‌ها، زمان خیلی طولانی‌تری صرف کردن، روز‌ها به جای ساعت‌ها و بار‌ها محاسبات نمونه رو به مدل‌ نشون دادن تا زمانی که از موفقیت‌آمیز بودن آزمایش مطمئن شدن. اونا یک مدل بزرگ زبانی آموزش داده بودن تا دو عدد رو جمع کنه که خیلی بیشتر از اون چیزی که فکرش رو می‌کردن زمان برده بود.

این دو محقق و همکارانشان در مورد پدیده‌ای جالب تحقیق کردند. اونل متوجه شدن که بعضی اوقات، مدل‌ها یک کار را اصلاً یاد نمی‌گیرن و بعد از مدتی ناگهان در یک لحظه شروع به یادگیری می‌کنن و اسم ین پدیده را «گروکینگ» (#Grokking) گذاشتن.

@silicon_brain | از هوش مصنوعی عقب نمانید

مدل TacticAI برای تحلیل و پیش‌بینی ضربات کرنر

این مدل توسط باشگاه لیورپول توسعه یافته، یه دستیار هوش مصنوعی برای ارائه تحلیل به کارشناسان #فوتبال در مورد ضربات کرنر هستش

تو شکل نحوه عملکرد این مدل تا حدودی به نمایش در اومده:

(شکل A) چگونگی تبدیل موقعیت‌های ضربه کرنر به #گراف ؟ هر بازیکن به عنوان یک گره  گراف در نظر گرفته میشه و  یک شبکه عصبی گراف روی این گراف عمل می‌کنه و نمایش هر گره رو با استفاده از ارسال پیام به روز می‌کنه.

(شکل B) چگونه TacticAI یک ضربه کرنر رو پردازش می کند؟ هر چهار ترکیب ممکن از بازتاب ها در گوشه اعمال میشن و به مدل اصلی TacticAI تغذیه میشه.  و این موضوع برای محاسبه شانس های بازیکن نهایی که می تونه برای پیش بینی نتایج استفاده شود، کاربرد داره.

@silicon_brain | از هوش مصنوعی عقب نمانید

نظر #Andrew_NG در مورد آینده LLM ها:

معتقدم امسال این 4 زمینه در دارتباط با #LLM پیشرفت قابل‌توجهی خواهند داشت:
#Reflection,
Tool use, Planning , Multi-agent collaboration
در روش Reflection به جای اینکه یک LLM خروجی نهایی خود را مستقیماً تولید کند، چندین بار از LLM درخواست می کند و به آن فرصت می دهد تا گام به گام خروجی با کیفیت بالاتر ایجاد کند. دیده ام که این روش منجر به افزایش کارایی مدل میشود.

گاهی اوقات این روش باعث می شود که LLM مشکلات را تشخیص دهد و پیشنهادهای سازنده ارائه دهد. این فرآیند خود انعکاس به LLM اجازه می دهد تا شکاف ها را شناسایی کند و خروجی خود را در کارهای مختلف از جمله تولید کد، نوشتن متن و پاسخ به سؤالات بهبود بخشد.
لینک
@silicon_brain | از هوش مصنوعی عقب نمانید

نیازمندی های عناوین شغلی مهندس یادگیری ماشین و دانشمند داده نسبت به گذشته تغییر کرده. ما تو این پست اینستاگرام نکاتی رو بیان کردیم که شانس شما برای پیدا کردن موقعیت شغلی رو افزایش میده:

https://www.instagram.com/p/C5V969QCEgG/?igsh=MTNjb2pjczJmZzRibw==