حالا که این روزا بحث برندگان جایزه #نوبل داغه بدونیم که ‏طبق تحقیقات، تقریبا تمام برندگان جایزه‌ی نوبل، پدرانِ ثروتمندی داشتن!

به طوری که ۹ نفر از ۱۰ نفر، برنده‌ی جایزه‌ی نوبل، تو سه دهک پولدار جامعه متولد شدن.

@silicon_brain | از هوش مصنوعی عقب نمانید

هرکسی ازتون پرسید مشتق و انتگرال کجا بدرد میخوره این ویدیو رو نشونش بدید

هنر مهندسی یعنی یه جسم ۳۵۰۰ تنی رو با سرعت ۶ هزار کیلومتر به سمت زمین برگردونی و اینجوری بگیری بغلت. زنده باد علم...

@silicon_brain | از هوش مصنوعی عقب نمانید

الگوریتم Kruskal برای یافتن درخت پوشای کمینه (Minimum Spanning Tree - MST)

الگوریتم Kruskal یکی از معروف‌ترین روش‌ها برای یافتن درخت پوشای کمینه در یک گراف وزن‌دار است. درخت پوشای کمینه یک زیرمجموعه از یال‌های گراف است که تمام رأس‌ها را به هم متصل کرده و مجموع وزن یال‌ها را به کمترین مقدار می‌رساند. این الگوریتم از نوع حریصانه (Greedy) است، یعنی در هر مرحله بهترین انتخاب ممکن را انجام می‌دهد تا به نتیجه بهینه برسد.



🌟 گام‌های الگوریتم Kruskal:

1. مرتب‌سازی یال‌ها: ابتدا تمام یال‌های گراف را به ترتیب وزن از کم به زیاد مرتب می‌کنیم.

2. ایجاد مجموعه‌های ناپیوسته: برای هر رأس یک مجموعه مجزا تشکیل می‌دهیم (در ابتدا هر رأس به تنهایی یک مجموعه است).

3. اضافه کردن یال‌ها به MST:
- یال‌ها را یکی یکی از کمترین وزن به بزرگترین بررسی می‌کنیم.
- اگر اضافه کردن یک یال باعث ایجاد حلقه نشود، آن را به درخت پوشا اضافه می‌کنیم.
- اگر یال باعث ایجاد حلقه شود، آن را نادیده می‌گیریم.

4. اتمام الگوریتم: این روند تا زمانی ادامه دارد که تمام رأس‌ها به هم متصل شده و یک درخت پوشای کمینه ساخته شود.



⏱️ پیچیدگی زمانی الگوریتم:

الگوریتم Kruskal شامل دو بخش اصلی است:

1. مرتب‌سازی یال‌ها: با استفاده از الگوریتم‌های مرتب‌سازی سریع مانند Merge Sort یا Quick Sort، پیچیدگی زمانی این مرحله O(Elog E) است که E تعداد یال‌های گراف است.

2. جستجوی مجموعه‌ها و ترکیب آن‌ها: برای مدیریت مجموعه‌ها از ساختار داده‌ای Union-Find استفاده می‌شود که با بهینه‌سازی‌هایی مانند فشرده‌سازی مسیر (Path Compression) و اتحاد بر اساس رتبه (Union by Rank)، پیچیدگی زمانی این عملیات‌ها به O(α(V)) کاهش می‌یابد.

به طور کلی، پیچیدگی زمانی الگوریتم برابر است با:


O(E log E + E α(V))


که در آن E تعداد یال‌ها و V تعداد رأس‌های گراف است. از آنجایی که E log E سریع‌تر از E α(V) رشد می‌کند، پیچیدگی زمانی کلی O(E log E) است.



📊 ویژگی‌ها و کاربردها:

- نوع الگوریتم: حریصانه (Greedy)
- کاربردها:
- ساخت درخت پوشای کمینه در شبکه‌های ارتباطی.
- کاهش هزینه‌های طراحی شبکه.
- حل مسائل بهینه‌سازی گراف‌ها.

- محدودیت‌ها:
- مناسب برای گراف‌های پراکنده (Sparse). برای گراف‌های متراکم (Dense)، الگوریتم‌های دیگر مانند Prim ممکن است عملکرد بهتری داشته باشند.



✨ با پیروی از این مراحل و فهمیدن پیچیدگی‌ها، الگوریتم Kruskal به یکی از بهترین انتخاب‌ها برای ساخت درخت پوشای کمینه تبدیل می‌شود.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

بهبود عملکرد LLM با تولید افکار داخل LLM!

احتمالا یادتونه که تو این پست در مورد نحوه کار OpenAI o1 که با زنجیره ای از افکار عمل میکنه، صحبت شد و گفتیم احتمالا خیلی از تحقیقات حوزه ی #LLM به سمت #chain_of_thought بره

حالا این مقاله با عنوان:
Thinking LLMs: General Instruction Following with Thought Generation

اومده با یک رویکرد جالب به دو نتیجه خوب یعنی حذف نظارت انسانی و بهتر شدن عملکرد LLM رسیده. چجوری؟
همونطور که تو شکل مشخصه با استفاده از روشی که اسمشو گذاشتن (TPO) Thought Preference Optimization، مدل قبل از پاسخ دادن، یک سری افکار داخلی بدون داده های انسانی تولید میکنه و این افکار بر اساس کیفیت پاسخ که با یه مدل جداگانه قضاوت میشن و با استفاده از #RL سعی میکنه پاسخ ها را بهتر و بهینه تر بکنه.

نتیجه کار هم بر اساس بنچمارک #AlpacaEval بهبود خوبی داشته (52.5٪ در مقابل 48.4٪).

روش کار خیلی ساده و باحاله. نگو که قبلا به فکر تو رسیده بود :)
مقاله|مدیوم

@silicon_brain | از هوش مصنوعی عقب نمانید

پایتورچ 2.5 اومد!

این نسخه از #PyTorch بهینه سازی های مهمی داشته:

- پشتیبانی از مکانیزم‌های سریع‌تر برای مدل‌های زبانی بزرگ
- بهینه‌سازی عملکرد پردازنده‌ها
- اضافه شدن قابلیت FP16 برای پردازنده‌های اینتل
- استفاده از #CuDNN برای #GPU های جدید

لینک
@silicon_brain | از هوش مصنوعی عقب نمانید

قابلیت پشم ریزون Claude 3.5، تعامل مستقیم با کامپیوتر!

مجموعه خفن #Anthropic اومدن دو مدل جدید
#Claude 3.5 Sonnet
#Claude 3.5 Haiku
معرفی کرده. که عمکلرد و بهبود این مدل ها تو زمینه های مختلفو تو تصویر میبینین.

اما فیچر به اصطلاح Game Changer ای که تو مدل Claude 3.5 Sonnet ارائه دادن اینه که با استفاده از پرامپتی که کاربر وارد میکنه این مدل میتونه با اسکرین شات صفحه رو داشته باشه و با حرکت دادن ماوس یا کلیک کردن و تایپ متن، کارهای روزمره شما رو انجام بده

این ویدیو رو ببین تا متوجه شی:
یوتوب
اگه وقت کردی اینم ببین:
یوتوب

اگه میخوای روی سیسیتم خودت بیاری بالا با استفاده از این ریپو گیتهاب میتونی به صورت لوکال سرو کنی

البته فعلا این فیچر نهایی نیست و تو مرحله نسخه بتا و بصورت عمومی ارائه شده.

لینک بلاگ

@silicon_brain | از هوش مصنوعی عقب نمانید

آمار میگه بیشترین حس خوشبختی رو شغلی که ازش لذت میبری میتونه برات برآورده کنه!

به نظرم Geek بودن تو ماشین لرنینگ خیلی لذت بخشه چون همزمان درگیر برنامه نویسی، مهندسی نرم افزار، الگوریتم ها، ریاضی، تحقیقات، مسائل مشاغل و صنایع مختلف و ... هستی و هیچوقت یکنواخت نمیشه! (مگه اینکه روزی برسه که کاری برای انجام دادن تو زمینه ماشین لرنینگ نباشه!)

@silionc_brain | از هوش مصنوعی عقب نمانید

دیپلوی مدل speech-to-speech در هاگینگ فیس برای استفاده در پروداکشن

هاگینگ فیس اومده تو این بلاگ مرحله به مرحله مدل و سرویس های مورد استفاده برای دیپلوی یک سرویس speech-to-speech رو شرح داده.

سرویس speech-to-speech هاگینگ فیس، پایپلاینی از این تسک هاست:
Voice Activity Detection (VAD)
Speech to Text (STT)
Language Model (LM)
Text to Speech (TTS)

که به صورت Real-Time با کاربر تعامل میکنه. مراحل دیپلوی کردنشم اینجوریه:
- Clone the Hugging Face inference toolkit
- Add S2S codebase as submodules
- Modify Dockerfile for dependency management
- Build and push custom Docker image
- Configure Inference Endpoint with L4 GPU
-Set up websocket handlers for audio streaming
-Implement audio recording and playback client

@silicon_brain | از هوش مصنوعی عقب نمانید

آیا واقعا میشه LLM هارو روی گوشی بالا اورد؟

امیدوارم نگی که من همین الانشم با گوشی از ChatGPT استفاده میکنم که دلم میشکنه 😕

در واقع اینجا منظور ما استفاده از
On-Device Use Cases
هست که محاسبات و پردازش داده‌ها به‌صورت مستقیم رو خود دستگاه انجام میشه. و نیازی به استفاده از سرویس ابری نیست.

آیا مدل Llama-7B رو میشه روی گوشی استفاده کرد؟ گوشی های امروزی میانگین 8 گیگ رم (DRAM) دارن، این یعنی یک مدل با 7 میلیارد وزن رو میشه تو 7 گیگ رم ذخیره کرد. الان شاید بگی چقدر عالی 1 گیگ رم هم اضافه داریم 😂

ولی نه از اونجایی سیستم عامل و خیلی از اپلیکیشن های دیگه باید رو رم اجرا بشن پس این چالش انگیزه‌ای هست که مدل‌های LLM کوچکتر (پارامترهای کمتر) ساخته بشه و میزان پارامتر ها خیلی کمتر بشه طبق استاندارد ها یک اَپ موبایل نباید بیشتر از 10% DRAM رو اشغال کنه

چند روز پیش تو این پست مدل سبک جدید Llama3.2 رو معرفی کردیم. که با دو وزن 1 و 3 میلیارد پارامتری ارائه شده.

اگه بخواییم مدل Llama3.2 با 1 میلیارد پارامتر رو رو گوشی سرو کنیم منطقی تر هست اما باز 1 میلیارد عدد قابل توجهی هست و برای همین تو این مقاله با عنوان:

MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases

لینک مقاله | هاگینگ فیس
اومدن تعداد پارامترها رو کمتر هم کردن و یک مدل اصطلاحا Small Language Model درست کردن که مفهومی به اسم Sub-billion Parameter Language Models داره یعنی این مدل به بزرگی مدل‌های LLM بیلیونری مانند Llama و GPT-4 و غیره نیست و 125 و 350 میلیون پارامتر داره

در ادامه باید بدونید از چالش های ساختن یک مدل LLM خیلی سبک وزن، به رم محدود نمیشه و میزان مصرف باتری، سرعت Generate مدل و معماری استفاده در مدل هم تاثیر زیادی دارن که میتونه موضوع تحقیقات شما باشه (به زودی در مورد اینا هم مینویسم)

@silicon_brain | از هوش مصنوعی عقب نمانید

ادغام گوگل جمنای با موتور سرچ گوگل به صورت Real-Time! کاهش نرخ هذیان گویی مدل

گوگل ویژگی Grounding with Google Search را در مدل‌های Gemini 1.5 به کار گرفته که از داده‌ زنده‌ی جستجوی گوگل برای پاسخ‌های دقیق‌تر استفاده میکنه

این موضوع پیشرفت های مهمی داره چون نرخ‌های هذیان گویی hallucination رو با تأمین اطلاعات تأیید‌شده و Real-Time کاهش میده

(به hallucination توهم هم میگن ولی یکی بود بذله گویی ترجمش میکرد😂)


چطوری جلو هذیان گویی رو میگیره ؟ با سیستم dynamic retrieval هر درخواستو از نظر مناسب بودن برای اتصال به موتور جستجو ارزیابی میکنه و یه امتیاز بین ۰ تا ۱ بهش میده.

مثلا درخواست‌هایی که حساس به زمان هستن امتیاز بالاتری میگیرن (مثلاً ۰.۹۷)، ولی درخواست‌هایی که خلاقیت سمت LLM میطلبن نمره پایین‌تری دارن (مثلاً ۰.۱۳).

نکته جالبی که داره اینه که این امتیاز رو میتونی به عنوان threshold کاستوم و تعیینش کنی که چقدر حساسیت به خرج بده (پیش فرض 0.3 هست)
آپشن Grounding داخل پنل Gemini با قیمت ۳۵ دلار برای هر ۱۰۰۰ پرسش فعال شده در دسترسه

@silicon_brain | از هوش مصنوعی عقب نمانید