تفکر در مورد حل مسائل به روش بازگشتی نیازمند فهمیدن این است که چگونه می‌توان مسئله را به زیرمسائل کوچک‌تر تقسیم کرد و این روند را تا رسیدن به ساده‌ترین حالت ادامه داد. در اینجا چند مرحله و نکته برای فکر کردن به مسائل بازگشتی آورده شده:

1. تعریف پایه (Base Case):
ابتدا باید بفهمید ساده‌ترین حالتی که برای مسئله وجود دارد چیست. این حالت پایه به بازگشت پایان می‌دهد. اگر حالت پایه را به‌درستی تعریف نکنید، ممکن است کد شما به بی‌نهایت تکرار برود. مثلاً، برای مسئله فاکتوریل، حالت پایه n = 0 است، زیرا 0! = 1 است و نیازی به محاسبات بیشتر نیست.

2. تقسیم مسئله (Divide the Problem):
به مسئله به‌عنوان یک ترکیب از زیرمسائل نگاه کنید. ببینید که آیا می‌توانید مسئله بزرگ‌تر را به یک یا چند زیرمسئله کوچک‌تر تبدیل کنید. به عنوان مثال، در فاکتوریل n! = n - (n-1)! نشان می‌دهد که فاکتوریل n به فاکتوریل یک عدد کوچک‌تر، یعنی n-1 ، وابسته است.

3. قانون بازگشتی (Recursive Case):
پس از تعریف پایه، مرحله‌ی بازگشت را مشخص کنید. این بخش همان قسمتی است که مسئله‌ی بزرگ‌تر را به یک نسخه‌ی کوچک‌تر از خودش می‌شکند و سپس از همان تابع برای حل آن استفاده می‌کند. هر بار که تابع فراخوانی می‌شود، یکی از زیرمسائل حل می‌شود.

4. تصویر ذهنی از پشته‌ی فراخوانی (Call Stack):
هنگام کار با بازگشت، به یاد داشته باشید که هر بار که یک تابع بازگشتی فراخوانی می‌شود، وضعیت فعلی تابع در پشته ذخیره می‌شود و سپس پس از اتمام بازگشت‌ها از پشته خارج می‌شود. این کمک می‌کند که وضعیت هر مرحله حفظ شود. به‌عنوان مثال، در مسئله هانوی، هر حرکت بین میله‌ها در پشته ذخیره می‌شود تا در پایان به راه‌حل کلی برسیم.

5. حل با مثال‌های کوچک:
برای درک بهتر، ابتدا مسئله را با نمونه‌های کوچک حل کنید. مثلاً در یک تابع بازگشتی فیبوناچی، ابتدا F(2) ، سپس F(3) و به همین ترتیب تا رسیدن به جواب بزرگ‌تر حل کنید تا الگوی حل بازگشتی مشخص شود.

6. قابلیت یادگیری (Memoization) برای بهینه‌سازی:
گاهی بازگشت به تکرار زیاد منجر می‌شود، مانند محاسبه‌ی فیبوناچی که نیاز به محاسبه چندباره اعداد دارد. در این موارد می‌توانید از تکنیک یادگیری (Memoization) استفاده کنید تا نتایج قبلی را ذخیره کرده و از دوباره‌کاری جلوگیری کنید.

7. محدودیت‌های بازگشت (Limitations of Recursion):
همیشه توجه داشته باشید که بازگشت در مسائل با عمق زیاد، می‌تواند منجر به پر شدن پشته شود و خطای Stack Overflow ایجاد کند. بنابراین در مسائل پیچیده باید دقت کنید که آیا بازگشت مناسب‌ترین روش است یا می‌توان از تکرار استفاده کرد.

در نهایت، با تمرین و تحلیل بیشتر روی مسائل مختلف، درک بهتری از کاربرد بازگشت پیدا می‌کنید و می‌توانید الگوهای بازگشتی را راحت‌تر شناسایی کنید.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

‏Leverage Caching برای محاسبات سریعتر در پایتون

همه میتونن برنامه ای بنویسن که کار کنه، اما کسی که برنامه ی بهینه مینویسه، برنامه نویسه (خودم تراوش کردم 😁)

پایتون قابلیتی به اسم lru_cache داره که برای کش کردن نتیجه توابع با استفاده از الگوریتم Least Recently Used استفاده میشه

چیکار میکنه؟بصورت خودکار نتایج آخرین فراخوانی‌های تابع رو تو حافظه نگه میداره و در صورتی که همون تابع با پارامترهای مشابه دوباره فراخوانی بشه، به جای اجرای مجدد تابع، نتیجه ذخیره شده رو برمیگردونه.
میگن یه خط کد کد بهتر از هزار بار توضیح دادنه :) ⬇️

from functools import lru_cache

@lru_cache(maxsize=5)  # تعداد نتایج ذخیره شده در حافظه محدود به ۵
def factorial(n):
    if n == 0:
        return 1
    return n * factorial(n - 1)

# فراخوانی تابع با پارامترهای مختلف
print(factorial(5))  # 120
print(factorial(6))  # 720
print(factorial(5))  # با وجود اینکه دوباره فراخوانی شده نتیجه از حافظه بازگشت داده میشه

اینجا از دکوراتور lru_cache از تابع factorial استفاده شده. با تنظیم maxsize=5، میگیم که فقط ۵ نتیجه آخر تو حافظه کش بشه. اگه تعداد فراخوانی‌های ذخیره‌شده بیشتر از این عدد باشه نتایج قدیمی‌تر از حافظه پاک شده و جایگزین میشن.

این روش علاوه بر اینکه باعث افزایش سرعت میشه، تو محاسبات سنگین، مصرف منابع رو هم کاهش میده. lru_cache برای مواردی که محاسبات تکراری داریم، مخصوصاً توابع بازگشتی، خیلی مفیده.

@silicon_brain | از هوش مصنوعی عقب نمانید

قطعا به این فکر کردین که آیا میشه مدل های هوش مصنوعی داشته باشیم که در انحصار شرکت خاصی نباشه؟

بله، شرکت Prime Intellect AI بر اساس تمرکززدایی و استفاده از منابع محاسباتی مشترک برای آموزش مدل‌های هوش مصنوعی در مقیاس بزرگ بنا شده.

یعنی شما اگه GPU داری میتونی از طریق این پلتفرم کار پردازشی انجام بدی و پول دربیاری

با این حرکت فضای رقابتی جالبی درست شده و در جهت اینه که توان پردازشی رو از انحصار شرکت های بزرگ و همچنین کلاود هایی که تعرفه های بالایی دارن بگیره و به سمت یوزر های عادی بازار رقابتی و آزاد حرکت بکنه

قطعا متوجه شدین که این حرکت هم به سمت بازار آزاد اقتصادی هست (حال میکنی درک اقتصادیو😁 )و هم فضای داده ی آزاد و بدون انحصار(این یکی کارمه نمیخواد حال کنی)

تو پست بعدی در مورد یکی از پروژه های خفن این پلتفرم میگم


@silicon_brain | از هوش مصنوعی عقب نمانید

در ادامه مطالب پست قبلی بگم که...

این شرکت یه پروژه ای ران کرده به اسم Intellect-1 که در واقع یک مدل هوش مصنوعی با 10 میلیارد پارامتر هستش که به‌صورت غیرمتمرکز توسعه پیدا میکنه.

این مدل بر اساس معماری Llama-3 طراحی شده و هدفش دسترسی همگانی به آموزش مدل‌های بزرگ از طریق شبکه‌ای غیرمتمرکز از منابع محاسباتی هستش.

این پروژه به همه اجازه میده با استفاده از منابع محاسباتی که دارن تو آموزش این مدل مشارکت داشته باشن و در ازای این مشارکت یه مبلغی هم بگیرن (شیطون داری به چی فک میکنی؟ نری با GPU آنبرد بگی میخوام مشارکت کنم😂 )

مدل Intellect-1 با استفاده از تکنیک‌های بهینه‌سازی پیشرفته، مانند فشرده‌سازی داده‌ها و الگوریتم‌های سفارشی برای انتقال سریع داده‌ها، سعی میکنه تو کاهش مصرف پهنای باند و افزایش کارایی سیستم اثرگذار باشه.

تو عکس پست قبلی مشخصه که مدل Intellect-1 داره از طریق کاربرای مختلف سراسر جهان آموزش میبینه. تکنولوژی و حجم کارو در نظر بگیرین خیلی پشم ریزونه

https://app.primeintellect.ai/intelligence

خلاصه که با @silicon_brain از هوش مصنوعی عقب نمیمونی!

هزینه ها و سوددهی بزرگترین کمپانی هوش مصنوعی

گویا OpenAI طبق برنامه قرار تازه سال 2029 سودده بشه. یعنی سرمایه‌گذارای VC باید خیلی صبور باشن.
احتمالا OpenAI در سال‌های آینده زمانی وارد دوره‌ی سود خودش میشه که ایجنت‌ها راه بیفتن و OpenAI بتونه در قالب SaaS ازشون پول بگیره.

این $5 میلیارد ضرری که الان OpenAI داره رو نباید زیاد جدی گرفت. تو فضای سرمایه‌گذاری خطرپذیر، این ترازهای منفی عادیه.

قضیه جالب می‌شه که بدونید هزینه‌ش تا پایان ۲۰۲۶ حدود ۱۴ میلیارد دلار و تا پایان ۲۰۲۹ حدود ۴۴ میلیارد دلار برآورد شده!
هزینه‌ حقوقش خیلی جالبه یکسال ۷۰۰ میلیون دلار حقوق داده!
نکته جالب دیگه‌ش اینه که هزینه‌ی آموزش‌ش از هزینه‌ی run یعنی inference ش یک میلیارد دلار بیشتره! این نشون میده چقدر آموزش پرهزینه‌ است که وقتی اینقدر کاربر داره و اینقدر ازش استفاده میشه(هزینه‌ inference) هنوز به پای هزینه‌ی آموزش نمی‌رسه!

@silicon_brain | از هوش مصنوعی عقب نمانید

سم آلتمن: AGI تا سال 2025 عرضه میشه!

این مصاحبه جدید سم آلتمن خیلی سر و صدا کرده اگه حوصله دیدن ویدئو 45 دقیقه ای رو نداری برات خلاصه کردم:

مدیرعامل OpenAI اخیراً اعلام کرده که دستیابی AGI به زودی امکان پذیر خواهد بود. میدونین که جدیدا OpenAI با مشکلات مالی مواجه بود و تو پست قبلی در موردش صحبت کردیم. ولی نهایتا موفق شده با جذب سرمایه‌ ۶٫۶ میلیارد دلاری از شرکت‌هایی مثل مایکروسافت و انویدیا از این بحران عبور کنه.

میگه تأثیر AGI روی جامعه تو کوتاه‌مدت، به‌اندازه‌ای که بسیاری افراد تصور می‌کنن، چشمگیر نیست. و میگه که تا همین چند سال پیش خیلیا حتی باور نداشتن کامپیوتر بتونه با موفقیت آزمون تورینگ رو پاس کنه؛ اما با گذشت چند سال، این دستاورد تغییرات چشمگیری تو جامعه ایجاد نکرد.

در ادامه میگه فناوری موجود برای دستیابی به ASI (Artificial superintelligence) نیاز به سرمایه گذاری تو سطح جهانی هست(قبلاً تخمین زده بود تحقق هوش مصنوعی قوی به ساخت ۳۶ کارخانه‌ی تراشه‌سازی و چندین دیتاسنتر بزرگ نیاز داره و این کار حدود ۷ تریلیون دلار هزینه داره).
یوتوب

@silicon_brain | از هوش مصنوعی عقب نمانید

نقشه راه Data Science ML Full Stack Roadmap

رودمپ باحالی هستش، واسه اینکه تو 8 ماه دیتاساینتیست بشین به تفکیک هر ماه و با جزئیات رودمپ ارائه کرده و تا حد خوبی تمامی عناوین مورد نیاز رو اورده.
#cheatsheet
@silicon_brain | از هوش مصنوعی عقب نمانید

بعضی وقتا برای خودم یه مسئله تعریف میکنم و بدون هیچ AI و ابزار خاصی کدشو میزنم. قبلنا یکی از بهترین سرگرمی ها و تراپی های برنامه نویسا، هرز کد زدن بود :)

حواسمون باشه با ظهور AI لذت حس فوق العاده برنامه نویسی from scratch رو از دست ندیم. اگه نمیخوای خودت مسئله تعریف کنی هم از Codeforces استفاده کن (کلااااسیک باز باش 😍)

شرکت Nvidia مدل جدید LLaMa-Mesh رو معرفی کرده که با استفاده از LLaMa میتونه مش‌های سه‌بعدی (3D Meshes) رو در قالب پرامپت بفهمه و تولید کنه

روش کارم این شکلیه که: مختصات رأس‌ها و تعاریف وجوه مش‌های سه‌بعدی رو به شکل یه متن معمولی (مثلاً فرمت فایل OBJ) درمیاره. مدل با استفاده از متن و داده های سه بعدی با آموزش ترکیبی، مدل یاد می‌گیره که هم متن تولید کنه و هم آبجکت های سه‌بعدی.
لینک

@silicon_brain | از هوش مصنوعی عقب نمانید ‌‏

مدل Gemini-Exp-1121، عملکرد برتر در coding, reasoning, vision tasks

این نسخه از Gemini تو خیلی از تسک ها به ChatGPT4o رسیده (تو Hard Prompts و Math بهترم هست) و به صورت کلی رنک اول AI Arena رو بدست اورده

این مدل تو پلتفرم AI Arena در رتبه بندی کلی اوله اما باید توجه داشت که تو بنچمارک های دیگه مثل Livebench از GPT-4o و Claude عقب مونده.

اگه میخوای تستش کنی از طریق Google AI Studio یا Gemini API میتونی دسترسی داشته باشی

@silicon_brain | از هوش مصنوعی عقب نمانید

میشه با استفاده از داده‌های باکیفیت از Scaling Laws عبور کرد؟

میخوام کامل در مورد رابطه دیتا و عمکرد مدل طبق آخرین تحقیقات صحبت کنیم. اگه با Scaling Laws آشنا نیستی این پستو بخون.
قوانین مقیاس‌پذیری (Scaling Laws) هوش مصنوعی می‌گن عملکرد مدل‌ها با اندازه دیتاست یه رابطه توان‌دار داره.

Performance ∝ dataset size ^ -a 

این فرمول نشون می‌ده خطای مدل وقتی که دیتای آموزشی بیشتری اضافه می‌کنی چقدر کاهش پیدا می‌کنه. عدد a (ضریب مقیاس) معمولاً حدود ۰.۵ هست.

تحقیقات توی عمل نشون میده که:
اگه یه دیتاست با ۱۰,۰۰۰ نمونه و ۲۰٪ خطا داشته باشی:
- برای رسیدن به ۱۰٪ خطا (نصف)، به ۴۰,۰۰۰ نمونه نیاز داری (۴ برابر).
- برای رسیدن به ۵٪ خطا (یک‌چهارم)، به ۱۶۰,۰۰۰ نمونه نیاز داری (۱۶ برابر).
- برای رسیدن به ۲٪ خطا (یک‌دهم)، به ۱,۰۰۰,۰۰۰ نمونه نیاز داری (۱۰۰ برابر).
این رشد نمایی تو حجم دیتاست برای یه بهبود خطی کوچیک نشون می‌ده چرا ساخت اپلیکیشن‌های AI در حد تولید انبوه این‌قدر چالش‌برانگیزه و چرا فقط شرکت های بزرگ هستن که میتونن به همچین حجم از دیتا و به دنبالش به مدل های خفن دسترسی داشته باشن.

یه حقیقت دیگه: تحقیقات نشون داده تیم‌های AI تقریباً ۸۰٪ از وقتشون رو صرف آماده‌سازی داده‌ها می‌کنن و فقط ۲۰٪ از وقتشون رو برای توسعه مدل و اجرا می‌ذارن. این عدم تعادل وقتی بیشتر می‌شه که حجم دیتا به میلیون‌ها فایل و فرمت‌های مختلف برسه.

یه نگاه جدید:
تحقیقات از مقاله "Beyond Neural Scaling Laws" می‌گه که آماده‌سازی استراتژیک یه دیتاست کوچیک، متنوع و متعادل از یه دیتای خام بزرگ می‌تونه بهبود نمایی ایجاد کنه:

Error ~ e ^ (-b * dataset size)

که b به استراتژی انتخاب داده‌ها بستگی داره.
یعنی چی؟ یه دیتاست ۱۰,۰۰۰ تایی که با دقت انتخاب شده باشه می‌تونه بهتر از یه دیتاست تصادفی ۱۰۰,۰۰۰تایی عمل کنه.

کلید ماجرا اینه که بفهمیم کدوم نمونه‌ها بیشترین اطلاعات رو ارائه می‌دن.
چطور با داده‌های باکیفیت قوانین مقیاس‌پذیری رو تغییر بدیم؟
وقتی داده‌هایی که برای آموزش و تنظیم مدل‌های هوش مصنوعی استفاده می‌شن دقیقاً پالایش بشن (مثل حذف داده‌های تکراری، کاهش نویز، و فیلتر کردن مرتبط با حوزه)، مدل‌ها می‌تونن سیگنال‌های یادگیری قوی‌تری از هر نمونه بگیرن.

این نسبت بهتر سیگنال به نویز باعث می‌شه منحنی یادگیری سریع‌تر رشد کنه و عملکرد مدل در نهایت بهتر بشه، در واقع کل منحنی مقیاس‌پذیری رو به بالا می‌بره.

تحقیقات نشون داده با دیتاست‌های باکیفیت، می‌شه با فقط ۲۰-۳۰٪ از حجم دیتای خام، همون نتایج رو گرفت. این "اثر ضریب کیفیت" باعث کاهش تداخل بین نمونه‌های داده هم می‌شه و مدل‌ها رو در ساختن بازنمایی‌های کلی‌تر قوی‌تر می‌کنه.

@silicon_brain | از هوش مصنوعی عقب نمانید

در حالی که کامیونیتی AI تلاش می‌کنه پردازش و ساخت مدل ها رو با رویکرد decentralized پیش ببره، تو ایران برعکسه و طرح‌هایی برای متمرکز کردن منابع سخت افزاری AI میدن. به نظر من برای جامعه ایران! رویکرد متمرکز مناسب نیست ولی بهتره مزایا و معایب هر کدومو بگیم:

مزایا متمرکز کردن منابع سخت افزاری AI :
- کنترل مرکزی
- مقیاس‌پذیری بهتر
- تمرکز دانش فنی و تخصصی

معایب:
- ریسک‌های متمرکز بودن
- هزینه‌های ابتدایی بالا
- محدودیت‌های جغرافیایی
- امنیت و حریم خصوصی
- انعطاف‌پذیری کمتر

اینم مطلبو هم بخون
@silicon_brain | از هوش مصنوعی عقب نمانید

علی‌بابا یه مدل متن‌باز جدید به اسم QwQ-32B-Preview معرفی کرده که می‌تونه مرحله‌به‌مرحله فکر کنه و تو کارای ریاضی و برنامه‌نویسی خیلی قویه.

این مدل رو تیم Qwen ساخته و با مدل‌های سری o1 از OpenAI رقابت می‌کنه. یه پنجره متنی 32 هزار کاراکتری داره که از مدل o1-mini جلوتره و تو معیارهای مختلف شونه‌به‌شونه o1-preview حرکت می‌کنه. تمرکز اصلیش اینه که مسائل پیچیده ریاضی و برنامه‌نویسی رو با یه روش استدلال عمیق حل کنه.

نوآوری اصلیش اینه که موقع حل مسائل، جواب‌هاش رو بازبینی می‌کنه و اگه لازم باشه، اصلاحشون می‌کنه. همین قابلیت باعث شده تو معیارهای ریاضی و برنامه‌نویسی از خیلی مدل‌های دیگه بهتر باشه. البته هنوز باید تو زمینه‌هایی مثل درک زبان پیچیده و منطق عمومی بهتر بشه.

مشکلش چیه؟
گاهی تو حلقه‌های استدلالی گیر می‌کنه (recursive reasoning loops)، بعضی وقتا زبان‌ها رو قاطی می‌کنه (language mixing)، و تو منطق عمومی (common sense reasoning)هم همیشه خوب نیست. اینا باعث میشه تو بعضی کارا زیاد دقیق نباشه، ولی تو مسائل فنی پیشرفته عالیه.

هاگینگ فیس
@silicon_brain |از هوش مصنوعی عقب نمانید

تو پست قبلی به Recursive Reasoning Loops اشاره شد. میخوام یکم بیشتر در موردش بگم.
احتمالا میدونین که تو برنامه نویسی مفهومی مثل Recursive Loop داریم، وقتی که برنامه رو بدون گذاشتن شرط توقف به امون خدا ولی کنی. مثال خیلی ساده اش محاسبه فاکتوریل هستش مثل این:

def factorial(n):
    return n * factorial(n - 1)  # بدون شرط توقف
factorial(5)

این تابع هیچ‌وقت متوقف نمیشه و در نهایت، به خطای RecursionError: maximum recursion depth exceeded میرسه. برای هندل کردنش باید شرط اضافه شه بهش:

def factorial(n):
    if n == 0:  # شرط توقف
        return 1
    return n * factorial(n - 1)

اما حلقه استدلالی (Recursive Reasoning Loop) که در بحث مدل‌های زبانی و هوش مصنوعی مطرحه کمی متفاوته و بیشتر به فرآیند استدلال و تحلیل مربوطه نه صرفاً اجرای کد یا حل معادلات.

مثال:
"آیا 23 عدد اول است؟"
مدل:
"برای بررسی اول بودن، باید بررسی کنیم که آیا عدد 23 بر هیچ عددی به جز 1 و خودش بخش‌پذیر نیست."
شروع به تحلیل میکنه:
"آیا 23 بر 2 بخش‌پذیر است؟ خیر."
"آیا 23 بر 3 بخش‌پذیر است؟ خیر."
اگه مدل فراموش کنه که چه مقادیری رو بررسی کرده یا دوباره بررسی‌های قبلی رو بدون پیشرفت واقعی انجام بده ممکنه اینجوری شه:
"آیا 23 بر 2 بخش‌پذیر است؟ خیر."
"آیا 23 بر 3 بخش‌پذیر است؟ خیر."

یه مثال ساده از زندگی واقعی:
فرض کن میخوای تصمیم بگیری مهمونی میخوای بری یا نه؟
میگی: "اگر دوستم برود، من هم می‌روم."
بعد فکر میکنی:
"آیا دوستم می‌رود؟" احتمالاً اونم همین فکرو میکنه
اگر من بروم، او هم می‌رود!"
این فرآیند میتونه به‌طور بی‌پایان ادامه پیدا کنه، چون هر دو طرف تصمیم خودشونو به تصمیم طرف مقابل وابسته کردن.
@silicon_brain |از هوش مصنوعی عقب نمانید

به نظرم ریلیز جدید Qwen اتفاق بزرگیه. این مدل تونست مقام اول LLM های اوپن سورس که قبل از این متعلق Llama بودو بدست بیاره و حتی با سری o1 رقابت کنه
از این نظر اسم Qwen رو قراره زیاد بشنویم و استفاده کنیم.
گیتهابشم ببین

تصویر بالا، درخت تکامل مدل‌های زبانی بزرگ (LLM) رو از سال ۲۰۱۸ تا ۲۰۲۴ نشون میده.

نمودار سه شاخه اصلی داره:
- شاخه قرمز شامل مدل‌های Encoder-only مثل BERT هست.
- شاخه سبز شامل مدل‌های Encoder-Decoder مثل T5 هست.
- شاخه آبی شامل مدل‌های Decoder-only مثل GPT هست.

توی هر شاخه، برگ‌ها مسیر پیشرفت مدل‌ها رو نشون میدن. مثلا، در شاخه آبی، شروع‌کننده تقریبا GPT-2 بوده و جدیدترین‌ هم Llama 3.2 هست.

@silicon_brain |از هوش مصنوعی عقب نمانید