آمار میگه بیشترین حس خوشبختی رو شغلی که ازش لذت میبری میتونه برات برآورده کنه!

به نظرم Geek بودن تو ماشین لرنینگ خیلی لذت بخشه چون همزمان درگیر برنامه نویسی، مهندسی نرم افزار، الگوریتم ها، ریاضی، تحقیقات، مسائل مشاغل و صنایع مختلف و ... هستی و هیچوقت یکنواخت نمیشه! (مگه اینکه روزی برسه که کاری برای انجام دادن تو زمینه ماشین لرنینگ نباشه!)

@silionc_brain | از هوش مصنوعی عقب نمانید

دیپلوی مدل speech-to-speech در هاگینگ فیس برای استفاده در پروداکشن

هاگینگ فیس اومده تو این بلاگ مرحله به مرحله مدل و سرویس های مورد استفاده برای دیپلوی یک سرویس speech-to-speech رو شرح داده.

سرویس speech-to-speech هاگینگ فیس، پایپلاینی از این تسک هاست:
Voice Activity Detection (VAD)
Speech to Text (STT)
Language Model (LM)
Text to Speech (TTS)

که به صورت Real-Time با کاربر تعامل میکنه. مراحل دیپلوی کردنشم اینجوریه:
- Clone the Hugging Face inference toolkit
- Add S2S codebase as submodules
- Modify Dockerfile for dependency management
- Build and push custom Docker image
- Configure Inference Endpoint with L4 GPU
-Set up websocket handlers for audio streaming
-Implement audio recording and playback client

@silicon_brain | از هوش مصنوعی عقب نمانید

آیا واقعا میشه LLM هارو روی گوشی بالا اورد؟

امیدوارم نگی که من همین الانشم با گوشی از ChatGPT استفاده میکنم که دلم میشکنه 😕

در واقع اینجا منظور ما استفاده از
On-Device Use Cases
هست که محاسبات و پردازش داده‌ها به‌صورت مستقیم رو خود دستگاه انجام میشه. و نیازی به استفاده از سرویس ابری نیست.

آیا مدل Llama-7B رو میشه روی گوشی استفاده کرد؟ گوشی های امروزی میانگین 8 گیگ رم (DRAM) دارن، این یعنی یک مدل با 7 میلیارد وزن رو میشه تو 7 گیگ رم ذخیره کرد. الان شاید بگی چقدر عالی 1 گیگ رم هم اضافه داریم 😂

ولی نه از اونجایی سیستم عامل و خیلی از اپلیکیشن های دیگه باید رو رم اجرا بشن پس این چالش انگیزه‌ای هست که مدل‌های LLM کوچکتر (پارامترهای کمتر) ساخته بشه و میزان پارامتر ها خیلی کمتر بشه طبق استاندارد ها یک اَپ موبایل نباید بیشتر از 10% DRAM رو اشغال کنه

چند روز پیش تو این پست مدل سبک جدید Llama3.2 رو معرفی کردیم. که با دو وزن 1 و 3 میلیارد پارامتری ارائه شده.

اگه بخواییم مدل Llama3.2 با 1 میلیارد پارامتر رو رو گوشی سرو کنیم منطقی تر هست اما باز 1 میلیارد عدد قابل توجهی هست و برای همین تو این مقاله با عنوان:

MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases

لینک مقاله | هاگینگ فیس
اومدن تعداد پارامترها رو کمتر هم کردن و یک مدل اصطلاحا Small Language Model درست کردن که مفهومی به اسم Sub-billion Parameter Language Models داره یعنی این مدل به بزرگی مدل‌های LLM بیلیونری مانند Llama و GPT-4 و غیره نیست و 125 و 350 میلیون پارامتر داره

در ادامه باید بدونید از چالش های ساختن یک مدل LLM خیلی سبک وزن، به رم محدود نمیشه و میزان مصرف باتری، سرعت Generate مدل و معماری استفاده در مدل هم تاثیر زیادی دارن که میتونه موضوع تحقیقات شما باشه (به زودی در مورد اینا هم مینویسم)

@silicon_brain | از هوش مصنوعی عقب نمانید

ادغام گوگل جمنای با موتور سرچ گوگل به صورت Real-Time! کاهش نرخ هذیان گویی مدل

گوگل ویژگی Grounding with Google Search را در مدل‌های Gemini 1.5 به کار گرفته که از داده‌ زنده‌ی جستجوی گوگل برای پاسخ‌های دقیق‌تر استفاده میکنه

این موضوع پیشرفت های مهمی داره چون نرخ‌های هذیان گویی hallucination رو با تأمین اطلاعات تأیید‌شده و Real-Time کاهش میده

(به hallucination توهم هم میگن ولی یکی بود بذله گویی ترجمش میکرد😂)


چطوری جلو هذیان گویی رو میگیره ؟ با سیستم dynamic retrieval هر درخواستو از نظر مناسب بودن برای اتصال به موتور جستجو ارزیابی میکنه و یه امتیاز بین ۰ تا ۱ بهش میده.

مثلا درخواست‌هایی که حساس به زمان هستن امتیاز بالاتری میگیرن (مثلاً ۰.۹۷)، ولی درخواست‌هایی که خلاقیت سمت LLM میطلبن نمره پایین‌تری دارن (مثلاً ۰.۱۳).

نکته جالبی که داره اینه که این امتیاز رو میتونی به عنوان threshold کاستوم و تعیینش کنی که چقدر حساسیت به خرج بده (پیش فرض 0.3 هست)
آپشن Grounding داخل پنل Gemini با قیمت ۳۵ دلار برای هر ۱۰۰۰ پرسش فعال شده در دسترسه

@silicon_brain | از هوش مصنوعی عقب نمانید

تفکر در مورد حل مسائل به روش بازگشتی نیازمند فهمیدن این است که چگونه می‌توان مسئله را به زیرمسائل کوچک‌تر تقسیم کرد و این روند را تا رسیدن به ساده‌ترین حالت ادامه داد. در اینجا چند مرحله و نکته برای فکر کردن به مسائل بازگشتی آورده شده:

1. تعریف پایه (Base Case):
ابتدا باید بفهمید ساده‌ترین حالتی که برای مسئله وجود دارد چیست. این حالت پایه به بازگشت پایان می‌دهد. اگر حالت پایه را به‌درستی تعریف نکنید، ممکن است کد شما به بی‌نهایت تکرار برود. مثلاً، برای مسئله فاکتوریل، حالت پایه n = 0 است، زیرا 0! = 1 است و نیازی به محاسبات بیشتر نیست.

2. تقسیم مسئله (Divide the Problem):
به مسئله به‌عنوان یک ترکیب از زیرمسائل نگاه کنید. ببینید که آیا می‌توانید مسئله بزرگ‌تر را به یک یا چند زیرمسئله کوچک‌تر تبدیل کنید. به عنوان مثال، در فاکتوریل n! = n - (n-1)! نشان می‌دهد که فاکتوریل n به فاکتوریل یک عدد کوچک‌تر، یعنی n-1 ، وابسته است.

3. قانون بازگشتی (Recursive Case):
پس از تعریف پایه، مرحله‌ی بازگشت را مشخص کنید. این بخش همان قسمتی است که مسئله‌ی بزرگ‌تر را به یک نسخه‌ی کوچک‌تر از خودش می‌شکند و سپس از همان تابع برای حل آن استفاده می‌کند. هر بار که تابع فراخوانی می‌شود، یکی از زیرمسائل حل می‌شود.

4. تصویر ذهنی از پشته‌ی فراخوانی (Call Stack):
هنگام کار با بازگشت، به یاد داشته باشید که هر بار که یک تابع بازگشتی فراخوانی می‌شود، وضعیت فعلی تابع در پشته ذخیره می‌شود و سپس پس از اتمام بازگشت‌ها از پشته خارج می‌شود. این کمک می‌کند که وضعیت هر مرحله حفظ شود. به‌عنوان مثال، در مسئله هانوی، هر حرکت بین میله‌ها در پشته ذخیره می‌شود تا در پایان به راه‌حل کلی برسیم.

5. حل با مثال‌های کوچک:
برای درک بهتر، ابتدا مسئله را با نمونه‌های کوچک حل کنید. مثلاً در یک تابع بازگشتی فیبوناچی، ابتدا F(2) ، سپس F(3) و به همین ترتیب تا رسیدن به جواب بزرگ‌تر حل کنید تا الگوی حل بازگشتی مشخص شود.

6. قابلیت یادگیری (Memoization) برای بهینه‌سازی:
گاهی بازگشت به تکرار زیاد منجر می‌شود، مانند محاسبه‌ی فیبوناچی که نیاز به محاسبه چندباره اعداد دارد. در این موارد می‌توانید از تکنیک یادگیری (Memoization) استفاده کنید تا نتایج قبلی را ذخیره کرده و از دوباره‌کاری جلوگیری کنید.

7. محدودیت‌های بازگشت (Limitations of Recursion):
همیشه توجه داشته باشید که بازگشت در مسائل با عمق زیاد، می‌تواند منجر به پر شدن پشته شود و خطای Stack Overflow ایجاد کند. بنابراین در مسائل پیچیده باید دقت کنید که آیا بازگشت مناسب‌ترین روش است یا می‌توان از تکرار استفاده کرد.

در نهایت، با تمرین و تحلیل بیشتر روی مسائل مختلف، درک بهتری از کاربرد بازگشت پیدا می‌کنید و می‌توانید الگوهای بازگشتی را راحت‌تر شناسایی کنید.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

‏Leverage Caching برای محاسبات سریعتر در پایتون

همه میتونن برنامه ای بنویسن که کار کنه، اما کسی که برنامه ی بهینه مینویسه، برنامه نویسه (خودم تراوش کردم 😁)

پایتون قابلیتی به اسم lru_cache داره که برای کش کردن نتیجه توابع با استفاده از الگوریتم Least Recently Used استفاده میشه

چیکار میکنه؟بصورت خودکار نتایج آخرین فراخوانی‌های تابع رو تو حافظه نگه میداره و در صورتی که همون تابع با پارامترهای مشابه دوباره فراخوانی بشه، به جای اجرای مجدد تابع، نتیجه ذخیره شده رو برمیگردونه.
میگن یه خط کد کد بهتر از هزار بار توضیح دادنه :) ⬇️

from functools import lru_cache

@lru_cache(maxsize=5)  # تعداد نتایج ذخیره شده در حافظه محدود به ۵
def factorial(n):
    if n == 0:
        return 1
    return n * factorial(n - 1)

# فراخوانی تابع با پارامترهای مختلف
print(factorial(5))  # 120
print(factorial(6))  # 720
print(factorial(5))  # با وجود اینکه دوباره فراخوانی شده نتیجه از حافظه بازگشت داده میشه

اینجا از دکوراتور lru_cache از تابع factorial استفاده شده. با تنظیم maxsize=5، میگیم که فقط ۵ نتیجه آخر تو حافظه کش بشه. اگه تعداد فراخوانی‌های ذخیره‌شده بیشتر از این عدد باشه نتایج قدیمی‌تر از حافظه پاک شده و جایگزین میشن.

این روش علاوه بر اینکه باعث افزایش سرعت میشه، تو محاسبات سنگین، مصرف منابع رو هم کاهش میده. lru_cache برای مواردی که محاسبات تکراری داریم، مخصوصاً توابع بازگشتی، خیلی مفیده.

@silicon_brain | از هوش مصنوعی عقب نمانید

قطعا به این فکر کردین که آیا میشه مدل های هوش مصنوعی داشته باشیم که در انحصار شرکت خاصی نباشه؟

بله، شرکت Prime Intellect AI بر اساس تمرکززدایی و استفاده از منابع محاسباتی مشترک برای آموزش مدل‌های هوش مصنوعی در مقیاس بزرگ بنا شده.

یعنی شما اگه GPU داری میتونی از طریق این پلتفرم کار پردازشی انجام بدی و پول دربیاری

با این حرکت فضای رقابتی جالبی درست شده و در جهت اینه که توان پردازشی رو از انحصار شرکت های بزرگ و همچنین کلاود هایی که تعرفه های بالایی دارن بگیره و به سمت یوزر های عادی بازار رقابتی و آزاد حرکت بکنه

قطعا متوجه شدین که این حرکت هم به سمت بازار آزاد اقتصادی هست (حال میکنی درک اقتصادیو😁 )و هم فضای داده ی آزاد و بدون انحصار(این یکی کارمه نمیخواد حال کنی)

تو پست بعدی در مورد یکی از پروژه های خفن این پلتفرم میگم


@silicon_brain | از هوش مصنوعی عقب نمانید

در ادامه مطالب پست قبلی بگم که...

این شرکت یه پروژه ای ران کرده به اسم Intellect-1 که در واقع یک مدل هوش مصنوعی با 10 میلیارد پارامتر هستش که به‌صورت غیرمتمرکز توسعه پیدا میکنه.

این مدل بر اساس معماری Llama-3 طراحی شده و هدفش دسترسی همگانی به آموزش مدل‌های بزرگ از طریق شبکه‌ای غیرمتمرکز از منابع محاسباتی هستش.

این پروژه به همه اجازه میده با استفاده از منابع محاسباتی که دارن تو آموزش این مدل مشارکت داشته باشن و در ازای این مشارکت یه مبلغی هم بگیرن (شیطون داری به چی فک میکنی؟ نری با GPU آنبرد بگی میخوام مشارکت کنم😂 )

مدل Intellect-1 با استفاده از تکنیک‌های بهینه‌سازی پیشرفته، مانند فشرده‌سازی داده‌ها و الگوریتم‌های سفارشی برای انتقال سریع داده‌ها، سعی میکنه تو کاهش مصرف پهنای باند و افزایش کارایی سیستم اثرگذار باشه.

تو عکس پست قبلی مشخصه که مدل Intellect-1 داره از طریق کاربرای مختلف سراسر جهان آموزش میبینه. تکنولوژی و حجم کارو در نظر بگیرین خیلی پشم ریزونه

https://app.primeintellect.ai/intelligence

خلاصه که با @silicon_brain از هوش مصنوعی عقب نمیمونی!

هزینه ها و سوددهی بزرگترین کمپانی هوش مصنوعی

گویا OpenAI طبق برنامه قرار تازه سال 2029 سودده بشه. یعنی سرمایه‌گذارای VC باید خیلی صبور باشن.
احتمالا OpenAI در سال‌های آینده زمانی وارد دوره‌ی سود خودش میشه که ایجنت‌ها راه بیفتن و OpenAI بتونه در قالب SaaS ازشون پول بگیره.

این $5 میلیارد ضرری که الان OpenAI داره رو نباید زیاد جدی گرفت. تو فضای سرمایه‌گذاری خطرپذیر، این ترازهای منفی عادیه.

قضیه جالب می‌شه که بدونید هزینه‌ش تا پایان ۲۰۲۶ حدود ۱۴ میلیارد دلار و تا پایان ۲۰۲۹ حدود ۴۴ میلیارد دلار برآورد شده!
هزینه‌ حقوقش خیلی جالبه یکسال ۷۰۰ میلیون دلار حقوق داده!
نکته جالب دیگه‌ش اینه که هزینه‌ی آموزش‌ش از هزینه‌ی run یعنی inference ش یک میلیارد دلار بیشتره! این نشون میده چقدر آموزش پرهزینه‌ است که وقتی اینقدر کاربر داره و اینقدر ازش استفاده میشه(هزینه‌ inference) هنوز به پای هزینه‌ی آموزش نمی‌رسه!

@silicon_brain | از هوش مصنوعی عقب نمانید

سم آلتمن: AGI تا سال 2025 عرضه میشه!

این مصاحبه جدید سم آلتمن خیلی سر و صدا کرده اگه حوصله دیدن ویدئو 45 دقیقه ای رو نداری برات خلاصه کردم:

مدیرعامل OpenAI اخیراً اعلام کرده که دستیابی AGI به زودی امکان پذیر خواهد بود. میدونین که جدیدا OpenAI با مشکلات مالی مواجه بود و تو پست قبلی در موردش صحبت کردیم. ولی نهایتا موفق شده با جذب سرمایه‌ ۶٫۶ میلیارد دلاری از شرکت‌هایی مثل مایکروسافت و انویدیا از این بحران عبور کنه.

میگه تأثیر AGI روی جامعه تو کوتاه‌مدت، به‌اندازه‌ای که بسیاری افراد تصور می‌کنن، چشمگیر نیست. و میگه که تا همین چند سال پیش خیلیا حتی باور نداشتن کامپیوتر بتونه با موفقیت آزمون تورینگ رو پاس کنه؛ اما با گذشت چند سال، این دستاورد تغییرات چشمگیری تو جامعه ایجاد نکرد.

در ادامه میگه فناوری موجود برای دستیابی به ASI (Artificial superintelligence) نیاز به سرمایه گذاری تو سطح جهانی هست(قبلاً تخمین زده بود تحقق هوش مصنوعی قوی به ساخت ۳۶ کارخانه‌ی تراشه‌سازی و چندین دیتاسنتر بزرگ نیاز داره و این کار حدود ۷ تریلیون دلار هزینه داره).
یوتوب

@silicon_brain | از هوش مصنوعی عقب نمانید