انقلاب در دنیای بازی سازی با GameGen-O

تنسنت مدل GameGen-O رو معرفی کرده اولین مدل #ترنسفورمر #دیفیوژن برای تولید «Video Game» جهان باز!
این مدل میتونه بازی‌ ها رو با خلاقیت بی‌نظیری تولید کنه.

تو این ویدئو مشاهده میکنیم که جهان بازی سازی با AI چقدر دگرگون میشه. با مدل GameGen-O، روند تولید یک بازی چند میلیون دلاری ک با 100 ها مهندس و متخصص انجام میشه، خیلی زودتر از آنچه که تصور کنیم، متحول میشه!
همینطور این مدل امکان تولید و کنترل تعاملی با محیط، شخصیت‌ها، اشیاء و رویدادها وجود دارد.
لینک | گیتهاب
#transformer #diffusion
@silicon_brain | از هوش مصنوعی عقب نمانید

یکی اومده میگه من برنامه نویس بازی سازی و هوش مصنوعی هستم و با 2 پست آخر جفتشو نابود کردی، انگیزه ای ندارم دیگه 😂

نه اینجوری که فکر میکنی نیست!😅

استفاده از LLM در آردوینو برای وظایف مختلف

توی این پروژه آزمایشی، از Hey و یه آردوینو نانو استفاده شده و دوتا LED رو با قدرت LLMهای MindsDB کنترل شده و همینطور که میبینید خیلی نتیجه جالبی داشته.

تو این پروژه Hey یک دستیار هوش مصنوعی مبتنی بر CLI هستش که توسط LLM ها پشتیبانی میشه. و میتونی به صورت کاستوم تنظیم کنی که م Hey به کدوم سرویس #LLM وصل شه.

حالا این کد از کجا درست میشه و چجوری به کجا ارسال میشه؟ از Hey توی پایتون استفاده میشه تا پرامت و ورودی کاربر رو بفرسته به مدل، نهایتا خروجی مدل یه کده مثل A1 که یعنی روشن کردن LED اول. اون A1 فرستاده میشه به Arduino# و اونجا طبق یک سری از شرط‌ها، عملیات انجام میشه.
گیتهاب

@silicon_brain | از هوش مصنوعی عقب نمانید

تمرین های مختلف ماشین لرنینگ با deep-ml

وبسایت Deep-ML پر از تمرین‌های چالش‌برانگیز توی زمینه‌های مختلف مثل یادگیری ماشین، یادگیری عمیق و جبر خطیه. از مسائل ساده مثل محاسبه‌ی ماتریس تا تمرین‌های پیشرفته مثل پیاده‌سازی رگرسیون خطی و توابع فعال‌ساز.

تمرین‌ها بر اساس سختی مرتب شدن؛ از آسون تا سخت. هر تمرین هم راهنمایی‌ها و توضیحات لازم رو داره که اگه گیر کردین، کمکتون می‌کنه.
لینک

@silicon_brain | از هوش مصنوعی عقب نمانید

مقایسه معماری شبکه‌های GPT-2 Llama-2 Llama-3

همونطور که تو شکل بالا مشاهده میشه، مدل‌های Llama-2 و Llama-3 که خیلی مشابه هم هستن و تفاوت اصلی‌شون اینه که مدل Llama-3 از Grouped Query Attention استفاده میکنه.

مدل‌های GPT-2 و Llama-2 تفاوت‌هایی جزئی در بخش‌های دراپ‌اوت، نرمالیزیشن، پوزیشن امبدینگ و اکتیویشن فانکشن ماژول MLP دارن.

یه بخش مهمی که دچار تغییرات شده Maked Multi-Head Attention هست که تو معماری Llama-3 از حالت Multi دراومده.
حذف #dropout های #GPT هم معماری #Llama رو خیلی خلوت تر کرده

به نظرت پیشرفت مدل Llama-3 صرفا به دلیل افزایش حجم دیتا آموزشی مدل بوده یا تغییر معماری هم تاثیر مثبتی گذاشته؟

@silicon_brain | از هوش مصنوعی عقب نمانید

10 پرسش مهم در مصاحبه‌های LLM

۱. تعریف مدل‌های زبانی بزرگ #LLM
۲. سنجش کارایی
۳. یادگیری با نمونه‌های اندک (few-shot learning)
۴. رفع خروجی‌های نامناسب یا نادرست
۵. تفاوت رمزگذار (#encoder) و رمزگشا (#decoder)
۶. مقایسه با مدل‌های آماری سنتی
۷. مفهوم پنجره متنی (context window)
۸. تعریف ابَرپارامتر (hyperparameter)
۹. توضیح سازوکار توجه (attention mechanism)
۱۰. چالش‌های استفاده از مدل‌های زبانی بزرگ

حتما پاسخ های داخل داکیومنتو بخونید

@silicon_brain | از هوش مصنوعی عقب نمانید

ری اکشن استار ⭐️ اضافه شد به کانال
خلاصه اگه این کانال تا الان براتون مفید بوده و قابلیتشو دارین، استار بزنید 😁

احتمالا تا حالا اسم #RAG رو شنیدید یا باهاش کار کردین و میدونین که از تکنولوژی های جدید و خیلی کاربردی هوش مصنوعی هست. تو این پست اینستاگرام به صورت کامل در مورد RAG بخونید:

https://www.instagram.com/p/DAqhSnbC2cU/?igsh=MXV5OWltMDBlNGQ5OA==

سریع ترین LLM دنیا به اسم groq!

این مدل 18 برابر از #GPT سریع تر هست و همونطور که توی ویدیو مشخصه، در لحظه برای شما جواب رو تولید میکنه.

گروک یه سرویس هست که مدل های زبانی موجود مثل #llama یا #gemma رو با سرعت بیشتر ران کرده. تو دمو سایت از #whisper برای تبدیل صوت به متن و از llama برای پاسخ دادن به متن استفاده میکنه. در واقع گروک یک مدل مستقل نیست پلتفرمی هست که مدل های مختلفی مثل #lama و #mistral رو روی سخت افزار خاص خودش ران میکنه که اسمش GroqRack هست و با تکنولوژی #LPU ران میشه. تعداد توکن هایی که پردازش میکنه به ۵ هزار میرسه. همچنین سخت افزارش هم برای فروش معرفی شده

لینک دمو
@silicon_brain | از هوش مصنوعی عقب نمانید

حالا که تو پست قبلی در مورد #LPU صحبت شد، بهتره یکم بیشتر در مورد این تکنولوژی بدونیم


اولش بگم که اگه مدل‌هایی مثل :Llama2, Mixtral, Gemma کار شما و شرکت شمارو راه میندازه حتما یک سری به سایت گروک بزنید از LPU طراحی شده توسط این شرکت لذت ببرید.

در واقع LPU واحد پردازشی این شرکت هست که برای inference طراحی شده و از TPU, GPU برای این کاربرد خاص بسیار بسیار سریعتر و بهینه‌تر هست بعنوان مثال برای مدل Llama2 70B در زمان inference چیزی معادل 325T/s سرعتش هست؛ این عدد برای Nvidia A100 طبق گذارشات موجود بصورت میانگین 5T/s هست؛
(T/s: token per seconds)
طراحی و ایده نسخه اول از #TPU های گوگل هم توسط مدیر همین شرکت بود.

یکم فنی بررسی کنیم:
در واقع LPU واحدهای پردازشی عصبی بهینه‌سازی شده داره که برای اجرای مدل‌های یادگیری عمیق (مانند #Transformer‌ ها که پایه معماری مدل‌های زبانی مانند BERT و GPT هستند) طراحی شده. این واحدها به تسریع عملیات ماتریسی و توزیع تنسور کمک میکنن.
همینطور برای تسریع و بهینه‌سازی قسمت مکانیزم توجه (Attention Mechanism) هم طراحی شده
برای تسک NLP به ویژه در مدل‌های بزرگ زبانی (مانند GPT-3 و GPT-4)، استفاده از حافظه‌ی سریع و بهینه حیاتی مهمه. LPU‌ها از حافظه‌های پیشرفته و کش‌های چندلایه استفاده می‌کنند تا بتونن داده‌های مورد نیاز را سریع‌تر از واحدهای پردازشی سنتی بازیابی کنن.

همینطور LPUها شامل شتاب‌دهنده‌هایی (Custom Language Accelerators) هستن که برای اجرای عملیات‌های خاص زبان طبیعی مثل Tokenizationو Embedding بهینه شدن.

@silicon_brain | از هوش مصنوعی عقب نمانید

تراشه‌های رایانه‌ای نقش مهمی در پیش‌رفت هوش مصنوعی داشته‌اند، حالا نوبت هوش مصنوعی‌ هستش که دینشو ادا کنه

چهارسال پیش، آزالیا میرحسینی در گوگل موفق شد به‌کمک #یادگیری_تقویتی عمیق، روشی برای طراحی چیدمان تراشه‌های کامپیوتری (chip floorplanning) ابداع کند.

در این روش، ابتدا، یک Grid خالی درنظر گرفته میشه و در هر تکرار، یکی از مولفه‌ها (مدارها)،‌ قرار میگیره. پاداش نهایی از روی کیفیت چیدمان تراشه‌ی نهایی مشخص می‌شود.
یک شبکه‌ی عصبی گرافی مبتنی بر یال (Edge-based GNN) ارتباط بین مولفه‌ها رو یادگرفته و اونو به بخش‌های دیگر تعمیم میده.

تمام تراشه‌های شتاب‌دهی هوش مصنوعی گوگل (TPU) و همین‌طور Google Axion با این روش طراحی شدن.

امروز بعد از چهار سال، این مدل، #AlphaChip نام گرفت و به‌زودی چک‌پوینت (وزن‌های) اون برای استفاده‌ی سایرین دردسترس قرار خواهد گرفت.

بلاگ | گیتهاب
@silicon_brain | از هوش مصنوعی عقب نمانید

عجیبه اینکه خیلیا دوس دارن تو آینده باشن! کاش در موردش توضیح بدین
من همیشه احساس میکردم که آینده تکنولوژی کم هیجان تر از گذشته ست :(

Software Engineer != Developer
Software Engineer == Problem Solver

Can you explain "Machine Learning Software Engineer" ?

@silicon_brain