Telegram Web Link
مقاله ای در مورد کاربرد ترنسفورمر در پیش بیینی سری زمانی
Transformers in Time Series: A Survey

مدل های مبتنی بر #transfomer مشخصا تو وظایف #nlp و بینایی کامپیوتری ثابت شده هستن ولی برای تسک #time_series جای کار داره. تو این مقاله، ترنسفورمرو برای سری‌های زمانی با بیان نقاط قوت و محدودیت‌ها بررسی کردن.

این بررسی از دو منظر ساختار شبکه و تسک های موجود در این زمینه مثل پیش‌بینی، تشخیص ناهنجاری و طبقه‌بندی انجام شده.

نتایج مقاله نشون میده در حالی که مدل‌های ترنسفورمر عملکرد خوبی دارن اما دقتشون با طولانی شدن توالی ورودی کاهش پیدا میکنه و گاهی اوقات مدل‌های ساده‌تر در سناریوهای خاص عملکرد بهتری نسبت به ترنسفورمر دارن.

در کل این زمینه نیاز به تحقیق و بررسی بیشتری داره و توصیه میشه پژوهشگرهای علاقه مند تو این فیلد فعالیت کنن
مقاله
@silicon_brain | از هوش مصنوعی عقب نمانید
احتمالا میدونید که #کتاب یادگیری عمیق گودفلو از اصلی ترین مراجع یادگیری عمیق هستش. تیم سیلیکون برین با کمک اعضای متخصص، اقدام به ترجمه و خلاصه سازی این کتاب در قالب 20 سری کرده و شما میتونید به صورت رایگان و داخل همین کانال این داکیومنت با ارزشو مطالعه کنید.

▫️مطالعه این کتاب برای همه افراد با هر سطح دانشی توصیه میشه
▫️زحمات بسیار زیادی برای جمع آوری و ترجمه این کتاب و انتشار بصورت رایگان کشیده شده، با به اشتراک گذاری و معرفی این پست از ما حمایت کنید.❤️

لیست:
- سری اول
- سری دوم
- سری سوم
- سری چهارم
- سری پنجم
- سری ششم
- سری هفتم
- سری هشتم
- سری نهم
- سری دهم
- سری یازدهم
- سری دوازدهم
- سری سیزدهم
- سری چهاردهم
- سری پانزدهم
- سری شانزدهم
- سری هفدهم
- سری هجدهم
- سری نوزدهم
- سری بیستم

#یادگیری_عمیق #گودفلو
@silicon_brain | از هوش مصنوعی عقب نمانید
Silicon Brain | جامعه هوش مصنوعی
احتمالا میدونید که #کتاب یادگیری عمیق گودفلو از اصلی ترین مراجع یادگیری عمیق هستش. تیم سیلیکون برین با کمک اعضای متخصص، اقدام به ترجمه و خلاصه سازی این کتاب در قالب 20 سری کرده و شما میتونید به صورت رایگان و داخل همین کانال این داکیومنت با ارزشو مطالعه کنید.…
یادمه چند سال پیش ناسا، ویدئو لانچ تلسکوپ جیمز وب رو تو یوتوب گذاشته بود و چند هزار تا دیسلایک خورده بود (در کنار چند صد هزار لایک)
میخوام اینو بگم که شما مفید ترین کار دنیا رو هم انجام بدین، همیشه افرادی پیدا میشن که کار شما رو دیس میکنن و انرژی منفی میدن.
معرفی مدل‌های xLAM سیلزفورس
این مدل‌ها از خانواده LLM ها هستند که برای تبدیل مقاصد کاربر به اعمال قابل اجرا تقویت شدند.

برای مثال با استفاده فراخوانی توابع مختلف ازجمله: استعلام آب‌وهوا، جستجوی گوگل، استعلام قیمت ارز و ... نتایج بروز، واقعی و دقیق رو خواهیم داشت.

مدل هفت میلیاردی این مجموعه، در ارزیابی‌ها بعد از Claude 3.5 و GPT-4 قرار گرفته است و یک مدل وزن‌باز ارزشمند 🥳 ولی غیرتجاری 😶🌫 به حساب می‌آید.


🤗 HF
🤗 HF-Spaces

@silicon_brain | با هم یک قدم جلوتر
لینکدین و کارای خفن برای آموزش LLM !
Liger Kernel: Efficient Triton Kernels for LLM Training

#لینکدین یک لایبرری بنام Liger Kernel معرفی کرده که به طرز قابل توجهی باعث افزایش سرعت و کاهش مصرف RAM در آموزش LLM میشه. آمار و ارقام نشون میده که شما با این لایبرری می‌تونید 20% افزایش سرعت و 60% کاهش مصرف RAM رو تجربه کنید!

استفاده از این لایبرری هم اصلا کاری نداره. فقط یک خط کد به کدهاتون اضافه می‌کنید. مثلا، در کد زیر، این لایبرری روی مدل لاما هاگینگ‌فیس اعمال شده:
import transformers
from liger_kernel.transformers import apply_liger_kernel_to_llama

model = transformers.AutoModelForCausalLM.from_pretrained("<some llama model>")

# Adding this line automatically monkey-patches the model with the optimized Liger kernels
apply_liger_kernel_to_llama()

گیتهاب

@silicon_brain | از هوش مصنوعی عقب نمانید
آشنایی با مدل CLIP

یکی از مدل‌های چندرسانه‌ای (multi-modal) مطرح امروز، مدل #CLIP هستش که سال 2021 توسط #OpenAI معرفی شده. هدف از ساخت این مدل یه جورایی پر کردن شکاف بین بینایی کامپیوتر و پردازش زبان طبیعی هستش.
مدل CLIP این قابلیتو داره که همزمان متن و تصویر رو درک کنه و ارتباطات معنادار بینشونو شناسایی کنه. این ویژگی باعث میشه CLIP در کاربردهای مختلفی از جمله طبقه‌بندی تصاویر و توصیف متنی تصاویر بسیار موثر باشه.

این مدل با استفاده از مجموعه داده‌ای شامل ۴۰۰ میلیون جفت متن و تصویر که از اینترنت جمع‌آوری شده، آموزش دیده. برخلاف مدل‌های سنتی که معمولاً برای یک تسک خاص آموزش دیدن CLIP میتونه در تسک‌های متنوعی به کار گرفته بشه.

برای خوندن مقاله کامل و مشاهده پیاده سازی میتونین ویرگول و گیتهاب مارو چک کنید

ویرگول | گیتهاب

@silicon_brain | از هوش مصنوعی عقب نمانید
تو این تصویر ریاضیات تعدادی از مفاهیم ماشین لرنینگ نشون داده شده

میشه یه کار جالب کرد و از خودتون چند تا سوال بپرسید.
1- با چند تاش آشنا هستی؟
2- مفهوم چند تاشو میدونی؟
3- ریاضیات چندتاشو میدونی؟
4- اثبات چند تا شو میدونی؟
شاید واقعا دونستن همه ی اینا مهم نباشه اما یه چیزیو نشون میده اونم اینه که درک و تجربه شما از مفاهیم و ریاضیات ماشین لرنینگ چقدره

شیر کن (:
@silicon_brain | از هوش مصنوعی عقب نمانید
پکیج پایتون scholarly برای استخراج داده های گوگل اسکولار!

پکیج #scholarly به شما این امکانو میده که اطلاعات نویسنده و انتشارات رو از Google #Scholar به روشی دوستانه و #پایتونیک (حال کن اصطلاحو😅) بدون نیاز به حل کپچا بازیابی کنی.

میشه با این پکیج تحلیل های خوبی روی داده های گوگل اسکولار انجام بدید. اینکه مثلا:
سابقه علمی یک فرد (تعداد مقالات، عنوان مقالات، چکیده مقالات، سایتیشن، نویسندگان مشترک و ...) رو بدست بیارید. مثلا میتونید با تحلیل این داده ها حوزه کاری نویسنده های برتر رو بدست بیارید.
یا مثلا براساس دانشگاه سرچ کنید و تمام مقالات یک دانشگاه خاص رو استخراج بعد با فیلترهای ساده یا تکنیک های NLP و Machine Learning حوزه های کاری و پژوهشی هر دانشگاه رو بدست بیارید.
یا اگر میخواید اپلای کنید و دنبال استاد هستید، موضوع کاری خودتون رو توی هر دانشگاه سرچ و اساتید فعال اون حوزه رو پیدا کنید. یا مورد بعدی اینکه مقالات کشور / دانشگاه یا ... رو در طول زمان تحلیل و بررسی کنید که روند پژوهش ها به چه سمتی میره و جامعه علمی بیشتر روی چه موضوعاتی کار می کنه.
گیتهاب | پای پای
@silicon_brain | از هوش مصنوعی عقب نمانید
یه بنده‌خدایی یک ماه پیش یه وبسایت بامزه ساخته بوده به اسم One Million Checkboxes که توش فقط یک میلیون‌تا چک‌باکس داشته. تنها نکته‌ش هم این بوده که هر یوزری که یه باکس رو چک/آن‌چک می‌کرده، برای همه تغییر می‌کرده!

برخلاف تصورش که این یه پروژه سرگرمی بامزه بوده، این وبسایت یهو می‌زنه و معروف می‌شه و ۵۰۰هزار تا یوزر میاره که ۶۵۰ میلیون بار چک‌باکس‌ها رو عوض می‌کنن و حتی خبرش توی نیویورک تایمز و واشینگتن پست هم می‌ره!

برای این‌که این اطلاعات (یک میلیون صفر یا یک) رو سریع بتونه به یوزرهای آنلاین بده، اومده برای هر چک‌باکس یه بیت درنظر گرفته و کل دیتا رو در ۱۲۵هزار بایت (۱۲۵کیلو بایت) منتقل می‌کرده، که تقریباً سایز یه عکس معمولیه.

از نظر فنی هم اینا رو base64-encoded توی #Redis نگه می‌داشته.

خلاصه، بعد چند روز یهو میاد این دیتا رو (یه مشت صفر ویک) به‌صورت بایت‌های کاراکترهای ASCII در قالب یه کپی از دیتابیس ببینه که یهو می‌بینه: عه! وسطش یه آدرس وبسایت اومده!
و پشمای طرف در جا می‌ریزه که هک شده‌ام و به فنا داریم می‌ریم! یکی تونسته یه آدرس اینترنتی توی دیتابیس ما بذاره و خدا می‌دونه توش چی هست

ادامه در کامنت
اجرای مدل های AI در Device های مختلف بدون نیاز به API Call

پلتفرم #Nexaai یه هابی از مدل های هوش مصنوعی برای Device (به اصطلاح On-Device AI) ارائه میده که بیشتر از 700 مدل هوش مصنوعی کوانتیزه‌شده در دسته‌های #NLP ، تصویر، صدا و مدل‌های Multimodal داره.

این پلتفرم به کاربر اجازه مبده تا مدل‌ ها رو به صورت local روی دستگاه‌هایی مثل گوشی‌، #embedded_system ها و کامپیوترها اجرا کنه و امر باعث میشه تا هوش مصنوعی برای دستگاه‌هایی با منابع محدود در دسترس‌تر بشه.

همچنین Nexa AI برای سری #Octopus که جز مدل‌های Multimodal هستن و ورودی‌های متن و تصویری میگیرن، شناخته شده و حتی عملکردی قابل مقایسه با مدل‌های پیشرفته مانند GPT-4 ارائه می‌دن. این مدل‌ها برای محیط‌های کم‌منبع بهینه‌سازی شدن و میتونن با استفاده از Nexa's SDK، که از CPU، GPU و inference ترکیبی پشتیبانی میکنه به کار گرفته بشه و مدلو برای پلتفرم‌های مختلف مثل Android، iOS و Windows قابل اجرا کنه.
لینک

@silicon_brain | از هوش مصنوعی عقب نمانید
مدل Llama-3.1-SuperNova-Lite با تعداد پارامتر 8B توسط Arcee.ai بر اساس معماری Llama-3.1-8B-Instruct توسعه یافته.
در واقع سوپرنوا یک نسخه بزرگتر از Llama-3.1-405B-Instruct هستش که از لاجیت های آفلاین استخراج شده از نوع پارامتر 405B استفاده میکنه.
میشه گفت جایگزین Llama3.1 فقط می‌تونه یک نسخه بهتر براساس همین معماری باشه :
arcee-ai/Llama-3.1-SuperNova-Lite

همونطور که گفته شد مدل ۸ میلیارد پارامتری هست، مدل ۷۰ میلیاردی فقط از طریق API در دسترس هست.

طبق ادعا از 405b, gpt4o, ... بهتر عمل می‌کنه؛ البته برای تسک‌های مربوط به instruction-following
#Llama
هاگینگ فیس
@silicon_brain | از هوش مصنوعی عقب نمانید
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
انقلاب در دنیای بازی سازی با GameGen-O

تنسنت مدل GameGen-O رو معرفی کرده اولین مدل #ترنسفورمر #دیفیوژن برای تولید «Video Game» جهان باز!
این مدل میتونه بازی‌ ها رو با خلاقیت بی‌نظیری تولید کنه.

تو این ویدئو مشاهده میکنیم که جهان بازی سازی با AI چقدر دگرگون میشه. با مدل GameGen-O، روند تولید یک بازی چند میلیون دلاری ک با 100 ها مهندس و متخصص انجام میشه، خیلی زودتر از آنچه که تصور کنیم، متحول میشه!
همینطور این مدل امکان تولید و کنترل تعاملی با محیط، شخصیت‌ها، اشیاء و رویدادها وجود دارد.
لینک | گیتهاب
#transformer #diffusion
@silicon_brain | از هوش مصنوعی عقب نمانید
Please open Telegram to view this post
VIEW IN TELEGRAM
یکی اومده میگه من برنامه نویس بازی سازی و هوش مصنوعی هستم و با 2 پست آخر جفتشو نابود کردی، انگیزه ای ندارم دیگه 😂

نه اینجوری که فکر میکنی نیست!😅
This media is not supported in your browser
VIEW IN TELEGRAM
استفاده از LLM در آردوینو برای وظایف مختلف

توی این پروژه آزمایشی، از Hey و یه آردوینو نانو استفاده شده و دوتا LED رو با قدرت LLMهای MindsDB کنترل شده و همینطور که میبینید خیلی نتیجه جالبی داشته.

تو این پروژه Hey یک دستیار هوش مصنوعی مبتنی بر CLI هستش که توسط LLM ها پشتیبانی میشه. و میتونی به صورت کاستوم تنظیم کنی که م Hey به کدوم سرویس #LLM وصل شه.

حالا این کد از کجا درست میشه و چجوری به کجا ارسال میشه؟ از Hey توی پایتون استفاده میشه تا پرامت و ورودی کاربر رو بفرسته به مدل، نهایتا خروجی مدل یه کده مثل A1 که یعنی روشن کردن LED اول. اون A1 فرستاده میشه به Arduino# و اونجا طبق یک سری از شرط‌ها، عملیات انجام میشه.
گیتهاب

@silicon_brain | از هوش مصنوعی عقب نمانید
تمرین های مختلف ماشین لرنینگ با deep-ml

وبسایت Deep-ML پر از تمرین‌های چالش‌برانگیز توی زمینه‌های مختلف مثل یادگیری ماشین، یادگیری عمیق و جبر خطیه. از مسائل ساده مثل محاسبه‌ی ماتریس تا تمرین‌های پیشرفته مثل پیاده‌سازی رگرسیون خطی و توابع فعال‌ساز.

تمرین‌ها بر اساس سختی مرتب شدن؛ از آسون تا سخت. هر تمرین هم راهنمایی‌ها و توضیحات لازم رو داره که اگه گیر کردین، کمکتون می‌کنه.
لینک

@silicon_brain | از هوش مصنوعی عقب نمانید
2025/07/04 00:46:40
Back to Top
HTML Embed Code: