منبعی فوق العاده ویژوال برای درک عملکرد ترنسفورمر و LLM

یه مدل #Transformer یا LLM چطوری فکر میکنه؟ چطوری کلماتو تولید میکنه؟ چرا هذیان(#hallucination) میگه؟

این سایت سعی کرده به صورت ویژوال شده، مفاهیمی مثل Word embedding، Transformer و ... رو که از اجزای اصلی #LLM ها هستند رو توضیح بده. توصیه می‌کنم تو یه فرصت مناسبی یه نگاه بهش بندازی.

فرقی نداره چه سطح دانشی تو زمینه NLP داری، به هر حال یا چیزی یاد میگیری و یا یادآوری میشه برات
لینک

@silicon_brain | از هوش مصنوعی عقب نمانید

نمایش شبکه عصبی به صورت سه بعدی!

اگه تو دنیای #یادگیری_عمیق هستی و دلت می‌خواد مدل‌های شبکه عصبی‌ رو به شکل باحال و قابل درک به نمایش بذاری، باید با TensorSpace.js آشنا بشی

این کتابخونه فوق‌العاده با استفاده از Three.js و TensorFlow.js کار میکنه و می‌تونی معماری و عملکرد شبکه‌هات رو به صورتی ببینی که همیشه تو ذهنت بوده
لینک
#tensorflow #tensorspace

@silicon_brain | از هوش مصنوعی عقب نمانید

مجموعه poloclub ابزاری تحت عنوان Transformer Explainer معرفی کرده که برای اهداف آموزشی فوق‌العاده هست. کار کردن با این ابزار رو پیشنهاد می‌کنم، اگه میخوایید به درک عمیق‌تری در #transformer و مدل‌سازی زبان (Language Modeling) برسید.

این ابزار بر پایه مدل GPT-2 کار میکنه. یعنی، واقعا محاسبات پشت GPT-2 رو به شما مرحله به مرحله نشون میده. کل مراحل رو می‌تونید ریز به ریز ببینید: توکن امبدینگ، پوزیشنال انکدینگ، مولتی هد اتنشن، #mlp و الی آخر.
همچنین، خروجی معنی‌دار تولید میکنه. با کلیک روی بخش‌های مختلف، می‌تونید محاسبات مربوط به هر بخش رو ببینید.

مثلا، توی تصویر بالا ببینید برای ورودی Data visualization empowers users to در خروجی مدل چه پیشنهادهایی داده.

البته، poloclub سال‌هاست که چنین ابزارهایی میسازه. اگه به این آدرس برید، ابزارهایی که در گذشته ساختن رو می‌تونید ببینید. به عنوان نمونه، CNN Explainer و GAN Lab هم از کارهای این گروه هست.

@silicon_brain | از هوش مصنوعی عقب نمانید

8 تا از الگوریتم های معروف سری زمانی

بعضی از این الگوریتم های #time_series رویکرد آماری و ساده ای دارن مثل #Arima و برخی از شبکه های عمیق استفاده میکنن مثل #LSTM

مثل هر تسک یادگیری ماشینی هر کدام از این الگوریتم ها استفاده خودشونو دارن و نمیشه گفت یکی از اینها برتری نسبت به بقیه داره

مثلا زمانی که میخوایین از یک دیتاست سریع یه ارزیابی داشته باشین، الگوریتم #XGBoost توصیه میشه (نه تنها برای تسک سری زمانی بلکه برای تسک #Estimation هم خوب جواب میده). اما وقتی میخوایین عمیق تر بشین و الگوهای پیچیده رو پیدا کنین میشه از روش بازگشتی مثل LSTM استفاده کرد.
اینم در نظر داشته باشین بعضی از دیتاست ها الگو پیچیده ای ندارن و استفاده از الگوریتم های پیچیده مزیت خاصی نداره و شایدم هزینه زیادی نسبت به بقیه داشته باشه

مزایا و معایب هر کدوم از این روشارو بخونید

@silicon_brain | از هوش مصنوعی عقب نمانید

مدل جالب Sapiens برای وظایف مختلف حوزه بینایی کامپیوتر

بخش Reality شرکت #Meta یک مجموعه مدل بنام Sapiens معرفی کرده که مخصوص چهار تسک مهم بینایی کامپیوتر با محوریت انسان هست:
- تخمین ژست (#Pose_Estimation)
- سگمنت اعضای بدن (#Body_part_Segmentation)
- تخمین عمق (#Depth_Estimation)
- پیش‌بینی نرمال سطح (#Surface_Normal_Prediction)

- مدل‌ها بر پایه ویژن ترنسفورمرها طراحی شدن.
- مدل‌ها ورودی رزولوشن بالا در اندازه 1024×1024 قبول میکنن.
- روی 300 میلیون تصویر انسان آموزش دیدن.
- چهار مدل به سایزهای 0.3 0.6 1.0 2.0 بیلیون پارامتر ارائه شده.
- نسخه Pretrain و Finetune شده مدل‌ها در هاگینگ‌فیس قرار داده شده.
- مقاله Sapiens در ECCV پذیرفته شده.
مقاله | گیتهاب
@silicon_brain | از هوش مصنوعی عقب نمانید

احتمالا میدونید که #کتاب یادگیری عمیق گودفلو از اصلی ترین مراجع یادگیری عمیق هستش. تیم سیلیکون برین با کمک اعضای متخصص، اقدام به ترجمه و خلاصه سازی این کتاب در قالب 20 سری کرده و شما میتونید به صورت رایگان و داخل همین کانال این داکیومنت با ارزشو مطالعه کنید.

▫️مطالعه این کتاب برای همه افراد با هر سطح دانشی توصیه میشه
▫️زحمات بسیار زیادی برای جمع آوری و ترجمه این کتاب و انتشار بصورت رایگان کشیده شده، با به اشتراک گذاری و معرفی این پست از ما حمایت کنید.❤️

لیست:
- سری اول
- سری دوم
- سری سوم
- سری چهارم
- سری پنجم
- سری ششم
- سری هفتم
- سری هشتم
- سری نهم
- سری دهم
- سری یازدهم
- سری دوازدهم
- سری سیزدهم
- سری چهاردهم
- سری پانزدهم
- سری شانزدهم
- سری هفدهم
- سری هجدهم
- سری نوزدهم
- سری بیستم

#یادگیری_عمیق #گودفلو
@silicon_brain | از هوش مصنوعی عقب نمانید

یادمه چند سال پیش ناسا، ویدئو لانچ تلسکوپ جیمز وب رو تو یوتوب گذاشته بود و چند هزار تا دیسلایک خورده بود (در کنار چند صد هزار لایک)
میخوام اینو بگم که شما مفید ترین کار دنیا رو هم انجام بدین، همیشه افرادی پیدا میشن که کار شما رو دیس میکنن و انرژی منفی میدن.

معرفی مدل‌های xLAM سیلزفورس
این مدل‌ها از خانواده LLM ها هستند که برای تبدیل مقاصد کاربر به اعمال قابل اجرا تقویت شدند.

برای مثال با استفاده فراخوانی توابع مختلف ازجمله: استعلام آب‌وهوا، جستجوی گوگل، استعلام قیمت ارز و ... نتایج بروز، واقعی و دقیق رو خواهیم داشت.

مدل هفت میلیاردی این مجموعه، در ارزیابی‌ها بعد از Claude 3.5 و GPT-4 قرار گرفته است و یک مدل وزن‌باز ارزشمند 🥳 ولی غیرتجاری 😶‍🌫 به حساب می‌آید.


🤗 HF
🤗 HF-Spaces

@silicon_brain | با هم یک قدم جلوتر

آشنایی با مدل CLIP

یکی از مدل‌های چندرسانه‌ای (multi-modal) مطرح امروز، مدل #CLIP هستش که سال 2021 توسط #OpenAI معرفی شده. هدف از ساخت این مدل یه جورایی پر کردن شکاف بین بینایی کامپیوتر و پردازش زبان طبیعی هستش.
مدل CLIP این قابلیتو داره که همزمان متن و تصویر رو درک کنه و ارتباطات معنادار بینشونو شناسایی کنه. این ویژگی باعث میشه CLIP در کاربردهای مختلفی از جمله طبقه‌بندی تصاویر و توصیف متنی تصاویر بسیار موثر باشه.

این مدل با استفاده از مجموعه داده‌ای شامل ۴۰۰ میلیون جفت متن و تصویر که از اینترنت جمع‌آوری شده، آموزش دیده. برخلاف مدل‌های سنتی که معمولاً برای یک تسک خاص آموزش دیدن CLIP میتونه در تسک‌های متنوعی به کار گرفته بشه.

برای خوندن مقاله کامل و مشاهده پیاده سازی میتونین ویرگول و گیتهاب مارو چک کنید

ویرگول | گیتهاب

@silicon_brain | از هوش مصنوعی عقب نمانید

تو این تصویر ریاضیات تعدادی از مفاهیم ماشین لرنینگ نشون داده شده

میشه یه کار جالب کرد و از خودتون چند تا سوال بپرسید.
1- با چند تاش آشنا هستی؟
2- مفهوم چند تاشو میدونی؟
3- ریاضیات چندتاشو میدونی؟
4- اثبات چند تا شو میدونی؟
شاید واقعا دونستن همه ی اینا مهم نباشه اما یه چیزیو نشون میده اونم اینه که درک و تجربه شما از مفاهیم و ریاضیات ماشین لرنینگ چقدره

شیر کن (:
@silicon_brain | از هوش مصنوعی عقب نمانید

پکیج پایتون scholarly برای استخراج داده های گوگل اسکولار!

پکیج #scholarly به شما این امکانو میده که اطلاعات نویسنده و انتشارات رو از Google #Scholar به روشی دوستانه و #پایتونیک (حال کن اصطلاحو😅) بدون نیاز به حل کپچا بازیابی کنی.

میشه با این پکیج تحلیل های خوبی روی داده های گوگل اسکولار انجام بدید. اینکه مثلا:
سابقه علمی یک فرد (تعداد مقالات، عنوان مقالات، چکیده مقالات، سایتیشن، نویسندگان مشترک و ...) رو بدست بیارید. مثلا میتونید با تحلیل این داده ها حوزه کاری نویسنده های برتر رو بدست بیارید.
یا مثلا براساس دانشگاه سرچ کنید و تمام مقالات یک دانشگاه خاص رو استخراج بعد با فیلترهای ساده یا تکنیک های NLP و Machine Learning حوزه های کاری و پژوهشی هر دانشگاه رو بدست بیارید.
یا اگر میخواید اپلای کنید و دنبال استاد هستید، موضوع کاری خودتون رو توی هر دانشگاه سرچ و اساتید فعال اون حوزه رو پیدا کنید. یا مورد بعدی اینکه مقالات کشور / دانشگاه یا ... رو در طول زمان تحلیل و بررسی کنید که روند پژوهش ها به چه سمتی میره و جامعه علمی بیشتر روی چه موضوعاتی کار می کنه.
گیتهاب | پای پای
@silicon_brain | از هوش مصنوعی عقب نمانید

یه بنده‌خدایی یک ماه پیش یه وبسایت بامزه ساخته بوده به اسم One Million Checkboxes که توش فقط یک میلیون‌تا چک‌باکس داشته. تنها نکته‌ش هم این بوده که هر یوزری که یه باکس رو چک/آن‌چک می‌کرده، برای همه تغییر می‌کرده!

برخلاف تصورش که این یه پروژه سرگرمی بامزه بوده، این وبسایت یهو می‌زنه و معروف می‌شه و ۵۰۰هزار تا یوزر میاره که ۶۵۰ میلیون بار چک‌باکس‌ها رو عوض می‌کنن و حتی خبرش توی نیویورک تایمز و واشینگتن پست هم می‌ره!

برای این‌که این اطلاعات (یک میلیون صفر یا یک) رو سریع بتونه به یوزرهای آنلاین بده، اومده برای هر چک‌باکس یه بیت درنظر گرفته و کل دیتا رو در ۱۲۵هزار بایت (۱۲۵کیلو بایت) منتقل می‌کرده، که تقریباً سایز یه عکس معمولیه.

از نظر فنی هم اینا رو base64-encoded توی #Redis نگه می‌داشته.

خلاصه، بعد چند روز یهو میاد این دیتا رو (یه مشت صفر ویک) به‌صورت بایت‌های کاراکترهای ASCII در قالب یه کپی از دیتابیس ببینه که یهو می‌بینه: عه! وسطش یه آدرس وبسایت اومده!
و پشمای طرف در جا می‌ریزه که هک شده‌ام و به فنا داریم می‌ریم! یکی تونسته یه آدرس اینترنتی توی دیتابیس ما بذاره و خدا می‌دونه توش چی هست

ادامه در کامنت

اجرای مدل های AI در Device های مختلف بدون نیاز به API Call

پلتفرم #Nexaai یه هابی از مدل های هوش مصنوعی برای Device (به اصطلاح On-Device AI) ارائه میده که بیشتر از 700 مدل هوش مصنوعی کوانتیزه‌شده در دسته‌های #NLP ، تصویر، صدا و مدل‌های Multimodal داره.

این پلتفرم به کاربر اجازه مبده تا مدل‌ ها رو به صورت local روی دستگاه‌هایی مثل گوشی‌، #embedded_system ها و کامپیوترها اجرا کنه و امر باعث میشه تا هوش مصنوعی برای دستگاه‌هایی با منابع محدود در دسترس‌تر بشه.

همچنین Nexa AI برای سری #Octopus که جز مدل‌های Multimodal هستن و ورودی‌های متن و تصویری میگیرن، شناخته شده و حتی عملکردی قابل مقایسه با مدل‌های پیشرفته مانند GPT-4 ارائه می‌دن. این مدل‌ها برای محیط‌های کم‌منبع بهینه‌سازی شدن و میتونن با استفاده از Nexa's SDK، که از CPU، GPU و inference ترکیبی پشتیبانی میکنه به کار گرفته بشه و مدلو برای پلتفرم‌های مختلف مثل Android، iOS و Windows قابل اجرا کنه.
لینک

@silicon_brain | از هوش مصنوعی عقب نمانید

مدل Llama-3.1-SuperNova-Lite با تعداد پارامتر 8B توسط Arcee.ai بر اساس معماری Llama-3.1-8B-Instruct توسعه یافته.
در واقع سوپرنوا یک نسخه بزرگتر از Llama-3.1-405B-Instruct هستش که از لاجیت های آفلاین استخراج شده از نوع پارامتر 405B استفاده میکنه.
میشه گفت جایگزین Llama3.1 فقط می‌تونه یک نسخه بهتر براساس همین معماری باشه :
arcee-ai/Llama-3.1-SuperNova-Lite

همونطور که گفته شد مدل ۸ میلیارد پارامتری هست، مدل ۷۰ میلیاردی فقط از طریق API در دسترس هست.

طبق ادعا از 405b, gpt4o, ... بهتر عمل می‌کنه؛ البته برای تسک‌های مربوط به instruction-following
#Llama
هاگینگ فیس
@silicon_brain | از هوش مصنوعی عقب نمانید