یک pipeline یادگیری ماشین طراحی کردی، که شامل مراحل preprocessing، training و deployment هست. حالا میخوای با استفاده از ابزارهای MLOps، این pipeline رو قابل تکرار (reproducible) و قابل versioning کنی
Anonymous Quiz
4%
ذخیره فایل مدل نهایی در یک پوشه local با نام تاریخ روز آموزش
47%
استفاده از Git برای version کردن کد و استفاده از DVC یا MLflow برای version کردن دادهها و مدلها
7%
ذخیره hyperparameterها در یک فایل JSON و بارگذاری دستی در هر اجرا
8%
استفاده از Jupyter Notebook برای اجرای pipeline و ذخیره نتایج در سلولها
33%
دیدن نتایج
به نظرم به کارگیری هوش مصنوعی در مشاغل برای کشور های پیشرفته بهتر از کشور های در حال توسعه (یا جهان سوم) هست. چرا؟
تو کشورهای پیشرفته که جمعیت کاری کمتر یا مسنتری دارن، استفاده از AI برای جایگزینی نیروی انسانی تو خیلی از مشاغل تکراری یا نیازمند دقت بالا منطقیتره. AI میتونه کمبود نیروی انسانی رو جبران کنه و رشد اقتصادی رو همزمان حفظ کنه.
تو کشورهای جهان سوم با نیروی کار زیاد اما آموزشندیده، جایگزینی انسان با AI میتونه باعث افزایش بیکاری و شکاف طبقاتی بشه (مخصوصا اگه بدون برنامهریزی انجام بشه).
قطعا موضوع مطرح شده دلیلی بر این نیست که تو کشورهای در حال توسعه نباید هوش مصنوعی استفاده بشه. اما استفاده شدن بدون برنامه ریزی پتانسیل ایجاد بحرانو داره!
@silicon_brain | از هوش مصنوعی عقب نمانید
تو کشورهای پیشرفته که جمعیت کاری کمتر یا مسنتری دارن، استفاده از AI برای جایگزینی نیروی انسانی تو خیلی از مشاغل تکراری یا نیازمند دقت بالا منطقیتره. AI میتونه کمبود نیروی انسانی رو جبران کنه و رشد اقتصادی رو همزمان حفظ کنه.
تو کشورهای جهان سوم با نیروی کار زیاد اما آموزشندیده، جایگزینی انسان با AI میتونه باعث افزایش بیکاری و شکاف طبقاتی بشه (مخصوصا اگه بدون برنامهریزی انجام بشه).
قطعا موضوع مطرح شده دلیلی بر این نیست که تو کشورهای در حال توسعه نباید هوش مصنوعی استفاده بشه. اما استفاده شدن بدون برنامه ریزی پتانسیل ایجاد بحرانو داره!
@silicon_brain | از هوش مصنوعی عقب نمانید
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
پیشبینی صد سال پیش آرتور سی کلارک
اونایی که تو این زمینهها فعالیت دارن دچار بایاس ذهنی پیشرفت هستن. خیلی وقتها متوجه نیستیم که این پیشرفت های ریز مداوم مارو تو مهم ترین عصر انتقال هوشمندی قرار داده و ما همه وظیفه این انتقالو داریم
@silicon_brain I از هوش مصنوعی عقب نمانید
اونایی که تو این زمینهها فعالیت دارن دچار بایاس ذهنی پیشرفت هستن. خیلی وقتها متوجه نیستیم که این پیشرفت های ریز مداوم مارو تو مهم ترین عصر انتقال هوشمندی قرار داده و ما همه وظیفه این انتقالو داریم
@silicon_brain I از هوش مصنوعی عقب نمانید
Please open Telegram to view this post
VIEW IN TELEGRAM
پیشرفت چشمگیر DeepSeek-Prover-V2 در ترکیب منطق غیررسمی و رسمی
مدل DeepSeek-Prover-V2 توسط محققان DeepSeek-AI برای پر کردن شکاف بین استدلال غیررسمی و رسمی در ریاضیات معرفی شده.
این مدل، توانایی تبدیل شهود ریاضی رو به اثباتهای دقیق و قابل راستیآزمایی داره.
مدل DeepSeek-Prover-V2 با تقسیم مسائل پیچیده به بخشهای کوچکتر و حفظ دقت لازم، بررسی مسائل پیچیده رو آسانتر میکنه. این مدل با استفاده از یادگیری تقویتی و دادههای آموزشی زیاد، تونسته عملکرد بسیار خوبی در چندین بنچمارک معتبر داشته باشه.
لینک
@silicon_brain I از هوش مصنوعی عقب نمانید
مدل DeepSeek-Prover-V2 توسط محققان DeepSeek-AI برای پر کردن شکاف بین استدلال غیررسمی و رسمی در ریاضیات معرفی شده.
این مدل، توانایی تبدیل شهود ریاضی رو به اثباتهای دقیق و قابل راستیآزمایی داره.
مدل DeepSeek-Prover-V2 با تقسیم مسائل پیچیده به بخشهای کوچکتر و حفظ دقت لازم، بررسی مسائل پیچیده رو آسانتر میکنه. این مدل با استفاده از یادگیری تقویتی و دادههای آموزشی زیاد، تونسته عملکرد بسیار خوبی در چندین بنچمارک معتبر داشته باشه.
لینک
@silicon_brain I از هوش مصنوعی عقب نمانید
مدیرعامل گیتهاب Thomas Dohmke که سورس های دنیا دستشه صحبتای جالبی داشته
گفته که هوش مصنوعی میتونه روند کدنویسی رو تسریع کنه و دسترسی به فناوری رو دموکراتیک کنه اما جایگزین کدنویسی نیست.
ایشون بر این باوره که هوش مصنوعی با سرعتبخشیدن به فرآیندها و افزایش بهرهوری، میتونه به برنامهنویسها کمک کنه بدون اینکه نیاز به مهارتهای انسانی کاهش پیدا کنه. Dohmke معتقده که آموزش برنامهنویسی باید از سنین پایین تو مدارس تدریس بشه و همچنان نیاز حیاتی برای مهارتهای انسانی در رفع مشکلات پیچیده نرمافزاری لازمه
@silicon_brain I از هوش مصنوعی عقب نمانید
گفته که هوش مصنوعی میتونه روند کدنویسی رو تسریع کنه و دسترسی به فناوری رو دموکراتیک کنه اما جایگزین کدنویسی نیست.
ایشون بر این باوره که هوش مصنوعی با سرعتبخشیدن به فرآیندها و افزایش بهرهوری، میتونه به برنامهنویسها کمک کنه بدون اینکه نیاز به مهارتهای انسانی کاهش پیدا کنه. Dohmke معتقده که آموزش برنامهنویسی باید از سنین پایین تو مدارس تدریس بشه و همچنان نیاز حیاتی برای مهارتهای انسانی در رفع مشکلات پیچیده نرمافزاری لازمه
@silicon_brain I از هوش مصنوعی عقب نمانید
Forwarded from هشتگ تبلیغ تخصصی
ــــــــــــــــــــــــــــــــــــ
⁉️ چرا این دوره:
ــــــــــــــــــــــــــــــــــــ
⁉️ مخاطبین این دوره چه کسانی هستند؟
💥 دانشجویان و فارغ التحصیلان کارشناسی وتحصیلات تکمیلی در رشتههای فنی مهندسی، علوم انسانی و رشتههای علوم پایه
💥 اعضای تیم هوش مصنوعی شاغل در استارتاپها، سازمانها و کسبوکارها
💥 علاقمندان به حوزه صنعت، یادگیری ماشین، پردازش تصویر و بینایی ماشین
💥 دانشجویانی که قصد نوشتن پایان نامه در این حوزه را دارند
💥 افرادی که قصد مهاجرت کاری یا تحصیلی دارند
ــــــــــــــــــــــــــــــــــــــ
از طریق لینک زیر اقدام نمایید
ـــــــــــــــــــــــــــــــــــ
02188905269
02191096546
@onacademy
Please open Telegram to view this post
VIEW IN TELEGRAM
جمنای و درک ویدیو!
گوگل دو مدل جدید از
میتونه تا ۶ ساعت ویدیو رو با context window دو میلیون token بررسی کنه، که پیشرفت بزرگیه.
توی taskهای مثل dense captioning (مثلاً دیتاست YouCook2) و moment retrieval (مثل QVHighlights) هم عملکردش خوب بوده
این مدل از لحاظ
از لحاظ
- توی یه keynote ده دقیقهای، ۱۶ بخش محصول مختلف رو تشخیص بده.
- ۱۷ بار تکرار یه حرکت خاص رو توی ویدیو بشماره — اونم با دقت فریمبهفریم!
ویدیو رو به بخشهای برچسبخورده تقسیم کنه بدون اینکه دستی لازم باشه.
کل ویدیو رو با تمام context تحلیل کنه.
از طریق Gemini API یا AI Studio میتونی بهش دسترسی داشته باشی.
لینک
@silicon_brain | از هوش مصنوعی عقب نمانید
گوگل دو مدل جدید از
Gemini
برای درک ویدیو و ساخت اپلیکیشن از یوتیوب معرفی کرده. مدل اصلی که اسمش Gemini 2.5 Pro
هست، قابلیت تحلیل ویدیوهای چندساعته رو داره و تو تستها حتی از GPT-4.1 هم بهتر عمل کرده (با ورودی مشابه)میتونه تا ۶ ساعت ویدیو رو با context window دو میلیون token بررسی کنه، که پیشرفت بزرگیه.
توی taskهای مثل dense captioning (مثلاً دیتاست YouCook2) و moment retrieval (مثل QVHighlights) هم عملکردش خوب بوده
این مدل از لحاظ
multimodal integration
هم قویه. میتونه ورودیهای مختلف مثل لینک یوتیوب، فایل ویدیو، یا سوالات متنی رو با هم ترکیب کنه. از لحاظ
temporal reasoning
هم خوبه و میتونه:- توی یه keynote ده دقیقهای، ۱۶ بخش محصول مختلف رو تشخیص بده.
- ۱۷ بار تکرار یه حرکت خاص رو توی ویدیو بشماره — اونم با دقت فریمبهفریم!
ویدیو رو به بخشهای برچسبخورده تقسیم کنه بدون اینکه دستی لازم باشه.
کل ویدیو رو با تمام context تحلیل کنه.
از طریق Gemini API یا AI Studio میتونی بهش دسترسی داشته باشی.
لینک
@silicon_brain | از هوش مصنوعی عقب نمانید
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
مدت ها پیش یه دیتاست فارسی درست کردم به نام
که یه دیتاست ترکیبی هستش که از استوریهای اینستاگرام گردآوری شده (با در نظر گرفتن حریم خصوصی)
الان، تصمیم گرفتم این دیتاست رو به صورت عمومی منتشر کنم
این دیتاست علاوه بر متنهای فارسی منتشرشده در استوریها (ویژگی متنی content)، شامل ویژگیهای گرافیکی مانند رنگ پسزمینه، رنگ متن و فونت نیز هستش. برای همین، hystoclass برای مدلسازیهای چندوجهی (متنی-تصویری یا متنی-جدولی) بسیار مناسب است.
دستهبندیها
این دیتاست با نظارت انسانی به ۱۸ دسته مختلف تقسیم شده.
گیتهاب | هاگینگفیس
این دیتاست اطلاعات خوبی برای پژوهش در حوزههای پردازش زبان طبیعی (NLP)، تحلیل شبکههای اجتماعی و طبقهبندی ترکیبی متن و ویژگیهای گرافیکی ارائه میده.
با لایک و استار ⭐️ در گیتهاب و هاگینگفیس حمایت کنین❤️
hystoclass
(hybrid social text and tabular classification) که یه دیتاست ترکیبی هستش که از استوریهای اینستاگرام گردآوری شده (با در نظر گرفتن حریم خصوصی)
الان، تصمیم گرفتم این دیتاست رو به صورت عمومی منتشر کنم
این دیتاست علاوه بر متنهای فارسی منتشرشده در استوریها (ویژگی متنی content)، شامل ویژگیهای گرافیکی مانند رنگ پسزمینه، رنگ متن و فونت نیز هستش. برای همین، hystoclass برای مدلسازیهای چندوجهی (متنی-تصویری یا متنی-جدولی) بسیار مناسب است.
دستهبندیها
این دیتاست با نظارت انسانی به ۱۸ دسته مختلف تقسیم شده.
گیتهاب | هاگینگفیس
این دیتاست اطلاعات خوبی برای پژوهش در حوزههای پردازش زبان طبیعی (NLP)، تحلیل شبکههای اجتماعی و طبقهبندی ترکیبی متن و ویژگیهای گرافیکی ارائه میده.
با لایک و استار ⭐️ در گیتهاب و هاگینگفیس حمایت کنین❤️
This media is not supported in your browser
VIEW IN TELEGRAM
تبدیل فایل به دیتاست!
مایکروسافت یه ابزار خفن و open-source به نام MarkItDown MCP معرفی کرده که هر فایل رو به یه دیتاست آماده برای مدلهای زبانی تبدیل میکنه!
انواع مختلف ورودی میتونه بگیره از جمله فایلهای PDF، ورد، پاورپوینت، صدا و تصویر. و خروجیش یه Markdown تمیز، Structurable و آماده برای LLMهاست که در ادامه میتونه کلی استفاده داشته باشه
اما فقط یه مبدل ساده نیست، این کارها رو هم انجام میده:
- متن رو از عکسها استخراج میکنه (OCR)
- برای تصاویر کپشن هوشمند میسازه
- متادیتا و EXIF رو درمیاره
- صدا رو به متن تبدیل میکنه (transcription)
خودم باهاش کار میکنم و جزئیات بیشتری ازش میگم
لینک
@silicon_brain | از هوش مصنوعی عقب نمانید
مایکروسافت یه ابزار خفن و open-source به نام MarkItDown MCP معرفی کرده که هر فایل رو به یه دیتاست آماده برای مدلهای زبانی تبدیل میکنه!
انواع مختلف ورودی میتونه بگیره از جمله فایلهای PDF، ورد، پاورپوینت، صدا و تصویر. و خروجیش یه Markdown تمیز، Structurable و آماده برای LLMهاست که در ادامه میتونه کلی استفاده داشته باشه
اما فقط یه مبدل ساده نیست، این کارها رو هم انجام میده:
- متن رو از عکسها استخراج میکنه (OCR)
- برای تصاویر کپشن هوشمند میسازه
- متادیتا و EXIF رو درمیاره
- صدا رو به متن تبدیل میکنه (transcription)
خودم باهاش کار میکنم و جزئیات بیشتری ازش میگم
لینک
@silicon_brain | از هوش مصنوعی عقب نمانید
همه این عناوین جذاب و مهم رو با این ریپو میتونید یاد بگیرید
لینک
@silicon_brain| از هوش مصنوعی عقب نمانید
لینک
@silicon_brain| از هوش مصنوعی عقب نمانید
هوش مصنوعی شخصیسازیشده برای پلیلیست اسپاتیفای
تو این ریپو هر بار که اسکریپتو اجرا کنید، پلیلیست اسپاتیفایت با ۲۰ تا آهنگ پیشنهادیِ جدید که قبلاً معرفی نشده بوده، آپدیت میشه.
هر چند بار در روز که بخوای هم میتونی اجراش کنی(لازم نیست یه هفته صبر کنه تا Discover Weekly آپدیت بشه )
وصل کردنش از طریق
لینک
@silicon_brain| از هوش مصنوعی عقب نمانید
تو این ریپو هر بار که اسکریپتو اجرا کنید، پلیلیست اسپاتیفایت با ۲۰ تا آهنگ پیشنهادیِ جدید که قبلاً معرفی نشده بوده، آپدیت میشه.
هر چند بار در روز که بخوای هم میتونی اجراش کنی(لازم نیست یه هفته صبر کنه تا Discover Weekly آپدیت بشه )
وصل کردنش از طریق
SPOTIPY_CLIENT_ID
و SPOTIPY_CLIENT_SECRET
هست. لینک
@silicon_brain| از هوش مصنوعی عقب نمانید
افت عملکرد مدلها در مکالمات پیچیده!
در پژوهشی جدید که شامل بیش از ۲۰۰هزار مکالمه شبیهسازیشده بوده، مشخص شده که عملکرد LLmها در مکالمات چندمرحلهای، نسبت به مکالمات تکمرحلهای، بهطور متوسط ۳۹٪ کاهش پیدا میکنه.
چرا این اتفاق میافته؟
برخلاف تصور رایج، چالش اصلی LLMها تو این موضوع فقط مربوط به درک زبان یا حجم داده نیست، بلکه به نحوه تصمیمگیری در جریان مکالمه مربوط میشه.
این مشکل دو تا ریشهی اصلی داره:
1. فرضیهسازی زودهنگام
مدلها معمولاً در مراحل ابتدایی مکالمه فرضیههایی رو میسازن، حتی وقتی اطلاعات کافی ندارن خیلی زود سعی میکنند به یک پاسخ نهایی برسن.
2. اعتماد بیش از حد به پاسخهای قبلی
در ادامهی مکالمه، مدل به پاسخهای قبلی خودش بیش از حد اعتماد میکنه و مسیر اشتباه رو ادامه میده حتی اگه کاربر اطلاعات جدیدی ارائه بده. به زبان ساده، مدل گم میشه و دیگر راهش رو پیدا نمیکنه.
چکار میشع کرد که کمتر این اتفاق بیفته؟
پرامپتهای ساختار یافته و مرحلهای
حفظ شفافیت در مراحل مکالمه
استفاده از مدلهای مجهز به حافظه
@silicon_brain I از هوش مصنوعی عقب نمانید
در پژوهشی جدید که شامل بیش از ۲۰۰هزار مکالمه شبیهسازیشده بوده، مشخص شده که عملکرد LLmها در مکالمات چندمرحلهای، نسبت به مکالمات تکمرحلهای، بهطور متوسط ۳۹٪ کاهش پیدا میکنه.
چرا این اتفاق میافته؟
برخلاف تصور رایج، چالش اصلی LLMها تو این موضوع فقط مربوط به درک زبان یا حجم داده نیست، بلکه به نحوه تصمیمگیری در جریان مکالمه مربوط میشه.
این مشکل دو تا ریشهی اصلی داره:
1. فرضیهسازی زودهنگام
مدلها معمولاً در مراحل ابتدایی مکالمه فرضیههایی رو میسازن، حتی وقتی اطلاعات کافی ندارن خیلی زود سعی میکنند به یک پاسخ نهایی برسن.
2. اعتماد بیش از حد به پاسخهای قبلی
در ادامهی مکالمه، مدل به پاسخهای قبلی خودش بیش از حد اعتماد میکنه و مسیر اشتباه رو ادامه میده حتی اگه کاربر اطلاعات جدیدی ارائه بده. به زبان ساده، مدل گم میشه و دیگر راهش رو پیدا نمیکنه.
چکار میشع کرد که کمتر این اتفاق بیفته؟
پرامپتهای ساختار یافته و مرحلهای
حفظ شفافیت در مراحل مکالمه
استفاده از مدلهای مجهز به حافظه
@silicon_brain I از هوش مصنوعی عقب نمانید
Please open Telegram to view this post
VIEW IN TELEGRAM
متریک های ارزیابی LLM ها
اینا رایجترین و مهمترین متریکهایی هستن که معمولاً قبل از این که سیستم LLM رو ببری توی محیط واقعی بهشون نیاز پیدا میکنی:
بررسی میکنه که آیا جواب مدل با سؤال یا ورودی مربوطه یا نه؛ یعنی جواب درست و جمعوجوره یا نه.
چک میکنه که آیا مدل تونسته اون کاری که براش تعریف شده رو تا آخر انجام بده یا نه.
مشخص میکنه که خروجی مدل از نظر اطلاعات واقعی درسته یا نه.
بررسی میکنه که مدل اطلاعات ساختگی یا جعلی تولید کرده یا نه.
اگه مدل از ابزارهایی استفاده میکنه، این متریک بررسی میکنه که آیا ابزار درست رو برای کار مورد نظر انتخاب کرده یا نه.
اگه سیستم LLMت بر پایه RAG (Retrieval-Augmented Generation) باشه، این بررسی میکنه که آیا اطلاعاتی که به عنوان context جمعآوری شده، واقعاً به درد مدل میخوره یا نه.
شامل متریکهایی مثل Bias و Toxicity (محتوای سمی یا آزاردهنده) هستن، که بررسی میکنن آیا خروجی مدل محتوای آسیبزا یا توهینآمیز داره یا نه.
اینا بستگی به کاربرد خاص مدل دارن، مثل وقتی که داری خلاصهسازی انجام میدی و یه سری معیار خاص خودت رو داری.
در کل، بیشتر متریکها عمومیان و برای همهی مدلها کاربرد دارن، ولی برای اینکه دقیقتر روی یه کاربرد خاص تمرکز کنی، کافی نیستن. واسه همین معمولاً باید یه متریک سفارشی Task-Specific داشته باشی تا سیستم ارزیابیت واقعاً به درد production بخوره.
مثلاً اگه اپلیکیشن LLMت واسه خلاصهکردن خبرها طراحی شده، لازمه یه متریک ارزیابی خاص داشته باشی که این چیزا رو بررسی کنه:
- خلاصه، اطلاعات کافی از متن اصلی داره یا نه؟
- آیا توی خلاصه، تناقض یا تخیلات (hallucinations) نسبت به متن اصلی هست یا نه؟
اینجا یه داکیومنتی خوبی در موردش نوشتن
@silicon_brain | از هوش مصنوعی عقب نمانید
اینا رایجترین و مهمترین متریکهایی هستن که معمولاً قبل از این که سیستم LLM رو ببری توی محیط واقعی بهشون نیاز پیدا میکنی:
Answer Relevancy
: بررسی میکنه که آیا جواب مدل با سؤال یا ورودی مربوطه یا نه؛ یعنی جواب درست و جمعوجوره یا نه.
Task Completion:
چک میکنه که آیا مدل تونسته اون کاری که براش تعریف شده رو تا آخر انجام بده یا نه.
Correctness:
مشخص میکنه که خروجی مدل از نظر اطلاعات واقعی درسته یا نه.
Hallucination
: بررسی میکنه که مدل اطلاعات ساختگی یا جعلی تولید کرده یا نه.
Tool Correctness:
اگه مدل از ابزارهایی استفاده میکنه، این متریک بررسی میکنه که آیا ابزار درست رو برای کار مورد نظر انتخاب کرده یا نه.
Contextual Relevancy
:اگه سیستم LLMت بر پایه RAG (Retrieval-Augmented Generation) باشه، این بررسی میکنه که آیا اطلاعاتی که به عنوان context جمعآوری شده، واقعاً به درد مدل میخوره یا نه.
Responsible Metrics:
شامل متریکهایی مثل Bias و Toxicity (محتوای سمی یا آزاردهنده) هستن، که بررسی میکنن آیا خروجی مدل محتوای آسیبزا یا توهینآمیز داره یا نه.
Task-Specific Metrics:
اینا بستگی به کاربرد خاص مدل دارن، مثل وقتی که داری خلاصهسازی انجام میدی و یه سری معیار خاص خودت رو داری.
در کل، بیشتر متریکها عمومیان و برای همهی مدلها کاربرد دارن، ولی برای اینکه دقیقتر روی یه کاربرد خاص تمرکز کنی، کافی نیستن. واسه همین معمولاً باید یه متریک سفارشی Task-Specific داشته باشی تا سیستم ارزیابیت واقعاً به درد production بخوره.
مثلاً اگه اپلیکیشن LLMت واسه خلاصهکردن خبرها طراحی شده، لازمه یه متریک ارزیابی خاص داشته باشی که این چیزا رو بررسی کنه:
- خلاصه، اطلاعات کافی از متن اصلی داره یا نه؟
- آیا توی خلاصه، تناقض یا تخیلات (hallucinations) نسبت به متن اصلی هست یا نه؟
اینجا یه داکیومنتی خوبی در موردش نوشتن
@silicon_brain | از هوش مصنوعی عقب نمانید