داکیومنتی برای ساخت اولین سیستم RAG

فک کنم الان همه در مورد RAG و اهمیتش بدونن ولی اگه میخوای برای پیاده سازیش یه رودمپ خوبی داشته باشی میتونی از این داکیومنت استفاده کنی

این فایل آموزشی شامل مراحل ساخت یک سیستم RAG ساده برای پاسخگویی به سوالات بر اساس اسناد هستش. مفاهیم کلیدی مانند استخراج متن (Text Extraction)، تقسیم‌بندی متن (Text Chunking) و جستجوی برداری (Vector Search) و تمامی مباحث مورد نیاز رو پوشش داده.

@silicon_brain | از هوش مصنوعی عقب نمانید

مدیرعامل OpenAI، سم آلتمن:

نکاتی که سم آلتمن تو بلاگش منتشر کرده:

- هوش مصنوعی به صورت لگاریتمی با منابع افزایش پیدا می‌کنه و هیچ نقطه اشباعی برای اون وجود نداره.
- هزینه‌های هوش مصنوعی با سرعت بی‌سابقه‌ای کاهش پیدا می‌کنه و هر ۱۲ ماه ۱۰ برابر کاهش پیدا می‌کنه.
- عامل‌های هوش مصنوعی به عنوان نیروی کار مقیاس‌پذیر با دانش در نظر گرفته می‌شن که کارهای محدود رو به صورت گسترده انجام می‌دن.
- انتظار میره پیشرفت علم با خودکار شدن وظایف پیچیده استدلالی سرعت بگیره.
- هوش مصنوعی به طور گسترده در بخش‌های اقتصادی ادغام می‌شه و فرآیندهای کاری رو تغییر
می‌ده بدون اینکه اختلالات بزرگی ایجاد کنه.

@silicon_brain | از هوش مصنوعی عقب نمانید

بهشت دیتاست ها

امروز آرشیو داده‌های data.gov رو روی Source Cooperative منتشر کردن.

این مجموعه 16 ترابایتی شامل بیش از 311,000 دیتاست هست که در سال‌های 2024 و 2025 جمع‌آوری شده، و یه آرشیو کامل از داده‌های عمومی فدرال هست که توسط data.gov لینک شدن.

این آرشیو به‌طور روزانه آپدیت میشه و داده‌های جدید به data.gov اضافه می‌شه.
لینک

@silicon_brain | از هوش مصنوعی عقب نمانید

🔹 معرفی OpenRouter 🔹

اگر به دنبال یک راه عالی برای مقایسه و رتبه‌بندی مدل‌های زبان بزرگ (LLM) هستید، سایت OpenRouter گزینه‌ی فوق‌العاده‌ای است! 🚀

🔍 این پلتفرم رتبه‌بندی مدل‌های مختلف را براساس عملکرد و کیفیت آن‌ها ارائه می‌دهد و به شما کمک می‌کند تا بهترین مدل را برای نیازهای خود انتخاب کنید.

📊 از مقایسه‌ی مدل‌های قدرتمند گرفته تا بررسی قابلیت‌های API، همه‌چیز در OpenRouter در دسترس شماست!
https://openrouter.ai/rankings

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

به‌روزرسانی مهم OpenAI: انتشار نسخه ‏جدید Model Spec

شرکت OpenAI به‌تازگی نسخه جدیدی از سند «Model Spec» رو منتشر کرده؛ این سند ۶۳ صفحه‌ای چارچوبی رو تعیین میکنه که نشون میده مدل‌های هوش مصنوعی در موقعیت‌های مختلف چطور باید رفتار کنن. این به‌روزرسانی قوانین سخت‌گیرانه‌تری را برای کاهش تعصب و بهبود دقت اطلاعاتی معرفی کرده.

نکات برجسته:
-اولویت‌بندی قوانین پلتفرم: قوانین پلتفرم بالاتر از ترجیحات توسعه‌دهنده و کاربر قرار میگیره.

-برخورد با موضوعات بحث‌برانگیز: به‌جای بی‌طرفی، تمرکز روی دقت اطلاعاتی.

-کاهش چاپلوسی هوش مصنوعی: مدل‌ها نباید تعصبات کاربر را تقویت کنن.

-گزینه‌های سفارشی‌سازی: شامل آزمایش‌هایی برای «حالت بزرگسالان» برای مدیریت محتوای بالغ.

-انتشار در حوزه عمومی: این سند تحت مجوز CC0 منتشر شده تا شرکت‌های هوش مصنوعی یتونن ازش استفاده یا تغییر بدن.
-در واقع OpenAI با این تغییرات میخواد نشون بده که برای همگام‌سازی رفتار مدل‌ها با استانداردهای اجتماعی و ملاحظات اخلاقی داره تلاش میکنه،
لینک
@silicon_brain | از هوش مصنوعی عقب نمانید

مدل‌های سری o از OpenAI، مانند o3 و o3-mini، برای وظایف پیچیده و چندمرحله‌ای طراحی شدن. این مدل‌ها در حوزه‌هایی مانند مالی، حقوقی و مهندسی که نیاز به دقت بالایی دارن عملکرد برجسته‌ خودشونو نشون میدن. برخلاف مدل‌های GPT که وظایف مشخص رو به‌خوبی انجام میدن مدل‌های سری o توانایی استراتژی‌سازی و تصمیم‌گیری خوبی دارن.

اگه حوصله داشتی این داکیومنت رو بخونی، میگه که:
Learn when to use reasoning models and how they compare to GPT models.
اگرم که حوصلشو نداری خلاصه ش اینه که:
-مدل‌های سری o برای استدلال و تصمیم‌گیری طراحی شدن در حالی که مدل‌های GPT برای انجام وظایف تعریف‌شده کارآمدتر هستن.
-در پروژه‌هایی با پیچیدگی بالا و نیاز به تحلیل عمیق، مدل‌های سری o انتخاب مناسبی هستن.
-برای بهره‌گیری بهینه، دستورات باید به‌صورت واضح و مرحله‌به‌مرحله به مدل‌های سری o ارائه شود.

@silicon_brain | از هوش مصنوعی عقب نمانید

استفاده از توابع Async در بک اند یادگیری ماشین

فقط ساختن مدل یادگیری ماشین که هنر نیست باید بتونی خیلی بهینه سرویسش کنی و رو پروداکشن استفاده بشه

تو یادگیری ماشین معمولاً یه عالمه تسک سنگین داریم، مثل پردازش داده، یادگیری مدل، کوئری زدن به دیتابیس، یا حتی تعامل با APIها. اگه همه‌ی اینا به صورت سینکرون (همزمان) اجرا بشن، کلی وقت هدر میره، چون برنامه منتظر می‌مونه تا هر تسک یکی‌یکی انجام بشه.

حالا فرض کن داری یه API می‌نویسی که مدل یادگیری ماشینت قراره در لحظه به درخواست‌های مختلف جواب بده. اگه بدون async این کار رو کنی، هر درخواست جدید باید منتظر بمونه تا قبلی تموم بشه. اما با async می‌تونی چندین درخواست رو موازی (concurrent) پردازش کنی.

مثلاً تو یه پروژه FastAPI که یه مدل یادگیری ماشین داره، می‌تونی اینجوری از async استفاده کنی:

from fastapi import FastAPI
import asyncio

app = FastAPI()

async def predict_async():
    await asyncio.sleep(2)  # شبیه‌سازی پردازش سنگین
    return {"prediction": "نتیجه مدل"}
@app.get("/predict")
async def predict():
    return await predict_async()

اینجا هر درخواست جدید لازم نیست منتظر تموم شدن درخواست قبلی بمونه، بلکه همه‌ی درخواست‌ها به صورت همزمان پردازش می‌شن.

اگه یه مدل یادگیری ماشین داری که باید سریع و real-time پاسخ بده، async باعث می‌شه درخواست‌ها همزمان پردازش بشن.
پس خلاصه بگم، async برای جاهایی که I/O زیادی داریم و نمی‌خوایم CPU بیخودی منتظر بمونه، خیلی مفیده. اما برای کارای محاسباتی خیلی سنگین (مثلاً یادگیری مدل) که فقط CPU داره کار می‌کنه، بهتره از چندپردازشی (multiprocessing) استفاده کنیم (در موردش میگم)
@silicon_brain | از هوش مصنوعی عقب نمانید

روزت مبارک مهندس 🥳❤️

تبریک این روز رو با معرفی دو مهندس بزرگ تاریخ داشته باشیم: John Mccarthy و Marvin Minsky

جان مک‌کارتی – پدر اصطلاح "هوش مصنوعی"، خالق زبان LISP و پیشگام تفکر منطقی در AI.
معتقد به سیستم Reasoning

ماروین مینسکی – مغز متفکر مدل‌های شناختی مغز و نظریه "جامعه ذهن".
معتقد به سیستم Learning و ترکیب بخش های مختلف هوش

@silicon_brain

فاز اینایی که از کانال های هوش مصنوعی مطالب رو کپی میکنن و تو صفحه شخصی لینکدینشون پست میکنن رو نمیفهمم
میخوای چیو نشون بدی با اینکارت؟ که خیلی فعالی!

حداقل دیدگاه یا تجربه خودتو در مورد اون مطلب بیان کن و گرنه صفحه شخصی تو آخرین بستری هست که کاربر برای دنبال کردن این مطالب چک میکنه.
بی فایده ست اینکار

مجددا روزت مبارک مهندس 😁

‏بنچمارک «MTEB» مخفف «Massive Text Embedding Benchmark» هست که یک معیار بزرگ برای سنجش عملکرد مدل‌های Text Embedding تو تسک های مختلفه

رتبه‌بندی مدل‌ها: MTEB یه Leaderboard داره که بهترین مدل‌های تعبیه متن رو مقایسه می‌کنه. بیش از 2000 نتیجه روی 56 دیتاست و 8 نوع تسک توی این پلتفرم ثبت شده!

این معیار 112 زبان مختلف رو پوشش میده و مدل‌های قوی رو روی وظایفی مثل Bitext Mining، دسته‌بندی و STS مقایسه می‌کنه.

سرعت و عملکرد مدل‌ها:
مدل‌ها توی سه دسته بررسی میشن:
مدل‌های سریع: مدل هایی که سرعت بالایی دارن ولی دقت پایینی.
تعادل سرعت و دقت: مدل هایی که ترکیب خوبی از عملکرد و سرعت دارن.
مدل‌های قوی: مدل هایی که میلیاردها پارامتر دارن و قوی‌تر هستن.

لینک
@silicon_brain | از هوش مصنوعی عقب نمانید

یه آمار کامل از وضعیت دسترسیش هم بدم:

‏Claude 3.7 روی Claude.ai، Anthropic API، Amazon Bedrock، و Google Cloud Vertex AI در دسترسه.

🔹 کاربران رایگان فقط به حالت استاندارد دسترسی دارن ولی اگه Claude Pro داشته باشی، می‌تونی از تفکر توسعه‌یافته هم استفاده کنی.
🔹 قیمت API همون قبلی باقی مونده: ۳ دلار به ازای هر میلیون توکن ورودی و ۱۵ دلار برای هر میلیون توکن خروجی.
🔹 قسمت Claude Code هنوز توی حالت پیش‌نمایش تحقیقاتی هست و فقط برای یه سری کاربران خاص فعاله.

𝐇𝐨𝐰 𝐭𝐨 𝐁𝐞𝐠𝐢𝐧 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠 𝐀𝐈 𝐀𝐠𝐞𝐧𝐭𝐬
@silicon_brain | از هوش مصنوعی عقب نمانید