استفاده از توابع Async در بک اند یادگیری ماشین

فقط ساختن مدل یادگیری ماشین که هنر نیست باید بتونی خیلی بهینه سرویسش کنی و رو پروداکشن استفاده بشه

تو یادگیری ماشین معمولاً یه عالمه تسک سنگین داریم، مثل پردازش داده، یادگیری مدل، کوئری زدن به دیتابیس، یا حتی تعامل با APIها. اگه همه‌ی اینا به صورت سینکرون (همزمان) اجرا بشن، کلی وقت هدر میره، چون برنامه منتظر می‌مونه تا هر تسک یکی‌یکی انجام بشه.

حالا فرض کن داری یه API می‌نویسی که مدل یادگیری ماشینت قراره در لحظه به درخواست‌های مختلف جواب بده. اگه بدون async این کار رو کنی، هر درخواست جدید باید منتظر بمونه تا قبلی تموم بشه. اما با async می‌تونی چندین درخواست رو موازی (concurrent) پردازش کنی.

مثلاً تو یه پروژه FastAPI که یه مدل یادگیری ماشین داره، می‌تونی اینجوری از async استفاده کنی:

from fastapi import FastAPI
import asyncio

app = FastAPI()

async def predict_async():
    await asyncio.sleep(2)  # شبیه‌سازی پردازش سنگین
    return {"prediction": "نتیجه مدل"}
@app.get("/predict")
async def predict():
    return await predict_async()

اینجا هر درخواست جدید لازم نیست منتظر تموم شدن درخواست قبلی بمونه، بلکه همه‌ی درخواست‌ها به صورت همزمان پردازش می‌شن.

اگه یه مدل یادگیری ماشین داری که باید سریع و real-time پاسخ بده، async باعث می‌شه درخواست‌ها همزمان پردازش بشن.
پس خلاصه بگم، async برای جاهایی که I/O زیادی داریم و نمی‌خوایم CPU بیخودی منتظر بمونه، خیلی مفیده. اما برای کارای محاسباتی خیلی سنگین (مثلاً یادگیری مدل) که فقط CPU داره کار می‌کنه، بهتره از چندپردازشی (multiprocessing) استفاده کنیم (در موردش میگم)
@silicon_brain | از هوش مصنوعی عقب نمانید

روزت مبارک مهندس 🥳❤️

تبریک این روز رو با معرفی دو مهندس بزرگ تاریخ داشته باشیم: John Mccarthy و Marvin Minsky

جان مک‌کارتی – پدر اصطلاح "هوش مصنوعی"، خالق زبان LISP و پیشگام تفکر منطقی در AI.
معتقد به سیستم Reasoning

ماروین مینسکی – مغز متفکر مدل‌های شناختی مغز و نظریه "جامعه ذهن".
معتقد به سیستم Learning و ترکیب بخش های مختلف هوش

@silicon_brain

فاز اینایی که از کانال های هوش مصنوعی مطالب رو کپی میکنن و تو صفحه شخصی لینکدینشون پست میکنن رو نمیفهمم
میخوای چیو نشون بدی با اینکارت؟ که خیلی فعالی!

حداقل دیدگاه یا تجربه خودتو در مورد اون مطلب بیان کن و گرنه صفحه شخصی تو آخرین بستری هست که کاربر برای دنبال کردن این مطالب چک میکنه.
بی فایده ست اینکار

مجددا روزت مبارک مهندس 😁

‏بنچمارک «MTEB» مخفف «Massive Text Embedding Benchmark» هست که یک معیار بزرگ برای سنجش عملکرد مدل‌های Text Embedding تو تسک های مختلفه

رتبه‌بندی مدل‌ها: MTEB یه Leaderboard داره که بهترین مدل‌های تعبیه متن رو مقایسه می‌کنه. بیش از 2000 نتیجه روی 56 دیتاست و 8 نوع تسک توی این پلتفرم ثبت شده!

این معیار 112 زبان مختلف رو پوشش میده و مدل‌های قوی رو روی وظایفی مثل Bitext Mining، دسته‌بندی و STS مقایسه می‌کنه.

سرعت و عملکرد مدل‌ها:
مدل‌ها توی سه دسته بررسی میشن:
مدل‌های سریع: مدل هایی که سرعت بالایی دارن ولی دقت پایینی.
تعادل سرعت و دقت: مدل هایی که ترکیب خوبی از عملکرد و سرعت دارن.
مدل‌های قوی: مدل هایی که میلیاردها پارامتر دارن و قوی‌تر هستن.

لینک
@silicon_brain | از هوش مصنوعی عقب نمانید

یه آمار کامل از وضعیت دسترسیش هم بدم:

‏Claude 3.7 روی Claude.ai، Anthropic API، Amazon Bedrock، و Google Cloud Vertex AI در دسترسه.

🔹 کاربران رایگان فقط به حالت استاندارد دسترسی دارن ولی اگه Claude Pro داشته باشی، می‌تونی از تفکر توسعه‌یافته هم استفاده کنی.
🔹 قیمت API همون قبلی باقی مونده: ۳ دلار به ازای هر میلیون توکن ورودی و ۱۵ دلار برای هر میلیون توکن خروجی.
🔹 قسمت Claude Code هنوز توی حالت پیش‌نمایش تحقیقاتی هست و فقط برای یه سری کاربران خاص فعاله.

𝐇𝐨𝐰 𝐭𝐨 𝐁𝐞𝐠𝐢𝐧 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠 𝐀𝐈 𝐀𝐠𝐞𝐧𝐭𝐬
@silicon_brain | از هوش مصنوعی عقب نمانید

تو بازی «Super Mario Bros» که برنامه‌ریزی حرکتی و واکنش سریع مدل لازمه، مدل Claude-3.7 عملکرد بهتری نسبت به مدل‌های دیگه داره
گیتهاب

@silicon_brain| از هوش مصنوعی عقب نمانید

حل مشکل تولید کلمات بیش اندازه در فرآیند تفکر (Reasoning)

در روش‌های فعلی استدلال و تفکر مدل ها از Chain-of-Thought (CoT) استفاده میشه مدل‌ها رو تشویق میکنه تا مسائل رو به صورت گام‌به‌گام و با جزئیات کامل حل کنن در نهایت منجر به تولید خروجی‌های طولانی و افزایش زمان پاسخ‌دهی میشه.

در مقابل، Chain of Draft (CoD) با کاهش جزئیات غیرضروری و تمرکز بر نکات کلیدی، دقتی مشابه یا حتی بالاتر از CoT رو با استفاده از تنها ۷.۶٪ از تعداد توکن‌ها ارائه میده که به طور قابل توجهی هزینه و تأخیر رو کاهش میده.

به طور کلی، CoD با الهام از فرآیندهای شناختی انسان، به مدل‌های زبانی بزرگ کمک میکنه تا با تولید محتوای مختصر و اطلاعات ضروری، وظایف پیچیده رو با کارایی و دقت بیشتری انجام بده

لینک مقاله
@silicon_brain | از هوش مصنوعی عقب نمانید

پشت تکنولوژی LLM ها چه شرکت هایی هستن؟ بهتره همه این شرکت ها رو بشناسن

@silicon_brain | از هوش مصنوعی عقب نمانید

حقیقت پنهان زندگی از نظر ChatGPT 4.5

حقیقت اینه که احساس ناراحتی و چالش نه‌تنها
اجتناب‌ناپذیره، بلکه لازمه‌ی زندگی و رشد کردنه.

باید دنبال‌شون بگردی و باهاشون روبه‌رو بشی

@silicon_brain

جایزه تورینگ ۲۰۲۴ به اندرو جی. بارتو و ریچارد اس. ساتن برای مشارکت‌های بنیادین آن‌ها در حوزه یادگیری تقویتی (Reinforcement Learning) اهدا شد.

این دو پژوهشگر با توسعه مفاهیم و الگوریتم‌های کلیدی، تأثیر قابل‌توجهی بر پیشرفت‌های هوش مصنوعی مدرن، از جمله سیستم‌هایی مانند چت‌جی‌پی‌تی، گذاشتن.

این جایزه با یک میلیون دلار از سوی گوگل به برندگان اعطا میشه.

@silicon_brain | از هوش مصنوعی عقب نمانید