Self adapting LLM (Inference time)

deepseek r1
منتشر شد؛ مقاله از نحوه ترین مدل - وزن‌ها و ... همه چیز
حتی مجوز commercial use رو هم داده

https://github.com/deepseek-ai/DeepSeek-R1

oh oh 

عجب خبری؛ یک محقق امنیتی تکنیکی رو پیدا کرده که باهاش از chatgpt برای DDOS کردن هر سایتی استفاده میشه کرد.
و چون از سرورهای chatgpt هم درخواست‌ها ارسال میشه مقابله باهاش راحت نیست؛ قطعا تیم close ai جلوی این رو میگیره ولی به این فکر کنید که همه شرکتهایی که این خدمات رو میدند به احتمال زیاد این باگ رو دارند.

ندید میگم؛ ۹۹٪ شرکتهای ایرانی که مدل رو خودشون دپلوی می‌کنند این باگ رو دارند. با توجه به چیزهایی که دیدم.

ReadMore

Youtube

سرمایه گذاری 500 میلیارد دلاری (حداقل) روی زیرساخت‌های هوش مصنوعی؛ این فقط برای سرور و ... هست طبق متنی که Close/Open AI منتشر کرده.

روز اول ترامپ؛
بیشتر از حداقل ۱۶ سال گذشته رئیس جمهورهای ایران برای کشورش سرمایه‌گذاری و ... به همراه آورد.
یعنی مبالغ و کارهایی که توی روز اول انجام شد؛ حتی ۵٪ اش توی ۱۶ سال گذشته توی ایران انجام نشده.

بدترین سرویس پشتبانی که به عمرم دیدم :

ایرانسل هست با اختلاف، ۳ ماهه داره مشکل اینترنت من رو حل می‌کنه
دائم هم می‌گه، تا ۴۸ ساعت آینده کارشناسان ما مشکل شمارو حل خواهند کرد

سری آخر کلا سیمکارت قطع شد (به خدا جدی می‌گم)

پشتیبانی تالیا از ایرانسل قویتره 😂


پ.ن : اینجا گذاشتم برسه دستشون، چون توی کانال بودند بچه‌ها از ایرانسل

#Quick

امروز متوجه شدم که open-webui هیچ اهمیتی به پارامترهایی که روی مدل Modelfile توی ollama گذاشتید نمی‌ده.
حتما باید این پارامترها رو توی محیط چت هم کانفیگ کنید.

اگر میخواید برای همه یوزرها هم کانفیگ کنید :

Settings > General > Advanced Parameters
Admin Panel > Settings > Models > Edit > Advance Params

این موارد رو درست تنظیم کنید؛ بعد مدل‌هارو مجدد تست کنید خروجی‌ها به مراتب بهتر خواهد بود.

راهکار دادند (از بچه‌های ایرانسل) که توی برنامه ایرانسل و چت آنلاین پیگیری کنم، همینکارو کردم و حالم بدتر شد :


۱- بعد از هر پیام که ارسال می‌کنم، باید از برنامه بیام بیرون و مجدداً وارد بشم تا بتونم پیام دیگری بدم یا پیام‌های پشتیبانی رو بخونم.

۲- بخاطر مشکل اول، گفتم عکس آپلود کنم که برنامه crash کرد و پرید بیرون

۳- تاریخچه چت‌ها رو ندارم، یعنی بعد از crash کردن باید از اول دوباره کل پیام‌هارو بفرستم برای کارشناس دیگر و در یک چت دیگر که میشه همون لوپ مشکل ۱ و ۲

۴- بعد از تمام سختی‌ها همون جواب قبل رو میگیری:
مشکل شما به واحد X ارسال شد، X هم که مجهول پس هیچ راه حلی نیست و خرید بسته اینترنتی و ... بدون استفاده میشه سود 100% برای شرکت.

تا اینجا فکر می‌کردم فقط پشتیبانی ایرانسل مشکل داره
ولی الان متوجه شدم، تیم دولوپرهاش هم مشکل دارند.

بعد اینا دنبال راه‌اندازی LLM, AI, ... هم هستند؛ مشتی تو توی API, MobileAPP نویسی موندی (چیزی که با ۴ تا تست در میاد) بعد میخوای بری روی مواردی کار کنی که BlackBox هست ؟
هوش مصنوعی قاتل از دست این شرکتا میزنه بیرونا 😂😂

جنگ بین سم آلتمن و ایلان ماسک رو دوست دارم.

سم آلتمن که ضد ترامپ بوده و توییت‌های جنجالی کم نداره
و
ایلان ماسک که طرفدار ترامپ هست.

و البته پرونده‌های مختلف علیه سم‌‌ آلتمن و OpenAI؛ مصاحبه ۸ روز قبل تاکر کارلسون رو ببینید.

Tucker Carlson Youtube

وب‌سایت deepseek فابلیت استفاده همزمان از Search, DeepThink رو فعال کرده که نتابیج رو چندین برابر بهتر کرده.

قطعا دیگه شکی توی این موضوع نیست.

deepseek
یک مدل دیگه منتشر کرد؛ همه این ارزونتر شدن و بهبودها و ... رو می‌بینید ؟

می‌دونید همش بخاطر این بوده که پروژه deepseek یک side project برای یک تیم در زمینه الگوریتم و محاسبات و مایننگ و ... بوده ؟


حالا باز بیاید بگید چقدر ریاضیات مهم هست برای کار هوش مصنوعی.

رفتم روی تست
https://msty.app/

تا اینجا جالب بوده هم مشکلاتم با openweb-ui رو حل کرده هم مشکلاتم با LM-Studio
تست‌های بیشتر بگیرم؛ اگر خوب باشه حتما اون دو مورد قبلی رو پاک می‌کنم.

تنها مشکل فعلی: کاش با tauri نوشته بودنش. (این پست آپدیت می‌شه)

من واقعا groq رو دوس دارم بخصوص این ویژگی که بالای ۲۰۰ توکن هم میزنه برای thinking , ... خیلی عالیه ولی شرمنده

دقت می‌کنم دیتا لیک انجام نشه و chat.deepseek.com رو استفاده می‌کنم چون خروجی مدل بزرگتر به مراتب از مدل ۷۰ میلیارد پارامتری بهتره.

خیلی هم عالیه :

I love Rust

این موج نفرت ضد deepseek و به سمت ابزارهای آمریکا و اروپا

بدون احترام؛ احمقانه هست.

آمریکا و اروپا و چین و ... نداره؛ همه از دیتای شما استفاده خواهند کرد، یادتون نره chatGpt3.5 روی متن کتاب‌هایی آموزش دیده بود که از راه غیرقانونی دریافت شده بود یا روی کدهایی که LICENSE اونها ضد اینکار بود.

اینکه ادعای DeepSeek راجب تعداد GPU , ... حقیقت داره یا خیر برای من و شما نباید مهم باشه.
دعوای بین بزرگان هست؛ یعنی در حد ۱۰ شرکت برتر ایران هم بهشون ربطی نداره
قطعاً هیچکدوم حتی همون ۵ میلیون دلار هزینه‌ی ادعایی deepseek رو هم نمی‌کنند روی R&D هوش مصنوعی.

با توجه به قیمت api و مقاله‌ای که تیم deepseek منتشر کرده و توییت‌های Andrej Karpaty توی این مدت راجب دستاوردهای deepseek خیلی دور از ذهن هم نیست.

اما اینکه شرکت مادر deepseek اینکار رو کرده تا سهام‌هایی مثل Nvidia و ... پایین بیاد و بتونه سرمایه‌گذاری کنه هم نکته‌ای هست که بخاطر اون میگویند که deepseek دروغ می‌گه‌.

دروغ یا حقیقت برای ماها بعنوان؛ محقق - مهندس - توسعه دهنده و یا حتی کاربر انتشار و ادعاهای deepseek خیلی خیلی سودمند بوده و هست.

پ.ن : این موضوع راجب سانسور و گارد و ... هم هست
اینکه سوال رو توی چینی یا انگلیسی سانسور می‌کنه ولی روی زبان‌های دیگه نه نشون دهنده ضعف مدل یا تیم نیست بلکه فقط نشون می‌ده توسعه مدل سانسور و گارد برای این تیم اهمیتی نداشته.

خیلی مهم هست چون خیلی ساده‌تر از distill مدل جدید می‌تونستند گارد و سانسور انجام بدند بخصوص اینکه llama3 و ... این رو در اختیار گذاشته

#موقت

پیگیر چند مورد از ویدئوهایی و عکس‌هایی که فرستادید شدم.

منتشر کننده.های اولش فروشنده‌های اکانت‌های chatgpt هستند.

کاری ندارم که سر عموم مردم کلاه میذارند اما اینکه مثلاً متخصص‌ها هم داره سرشون کلاه میره جای تعجب داره 🤯

خبر داغ:

ادعا جدید Deepseek ؛ ۲ برابر سرعت بیشتر برای inference و کدی که توسط خود deepseek R1 زده شده.

توی تست‌های بسیاری از کاربران هم این موضوع نشون داده شده.

self improving AI

شخصاً تست نکردم.

Alibaba

ادعا کرده مدل جدیدش از deepseek هم عملکرد بهتری داره و این ادعا توی بنچمارک‌ها تایید می‌شه :

https://qwenlm.github.io/blog/qwen2.5-max/


نکته جالبتر؛ هیچکدوم از خبرگزاری‌ها دیگه این مدل رو با chatgpt مقایسه نکردند و مستفیم با deepseek مقایسه شده.

من مدل رو روی زبان Rust و با توجه به تسک‌‌های این چندروز اخیر خودم تست کردم.
بنظرم به خوبی Deepseek R1 نیست قطعا ولی از Deepseek v3 عملکرد بهتری داره.
خوبی مدل این هست که متدها و آرگومان‌های ورژن‌های آخر پکیج‌هارو به خوبی می‌شناسه؛ چیزی که توی chatgpt نیست.
اما سرعتش به خوبی chatgpt, deepseek نیست واقعا.

از میزیت‌های دیگه‌اش Image, Video جنریت رو داره (بصورت رایگان)
که تصاویر خوبی هم تولید می‌کنه؛ پرامپت تصویر بالا :
surprise me.