قسمت مربوط به attention آپلود شد (حدود ۳ ساعت قبل)
و بسیار عالی بود بنظرم؛ دلم نیومد اطلاع ندم
حتما ببینید.

این یکی مخصوص دانشجوها،
https://lightning.ai

۲۲ ساعت GPU رایگان
اجرا توی بکگراند (بدون قطع شدن)
حافظه و رم هم رایگان هست
نیاز به Credit Card, ... هم نداره


اگر از ایمیل .edu یا .org استفاده کنید درجا دسترسی برای شما باز میشه
اما اگر ندارید هم مشکلی نداره، نهایتاً ۲-۳ روز طول می‌کشه تا دسترسی شما باز بشه. (بد نیست با چندتا ایمیل درخواست دسترسی بدید، همین حالا)

@PyTens

اگر یک مقدار llm و production و ... کار کرده باشید
می‌دونید راهکار quantize توی دپلوی خیلی جوابه تا حالا 4bit, 3bit شاید بسیار دیده باشید.
اما 1bit هم دیدید ؟

داشتم روی یک پروژه کار میکردم؛ از 16float اومدم روی 8bit, 4bit و در نهایت 3bit دبدم تسک برای مدل به اندازه کافی ساده هست و همچنان می‌تونه جواب بده غیر از اون چیزی که برای مدل خیلی مهم بود تا جواب مدنظر ما رو بده query ورودی بود و توی هر خروجی با کمی تغییر template جوابها عالی میشد.
داشتم سرچ میزدم که آیا کسی بیشتر از این quantize کرده و نتایجی وجود داره برای مقایسه یا خیر که مقاله تیم ماکروسافت رو دیدم

The Era of 1-bit LLMs:
All Large Language Models are in 1.58 Bits

ایده این هست که بجای اینکه وزن‌ها رو بصورت float نگهداریم از اعداد {-1, 0, 1} استفاده کنیم؛ همونطور که شاید شما هم متوجه شدید این یعنی پردازش کمتر (دیگه نیازی به ضرب ماتریسی نیست فقط جمع محاسبات رو انجام میدیم؛ اگر متوجه نشدید کجارو میگم ویدئو 3blue1brown راجب attention رو ببینید.)

فکر میکنم به اندازه کافی motivation دادم؛ بیشتر spoil نمی‌کنم.
حتما بخونید مقاله رو

دعوای بین چپ‌های برزیل و ایلان ماسک (پلتفرم X) بسیار بسیار جالب شده

تا جایی که قرارداد برزیل با Starlink رو هم گفتند لغو می‌کنند

بنظر شما جواب ایلان ماسک چی بوده ؟
اینترنت رایگان برای مدارس، حتی اگر دولت قراردادش رو با استارلینک لغو کند.

آزادی بیان آنقدر مهم هست دوستان؛ آنقدر مهم که بابت حذف نکردن چندتا اکانت از پلتفرم X جنجال به پا شده
استار‌‌لینک قرارداد از دست میده و ...

حکومت‌‌های کمونیستی و دیکتاتوری بسیار بسیار از آزادی بیان می‌ترسند.

همه چیز به سمت binary quantization در حرکت هست؛ حتی vector database ها

واقعاً لذت بردم از خواندن این گزارش :

https://weaviate.io/blog/binary-quantization

وقتی
Vector database
ها نبودند، یا انقدر معروف نبودند.

Jamba
اولین مدل OpenSource با پیشرفت‌های ارائه شده توسط mamba

به این موارد توجه کنید :
۱- سرعت inference
۲- میزان GPU vRam مورد نیاز
۳- میزان Context

https://huggingface.co/ai21labs/Jamba-v0.1/tree/main

موشک بازیش برای ج.ا
فاکتورش در خونه مردم.

دلار شبانه ۷۳,۰۰۰ تومان.

و البته خلاصه وضعیت ؛ سخنران اسرائیل ادعا کرده

۱) ۹۹٪ پرتابه‌های ایرانی رهگیری و منهدم شدند
۲) حزب‌الله طبق گفته رسانه‌های خارجی دخالتی نداشته
۳) آمریکا و متحدانش اشاره به حمایت از اسرائیل داشتند
۴) اسرائیل مجوز یک حمله بی‌سابقه و مستقیم به ایران رو گرفته

واقعاً قبض‌‌اش در خونه مردم ایران میاد.



پ.ن : تبلیغات عمده یوتیوب شده ویدئو شلیک موشک ایران، و البته دفاع اسرائیل از بیت‌المقدس
رسانه خیلی مهم بود که اینجا هم باختیم.
شعار این کمپ تبلیغاتی؛
Iran is a global threat.

واقعاً متأسفم

#کوتاه

مشخص شد ویدئو تبلیغاتی
DevinAI
هم دروغ بوده و هیچکدوم از تسک‌های مهندسی نرم‌افزار رو نتونسته به درستی انجام بده.

#بسیار_مهم
#خارج_از_بحث

خواهشاً بیاید این مورد رو آنقدر به اشتراک بذاریم که همه رعایت کنند.

چند وقت پیش دنبال یک نیروی React برای شرکت یکی از دوستان می‌گشتم، گفتم میرم لینکدین چندتا پروفایل open to work رو می‌بینم و درخواست رزومه میدم به اون‌هایی که بنظرم کارشون بهتر هست.

اولین کاری که کردم این بود که رفتم، پست‌های open 2 work اون‌ هارو خوندم.
یک چیزی خیلی اذیتم کرد اونم این عادت بد که زیر پست پشت هم کامنت می‌ذارند؛ #up از اون موقع توی مغزم رژه می‌رفت که اینکار بی‌فایده هست و باید یک جایگزین بهتر براش ایجاد بشه.

پیشنهاد من :
۱- اگر فقط برای support و بیشتر دیده شدن اینکار رو می‌کنید، نیازی به کامنت گذاشتن نیست از همون support reaction توی لینکدین استفاده کنید.

۲- اگر طرف رو می‌شناسید، بجای نوشتن #up چند خط در مورد ویژگی‌ هاش بنویسید.
این خیلی بهتره هم برای من که می‌خوام نیروی جدیدی رو استخدام کنم ، هم برای اون شخص

اول اینکه، من اگر به شما و کار شما اطمینان داشته باشم وقتی شما زیر پست اون شخص می‌زنید #up من نمی‌دونم که آیا فقط چون کانکشن لینکدین بوده اینکار رو کردید یا اینکه واقعاً با هم همکار بودید و دارید به نوعی تأیید می‌کنید ایشون رو ولی اگر ۲ خط بنویسید راجبش قطعاً انتخاب برای من هم راحت‌تر هست و اون شخص هم ساده‌تر کار پیدا می‌کنه.

دوم، این قرار نیست یک recommendation رسمی و ضمیمه شده به رزومه باشه و چون در حد چند خط هست بسیار ساده و راحت هست نوشتنش
مثلاً یک کامنت می‌تونه این باشه؛
توی ۳ سال که باهم کار کردیم هیچوقت حتی برای یک پروژه هم نشد کارهاش رو دیرتر از deadline تحویل بده.

سوم؛ خداییش من هیچی ولی تا حالا دیدید کسی بیاد بگه، اوه این آدم پستش خیلی #up خورده برم استخدامش کنم.
ولی چند نفر هستند که من کارشون رو بسیار قبول دارم که اگر این افراد با صحبتی که بالا کردم زیر پست open 2 work کسی اینطوری براش کامنت بگذارند، قطعاً اون آدم اولویت استخدام من خواهد بود.


خلاصه که بیاید ی کار بی‌ارزش رو به یک حرکت ارزشمند تبدیل کنیم، مخصوصاً حالا که همه داریم وقت میگذاریم.
اینجوری هم برای کارفرما، هم برای نیروی کار بسیار بسیار بهتر خواهد بود.
مگر اینکه این #up ها فقط برای برداشتن یک باری از دوش باشه و بی‌ارزش (ولی یادمون نره، خود ما هم یک روزی open2work می‌شیم.)

#امنیتی

تلگرام تایید نکرده هنوز؛ اما مثل اینکه یک باگ امنیتی 0-day روی نسخه دسکتاپ تلگرام وجود داره که هکر یک فایل رو برای شما ارسال می‌کنه (استیکر - فیلم یا ...) و با کلیک روی اون یک سری دستورات روی سیستم اجرا میشه.

دمو‌های مختلف و مورد بحث فعلا فقط روی Windows هستند (اما تلگرام چندساعت قبل آپدیت جدیدی رو برای دسکتاپ منتشر کرد که هنوز مشخص نیست آیا مربوط به این باگ بوده یا خیر)

چرا این پست رو اینجا گذاشتم ؟
چون سیستم هدف حتما باید پایتون رو نصب داشته باشه
مک و لینوکس که دیفالت نصب هست
ویندوز هم که توی تمامی نفوذ‌ها بهش اشاره شده برای بچه‌هایی که اینجا هستند حتما نصب هست.

پ.ن :
توی فرم‌های امنیت پیدا کردم این مورد رو مثل اینکه یک فایل با پسوند pyzw برای شما ارسال می‌شده و تلگرام اون رو بصورت video رندر می‌کرده و اسکریپت همراهش هم اجرا میشده با اجرای ویدئو.
توی آپدیت تلگرام این موضوع حل شده و فایل بصورت
filename.pyzw.untrusted
نمایش داده می‌شه .

حتما حتما آپدیت کنی؛ و اگر فایل untrusted توی هیستوری دارید که باز شده؛ سیستم رو به متخصص امنیت جهت بررسی بدید.

خبر هک شدن hugging face و دسترسی به بخش بزرگی از کلاسترهای پردازشی رو حتما دیدید.
اما اگر ندیدید باید بگم که به شما آسیبی نمیزنه این هک؛ حتی به خود hugging face هم آسیبی نزده جون گروهی که اینکار رو کرده محقق بوده و قبل از انتشار پست و ... به تیم هاگینگ‌فیس خبر دادند.

حالا موضوع چی بوده؛ pickle من قبلا توی کانال تخصصی پایتون دقیق این موضوع رو توضیح دادم و مثال هم زدم.
مثل اینکه hugging face بعد از متوجه شدن این موضوع میاد مدل‌های pickle شده رو به کاربر‌ها اخطار میده که ممکن هست امن نباشه (۱ سال هست که این رو فهمیدند؛ نمیدونم چرا نمیان از ما مشورت بگیرند.) چون شخصا فایل pickle از اینترنت به هیچ‌وجه دانلود و اجرا نمی‌کنم این موضوع رو ندیده بودم.
اما تیمی که تحقیق امنیتی رو انجام داده متوجه شده hugging face فقط به کاربر اخطار میده ولی خودش مدل رو روی سرور deploy می‌کنه و با توجه به توضیحات و آموزش ساده‌ی من توی کانال @pyHints همه بلدیم که ازش دسترسی بگیریم و ....
این تیم هم همینکارو کرده و با pickle کدهای مخرب رو روی سرور‌های hugging face اجرا کرده تا جایی که ی دسترسی کامل و تمیز به بخشی از کلاسترهای پردازشی گرفته.

دیدم خیلی‌ها هیجان زده بودند و .. گفتم ی توضیح بدم این یک exploit جدید نیست بلکه یک موضوع کاملا شناخته شده هست. مشکل هم از پایتون نیست بلکه از pickle هست.

در نهایت تو ایران کلی سرویس و .. داریم که دارند از pickle استفاده می‌کنند و خیلی‌هاشون با همین تکنیک بهشون نفوذ می‌شه

اگر خواستید یک مثال ساده هم ببینید؛ این پست رو می‌تونید بخونید:
https://www.tg-me.com/pyHints/8

در نهایت وقتی روی میزان ساعت کار به افراد لقب سنیور میدید اینجوری میشه 😁😂

دارم llama3 رو تست می‌کنم
تا اینجا که راضی‌ام ازش.

ی لوکال راه بندازم تست‌های بیشتر بگیرم؛ بخصوص روی دیتاهای خودم finetune کنم اگر زمانبندی و ... اجازه داد
بعد حتما راجبش می‌نویسم (ولی حتما تست کنید؛ چون رضایت بخش هست).

خروجی اولیه روی دانش خود مدل؛
من قبلش فقط بهش گفتم نیازی نیست به فارسی یا ... جواب بده و بهتره همه‌ی جواب‌های فارغ از زبان ورودی فقط به انگلیسی باشه

این مدل ۸ میلیارد پارامتری و سبکتر هست.
سراغ مدل ۷۰ میلیاردی هم خوام رفت.

اصل سوالم این بود (اگر متن به خوبی مشخص نیست)
می‌تونی خیلی ساده بهم راجب DDD توی Django با مثال توضیح بدی ؟

پ.ن :

اضافه کنم؛ کدی ندارم که دقیقا تست کنم چند توکن در ثانیه جواب میده اما احساس می‌کنم سریعتر از مدل‌های ۷ میلیارد پارامتری هست که روی سیستم دارم.

اگر خواستید تست کنید و سیستم یا ... برای تست لوکال ندارید
https://meta.ai

در حال حاضر رایگان هست (فقط لیست کشورهایی که براشون فعال شده رو بخونید و vpn رو فعال کنید.)

قدرت و سرعت تولید عکس بسیار خوبی هم داره (روی meta.ai البته)

لینکدین با کامیونیتی فارسی واقعاً عجیب غریب هست،
طرف زده متخصص هوش مصنوعی و LLM (توی بخش bio منظورم هست)

بعد زده که تیم شرکت از من خواستند، یک
Local LLM
روی کدهای شرکت راه‌اندازی کنم، که فقط ۱۰ دولوپر شرکت بهش دسترسی داشته باشند، نیاز به اینترنت هم نداشته باشه.

پیش خودم گفتم پس چطوری متخصص LLM هستی استاد ؟ ما اینکارها رو سپردیم به کار‌آموزهای تیم
حتی شاید باور نکنید ولی چند روز پیش نیروی UI/UX شرکت داشت ازم راهنمایی می‌گرفت روش Split بهش معرفی کنم که RAG ایی که راه اندازی کرده خروجی بهتری بهش بده.

اومدم رد بشم، که دیدم یکی دیگه زده من یک دوره آموزشی ۱۰ جلسه‌ای گذاشتم مبلغ مناسب اگر خواستید بهم اطلاع بدید (عضو گروه هم خواهید شد.)


واقعاً اوضاع وخیم هست، وخیم.
تورو خدا نکنید اینکار هارو.

برای ۳ تا شرکت
توی ۱ ماه گذشته، مشغول مصاحبه و تأیید و استخدام نیرو بودم
در زمینه هوش مصنوعی.

۱ نفر نتونست، از رزومه‌‌اش دفاع کنه
۱ نفر نتونست، جواب چندتا مسئله پروداکشن رو بده

به طرف میگم، با ترنسفرمر آشنایی داری ؟
یا مثلاً برای vision میگم با segmentation ها آشنایی داری ؟

بعضی‌ها، تک تک عملکردهای مدل رو می‌دونند
دقیقاً فرمول‌هارو می‌شناسند.

اومدم کد‌های اون بخش رو حذف می‌کنم، بهش میگم همینایی که گفتی رو این قسمتش رو پیاده سازی کن.
فرض بر این هست که توی کار تیمی یک ایده جدیدی اومده و شما قراره پیاده‌سازی کنید.
فقط ۱ نفر تونست اینکار رو بکنه، هرچند کدهاش هیچکدوم از اصول و قوانین رو رعایت نکرده بود.


رفتیم سراغ مباحث، design برای بیزینس پیاده‌سازی مهمه
میگم خب فرض کن ۳۰۰ تا کاربر داریم با این شرایط و ...، چطوری می‌تونیم مدل رو پیاده‌سازی کنیم و ...
حتی یک نفر هم نتونست یک راهکار واقعی و قابل پیاده‌سازی بده

فقط ۱ نفر اشاره کرد، که می‌تونیم همرو بذاریم توی صف event driven کنیم و ...

از مباحث هوش مصنوعی اومدم بیرون، گفتم اشکال نداره (هرکسی با من کار کرده می‌دونه هوش مصنوعی بلد بودن برای من اهمیت نداره توی بیزینس، مهم software engineer بودند هست)
اوضاع این افراد هم که خوب نبود گفتم میرم روی سواد پایتون نیرو می‌گیرم (فقط سنیور می‌خواستم)

خلاصه‌اش این بود :

۱- گروه زیادی dunder method نمی‌دونستند چی هست اصلا

۲- افراد زیادی تفاوت با مفاهیمی مثل logging, exception handle , ... آشنا بودند اما نه بصورت درست و برای software های بزرگتر از ۲۰ تا کاربر

۳- خیلی‌ها مسائلی مثل caching, queue , ... رو بلد نبودند یا اینکه نمی‌دونستند چطور میشه یک API هوش مصنوعی نوشت که همزمان که مدل درحال تولید خروجی هست برای کاربر هم ارسال بشه.

۴- مفاهیمی مثل Mixin, Monkey Patch, Duck typing , ... رو نشنیده بودند (با دیدن کد یا متدی که داخلش نوشته شده pass در تلاش برای حذف کد بودند)

۵- مفاهیم مهمی مثل Protocol, ABC, ... توی پایتون رو حتی نمی‌شناختند.

۶- بدتر از همه،
Async, threading, multi-process
توی پایتون و نحوه عملکردش رو نمی‌دونستند.

و این اوضاع Senior Python Developer های کشورمون هست، وقتی کسی بهم میگه کار نیست فقط ازش ۱ سوال می‌پرسم تا ارزیابی کنم سوادش رو.

با خیلی از دوستان Senior دیگه هم صحبت کردم (می‌خواستم ازشون نیروی پایتون بگیرم) همگی تأیید کردند که خودشون هم توی همین شرایط هستند.

توی کانال:
@pyhints
وقتی ۱۰۰۰ نفر شدیم، یک گروه آموزش+ کتاب‌خوانی راه‌انداختم ظرفیت ۲۵۰ نفر.
ازون افراد ۳۰ نفر آینده خوبی خواهند داشت قطعاً (تمامی جلسات و کل کتاب رو دنبال کردند، حدود ۱۷ نفر رو می‌دونم که یا Raise گرفتند یا به شرکت بهتری رفتند)

اینبار می‌خوام، بجای گروه، لایو بذاریم (گوگل میت) و بعد روی یوتیوب همون کانال آپلود بشه.

فردا، اولین جلسه هست.
راجب کتابی که قراره باهم بخونیم، نحوه خوندن کتاب و ...
از همش مهمتر اینکه، چی باعث شد من به این فکر بیوفتم که حتماً باید اینکار صورت بگیره.

حتماً توضیح میدم که چرا با کارکردن با آموزشگاه‌ها مخالف هستم و هیچ موقع قبول نکردم دوره‌های پولی راه‌اندازی کنم.

اولین بار هست که قراره دوره با مخاطب عمومی و آزاد داشته باشم که رایگان هم خواهد بود.

اما هدف فقط و فقط پیشرفت جامعه پایتون هست.