دستاوردهای یادگیری عمیق(InTec)
But what is GPT ? 3Blue1Brown پیشنهاد میدم این chapter رو دنبال کنید.
قسمت مربوط به attention آپلود شد (حدود ۳ ساعت قبل)
و بسیار عالی بود بنظرم؛ دلم نیومد اطلاع ندم
حتما ببینید.
و بسیار عالی بود بنظرم؛ دلم نیومد اطلاع ندم
حتما ببینید.
👍25❤13
این یکی مخصوص دانشجوها،
https://lightning.ai
۲۲ ساعت
اجرا توی بکگراند (بدون قطع شدن)
حافظه و رم هم رایگان هست
نیاز به
اگر از ایمیل
اما اگر ندارید هم مشکلی نداره، نهایتاً ۲-۳ روز طول میکشه تا دسترسی شما باز بشه. (بد نیست با چندتا ایمیل درخواست دسترسی بدید، همین حالا)
@PyTens
https://lightning.ai
۲۲ ساعت
GPU
رایگان اجرا توی بکگراند (بدون قطع شدن)
حافظه و رم هم رایگان هست
نیاز به
Credit Card, ...
هم نداره اگر از ایمیل
.edu
یا .org
استفاده کنید درجا دسترسی برای شما باز میشه اما اگر ندارید هم مشکلی نداره، نهایتاً ۲-۳ روز طول میکشه تا دسترسی شما باز بشه. (بد نیست با چندتا ایمیل درخواست دسترسی بدید، همین حالا)
@PyTens
Lightning AI
Lightning AI | Turn ideas into AI, Lightning fast
The all-in-one platform for AI development. Code together. Prototype. Train. Scale. Serve. From your browser - with zero setup. From the creators of PyTorch Lightning.
❤29👍10
اگر یک مقدار
میدونید راهکار
اما
داشتم روی یک پروژه کار میکردم؛ از
داشتم سرچ میزدم که آیا کسی بیشتر از این
ایده این هست که بجای اینکه وزنها رو بصورت float نگهداریم از اعداد
فکر میکنم به اندازه کافی
حتما بخونید مقاله رو
llm
و production
و ... کار کرده باشید میدونید راهکار
quantize
توی دپلوی خیلی جوابه تا حالا 4bit, 3bit
شاید بسیار دیده باشید.اما
1bit
هم دیدید ؟داشتم روی یک پروژه کار میکردم؛ از
16float
اومدم روی 8bit, 4bit
و در نهایت 3bit
دبدم تسک برای مدل به اندازه کافی ساده هست و همچنان میتونه جواب بده غیر از اون چیزی که برای مدل خیلی مهم بود تا جواب مدنظر ما رو بده query
ورودی بود و توی هر خروجی با کمی تغییر template
جوابها عالی میشد.داشتم سرچ میزدم که آیا کسی بیشتر از این
quantize
کرده و نتایجی وجود داره برای مقایسه یا خیر که مقاله تیم ماکروسافت رو دیدم The Era of 1-bit LLMs:
All Large Language Models are in 1.58 Bits
ایده این هست که بجای اینکه وزنها رو بصورت float نگهداریم از اعداد
{-1, 0, 1}
استفاده کنیم؛ همونطور که شاید شما هم متوجه شدید این یعنی پردازش کمتر (دیگه نیازی به ضرب ماتریسی نیست فقط جمع محاسبات رو انجام میدیم؛ اگر متوجه نشدید کجارو میگم ویدئو 3blue1brown
راجب attention
رو ببینید.)فکر میکنم به اندازه کافی
motivation
دادم؛ بیشتر spoil
نمیکنم.حتما بخونید مقاله رو
👍26❤7
دعوای بین چپهای برزیل و ایلان ماسک (پلتفرم X) بسیار بسیار جالب شده
تا جایی که قرارداد برزیل با Starlink رو هم گفتند لغو میکنند
بنظر شما جواب ایلان ماسک چی بوده ؟
اینترنت رایگان برای مدارس، حتی اگر دولت قراردادش رو با استارلینک لغو کند.
آزادی بیان آنقدر مهم هست دوستان؛ آنقدر مهم که بابت حذف نکردن چندتا اکانت از پلتفرم X جنجال به پا شده
استارلینک قرارداد از دست میده و ...
حکومتهای کمونیستی و دیکتاتوری بسیار بسیار از آزادی بیان میترسند.
تا جایی که قرارداد برزیل با Starlink رو هم گفتند لغو میکنند
بنظر شما جواب ایلان ماسک چی بوده ؟
اینترنت رایگان برای مدارس، حتی اگر دولت قراردادش رو با استارلینک لغو کند.
آزادی بیان آنقدر مهم هست دوستان؛ آنقدر مهم که بابت حذف نکردن چندتا اکانت از پلتفرم X جنجال به پا شده
استارلینک قرارداد از دست میده و ...
حکومتهای کمونیستی و دیکتاتوری بسیار بسیار از آزادی بیان میترسند.
👍66❤12
دستاوردهای یادگیری عمیق(InTec)
اگر یک مقدار llm و production و ... کار کرده باشید میدونید راهکار quantize توی دپلوی خیلی جوابه تا حالا 4bit, 3bit شاید بسیار دیده باشید. اما 1bit هم دیدید ؟ داشتم روی یک پروژه کار میکردم؛ از 16float اومدم روی 8bit, 4bit و در نهایت 3bit دبدم تسک برای مدل…
همه چیز به سمت
واقعاً لذت بردم از خواندن این گزارش :
https://weaviate.io/blog/binary-quantization
binary quantization
در حرکت هست؛ حتی vector database
هاواقعاً لذت بردم از خواندن این گزارش :
https://weaviate.io/blog/binary-quantization
weaviate.io
32x Reduced Memory Usage With Binary Quantization | Weaviate
In-depth technical breakdown of how binary quantization works and how to use it in Weaviate.
👍8❤3
دستاوردهای یادگیری عمیق(InTec)
#تجربه ی trick بگم، شاید به کار شما هم بیاد. معمولاً واسه این مشاورهها پول خوبی میگیرم توی همه پروژههای متنی دیگه شاهد استفاده از Embedding ها هستیم و خیلی وقتا توی بیزینس خاص خودمون ممکنه از یک Embedding برای چندین مدل و تسک استفاده بشه. اما ۳…
وقتی
Vector database
ها نبودند، یا انقدر معروف نبودند.
Vector database
ها نبودند، یا انقدر معروف نبودند.
👍8❤2
دستاوردهای یادگیری عمیق(InTec)
پایان سلطه ترنسفرمرها ؟ شاید؛ با Mamba آشنا بشید Mamba: Linear-Time Sequence Modeling with Selective State Spaces Mamba enjoys fast inference (5× higher throughput than Transformers) and linear scaling in sequence length.
Jamba
اولین مدل
OpenSource
با پیشرفتهای ارائه شده توسط mamba
به این موارد توجه کنید :
۱- سرعت
inference
۲- میزان
GPU vRam
مورد نیاز۳- میزان Context
https://huggingface.co/ai21labs/Jamba-v0.1/tree/main
huggingface.co
ai21labs/Jamba-v0.1 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍13❤2
موشک بازیش برای ج.ا
فاکتورش در خونه مردم.
دلار شبانه ۷۳,۰۰۰ تومان.
و البته خلاصه وضعیت ؛ سخنران اسرائیل ادعا کرده
۱) ۹۹٪ پرتابههای ایرانی رهگیری و منهدم شدند
۲) حزبالله طبق گفته رسانههای خارجی دخالتی نداشته
۳) آمریکا و متحدانش اشاره به حمایت از اسرائیل داشتند
۴) اسرائیل مجوز یک حمله بیسابقه و مستقیم به ایران رو گرفته
واقعاً قبضاش در خونه مردم ایران میاد.
پ.ن : تبلیغات عمده یوتیوب شده ویدئو شلیک موشک ایران، و البته دفاع اسرائیل از بیتالمقدس
رسانه خیلی مهم بود که اینجا هم باختیم.
شعار این کمپ تبلیغاتی؛
Iran is a global threat.
واقعاً متأسفم
فاکتورش در خونه مردم.
دلار شبانه ۷۳,۰۰۰ تومان.
و البته خلاصه وضعیت ؛ سخنران اسرائیل ادعا کرده
۱) ۹۹٪ پرتابههای ایرانی رهگیری و منهدم شدند
۲) حزبالله طبق گفته رسانههای خارجی دخالتی نداشته
۳) آمریکا و متحدانش اشاره به حمایت از اسرائیل داشتند
۴) اسرائیل مجوز یک حمله بیسابقه و مستقیم به ایران رو گرفته
واقعاً قبضاش در خونه مردم ایران میاد.
پ.ن : تبلیغات عمده یوتیوب شده ویدئو شلیک موشک ایران، و البته دفاع اسرائیل از بیتالمقدس
رسانه خیلی مهم بود که اینجا هم باختیم.
شعار این کمپ تبلیغاتی؛
Iran is a global threat.
واقعاً متأسفم
👍94❤3
#کوتاه
مشخص شد ویدئو تبلیغاتی
هم دروغ بوده و هیچکدوم از تسکهای مهندسی نرمافزار رو نتونسته به درستی انجام بده.
مشخص شد ویدئو تبلیغاتی
DevinAI
هم دروغ بوده و هیچکدوم از تسکهای مهندسی نرمافزار رو نتونسته به درستی انجام بده.
👍47❤5
Forwarded from Python Hints
#بسیار_مهم
#خارج_از_بحث
خواهشاً بیاید این مورد رو آنقدر به اشتراک بذاریم که همه رعایت کنند.
چند وقت پیش دنبال یک نیروی
اولین کاری که کردم این بود که رفتم، پستهای open 2 work اون هارو خوندم.
یک چیزی خیلی اذیتم کرد اونم این عادت بد که زیر پست پشت هم کامنت میذارند؛ #up از اون موقع توی مغزم رژه میرفت که اینکار بیفایده هست و باید یک جایگزین بهتر براش ایجاد بشه.
پیشنهاد من :
۱- اگر فقط برای
۲- اگر طرف رو میشناسید، بجای نوشتن #up چند خط در مورد ویژگی هاش بنویسید.
این خیلی بهتره هم برای من که میخوام نیروی جدیدی رو استخدام کنم ، هم برای اون شخص
اول اینکه، من اگر به شما و کار شما اطمینان داشته باشم وقتی شما زیر پست اون شخص میزنید #up من نمیدونم که آیا فقط چون کانکشن لینکدین بوده اینکار رو کردید یا اینکه واقعاً با هم همکار بودید و دارید به نوعی تأیید میکنید ایشون رو ولی اگر ۲ خط بنویسید راجبش قطعاً انتخاب برای من هم راحتتر هست و اون شخص هم سادهتر کار پیدا میکنه.
دوم، این قرار نیست یک
مثلاً یک کامنت میتونه این باشه؛
توی ۳ سال که باهم کار کردیم هیچوقت حتی برای یک پروژه هم نشد کارهاش رو دیرتر از
سوم؛ خداییش من هیچی ولی تا حالا دیدید کسی بیاد بگه، اوه این آدم پستش خیلی #up خورده برم استخدامش کنم.
ولی چند نفر هستند که من کارشون رو بسیار قبول دارم که اگر این افراد با صحبتی که بالا کردم زیر پست
خلاصه که بیاید ی کار بیارزش رو به یک حرکت ارزشمند تبدیل کنیم، مخصوصاً حالا که همه داریم وقت میگذاریم.
اینجوری هم برای کارفرما، هم برای نیروی کار بسیار بسیار بهتر خواهد بود.
مگر اینکه این #up ها فقط برای برداشتن یک باری از دوش باشه و بیارزش (ولی یادمون نره، خود ما هم یک روزی
#خارج_از_بحث
خواهشاً بیاید این مورد رو آنقدر به اشتراک بذاریم که همه رعایت کنند.
چند وقت پیش دنبال یک نیروی
React
برای شرکت یکی از دوستان میگشتم، گفتم میرم لینکدین چندتا پروفایل open to work رو میبینم و درخواست رزومه میدم به اونهایی که بنظرم کارشون بهتر هست.اولین کاری که کردم این بود که رفتم، پستهای open 2 work اون هارو خوندم.
یک چیزی خیلی اذیتم کرد اونم این عادت بد که زیر پست پشت هم کامنت میذارند؛ #up از اون موقع توی مغزم رژه میرفت که اینکار بیفایده هست و باید یک جایگزین بهتر براش ایجاد بشه.
پیشنهاد من :
۱- اگر فقط برای
support
و بیشتر دیده شدن اینکار رو میکنید، نیازی به کامنت گذاشتن نیست از همون support
reaction
توی لینکدین استفاده کنید.۲- اگر طرف رو میشناسید، بجای نوشتن #up چند خط در مورد ویژگی هاش بنویسید.
این خیلی بهتره هم برای من که میخوام نیروی جدیدی رو استخدام کنم ، هم برای اون شخص
اول اینکه، من اگر به شما و کار شما اطمینان داشته باشم وقتی شما زیر پست اون شخص میزنید #up من نمیدونم که آیا فقط چون کانکشن لینکدین بوده اینکار رو کردید یا اینکه واقعاً با هم همکار بودید و دارید به نوعی تأیید میکنید ایشون رو ولی اگر ۲ خط بنویسید راجبش قطعاً انتخاب برای من هم راحتتر هست و اون شخص هم سادهتر کار پیدا میکنه.
دوم، این قرار نیست یک
recommendation
رسمی و ضمیمه شده به رزومه باشه و چون در حد چند خط هست بسیار ساده و راحت هست نوشتنش مثلاً یک کامنت میتونه این باشه؛
توی ۳ سال که باهم کار کردیم هیچوقت حتی برای یک پروژه هم نشد کارهاش رو دیرتر از
deadline
تحویل بده.سوم؛ خداییش من هیچی ولی تا حالا دیدید کسی بیاد بگه، اوه این آدم پستش خیلی #up خورده برم استخدامش کنم.
ولی چند نفر هستند که من کارشون رو بسیار قبول دارم که اگر این افراد با صحبتی که بالا کردم زیر پست
open 2 work
کسی اینطوری براش کامنت بگذارند، قطعاً اون آدم اولویت استخدام من خواهد بود.خلاصه که بیاید ی کار بیارزش رو به یک حرکت ارزشمند تبدیل کنیم، مخصوصاً حالا که همه داریم وقت میگذاریم.
اینجوری هم برای کارفرما، هم برای نیروی کار بسیار بسیار بهتر خواهد بود.
مگر اینکه این #up ها فقط برای برداشتن یک باری از دوش باشه و بیارزش (ولی یادمون نره، خود ما هم یک روزی
open2work
میشیم.)👍50❤7
Forwarded from Python Hints
#امنیتی
تلگرام تایید نکرده هنوز؛ اما مثل اینکه یک باگ امنیتی
دموهای مختلف و مورد بحث فعلا فقط روی
چرا این پست رو اینجا گذاشتم ؟
چون سیستم هدف حتما باید پایتون رو نصب داشته باشه
مک و لینوکس که دیفالت نصب هست
ویندوز هم که توی تمامی نفوذها بهش اشاره شده برای بچههایی که اینجا هستند حتما نصب هست.
پ.ن :
توی فرمهای امنیت پیدا کردم این مورد رو مثل اینکه یک فایل با پسوند
توی آپدیت تلگرام این موضوع حل شده و فایل بصورت
نمایش داده میشه .
حتما حتما آپدیت کنی؛ و اگر فایل
تلگرام تایید نکرده هنوز؛ اما مثل اینکه یک باگ امنیتی
0-day
روی نسخه دسکتاپ تلگرام وجود داره که هکر یک فایل رو برای شما ارسال میکنه (استیکر - فیلم یا ...) و با کلیک روی اون یک سری دستورات روی سیستم اجرا میشه.دموهای مختلف و مورد بحث فعلا فقط روی
Windows
هستند (اما تلگرام چندساعت قبل آپدیت جدیدی رو برای دسکتاپ منتشر کرد که هنوز مشخص نیست آیا مربوط به این باگ بوده یا خیر)چرا این پست رو اینجا گذاشتم ؟
چون سیستم هدف حتما باید پایتون رو نصب داشته باشه
مک و لینوکس که دیفالت نصب هست
ویندوز هم که توی تمامی نفوذها بهش اشاره شده برای بچههایی که اینجا هستند حتما نصب هست.
پ.ن :
توی فرمهای امنیت پیدا کردم این مورد رو مثل اینکه یک فایل با پسوند
pyzw
برای شما ارسال میشده و تلگرام اون رو بصورت video
رندر میکرده و اسکریپت همراهش هم اجرا میشده با اجرای ویدئو.توی آپدیت تلگرام این موضوع حل شده و فایل بصورت
filename.pyzw.untrusted
نمایش داده میشه .
حتما حتما آپدیت کنی؛ و اگر فایل
untrusted
توی هیستوری دارید که باز شده؛ سیستم رو به متخصص امنیت جهت بررسی بدید.👍21❤5
خبر هک شدن
اما اگر ندیدید باید بگم که به شما آسیبی نمیزنه این هک؛ حتی به خود
حالا موضوع چی بوده؛
مثل اینکه
اما تیمی که تحقیق امنیتی رو انجام داده متوجه شده
این تیم هم همینکارو کرده و با
دیدم خیلیها هیجان زده بودند و .. گفتم ی توضیح بدم این یک
در نهایت تو ایران کلی سرویس و .. داریم که دارند از pickle استفاده میکنند و خیلیهاشون با همین تکنیک بهشون نفوذ میشه
اگر خواستید یک مثال ساده هم ببینید؛ این پست رو میتونید بخونید:
https://www.tg-me.com/pyHints/8
در نهایت وقتی روی میزان ساعت کار به افراد لقب سنیور میدید اینجوری میشه 😁😂
hugging face
و دسترسی به بخش بزرگی از کلاسترهای پردازشی رو حتما دیدید.اما اگر ندیدید باید بگم که به شما آسیبی نمیزنه این هک؛ حتی به خود
hugging face
هم آسیبی نزده جون گروهی که اینکار رو کرده محقق بوده و قبل از انتشار پست و ... به تیم هاگینگفیس خبر دادند.حالا موضوع چی بوده؛
pickle
من قبلا توی کانال تخصصی پایتون دقیق این موضوع رو توضیح دادم و مثال هم زدم.مثل اینکه
hugging face
بعد از متوجه شدن این موضوع میاد مدلهای pickle
شده رو به کاربرها اخطار میده که ممکن هست امن نباشه (۱ سال هست که این رو فهمیدند؛ نمیدونم چرا نمیان از ما مشورت بگیرند.) چون شخصا فایل pickle
از اینترنت به هیچوجه دانلود و اجرا نمیکنم این موضوع رو ندیده بودم.اما تیمی که تحقیق امنیتی رو انجام داده متوجه شده
hugging face
فقط به کاربر اخطار میده ولی خودش مدل رو روی سرور deploy
میکنه و با توجه به توضیحات و آموزش سادهی من توی کانال @pyHints همه بلدیم که ازش دسترسی بگیریم و ....این تیم هم همینکارو کرده و با
pickle
کدهای مخرب رو روی سرورهای hugging face
اجرا کرده تا جایی که ی دسترسی کامل و تمیز به بخشی از کلاسترهای پردازشی گرفته.دیدم خیلیها هیجان زده بودند و .. گفتم ی توضیح بدم این یک
exploit
جدید نیست بلکه یک موضوع کاملا شناخته شده هست. مشکل هم از پایتون نیست بلکه از pickle
هست.در نهایت تو ایران کلی سرویس و .. داریم که دارند از pickle استفاده میکنند و خیلیهاشون با همین تکنیک بهشون نفوذ میشه
اگر خواستید یک مثال ساده هم ببینید؛ این پست رو میتونید بخونید:
https://www.tg-me.com/pyHints/8
در نهایت وقتی روی میزان ساعت کار به افراد لقب سنیور میدید اینجوری میشه 😁😂
Telegram
Python Hints
یک نمونه exploit خیلی ساده برای تست؛ سورس کد رو گذاشتم که خودتون اجرا کنید و مطمئن باشید امن هست.
اما بجای ls میشد هرکار دیگری هم کرد یا خوندن passwd میشد خیلی کارهای دیگهای کرد.
هیچوقت هیچ فایل Pickle ایی رو از کسی قبول نکنید اگر قبول کردید روی سیستم…
اما بجای ls میشد هرکار دیگری هم کرد یا خوندن passwd میشد خیلی کارهای دیگهای کرد.
هیچوقت هیچ فایل Pickle ایی رو از کسی قبول نکنید اگر قبول کردید روی سیستم…
👍27❤5
دارم
تا اینجا که راضیام ازش.
ی لوکال راه بندازم تستهای بیشتر بگیرم؛ بخصوص روی دیتاهای خودم
بعد حتما راجبش مینویسم (ولی حتما تست کنید؛ چون رضایت بخش هست).
llama3
رو تست میکنم تا اینجا که راضیام ازش.
ی لوکال راه بندازم تستهای بیشتر بگیرم؛ بخصوص روی دیتاهای خودم
finetune
کنم اگر زمانبندی و ... اجازه دادبعد حتما راجبش مینویسم (ولی حتما تست کنید؛ چون رضایت بخش هست).
👍20❤6
دستاوردهای یادگیری عمیق(InTec)
دارم llama3 رو تست میکنم تا اینجا که راضیام ازش. ی لوکال راه بندازم تستهای بیشتر بگیرم؛ بخصوص روی دیتاهای خودم finetune کنم اگر زمانبندی و ... اجازه داد بعد حتما راجبش مینویسم (ولی حتما تست کنید؛ چون رضایت بخش هست).
خروجی اولیه روی دانش خود مدل؛
من قبلش فقط بهش گفتم نیازی نیست به فارسی یا ... جواب بده و بهتره همهی جوابهای فارغ از زبان ورودی فقط به انگلیسی باشه
این مدل ۸ میلیارد پارامتری و سبکتر هست.
سراغ مدل ۷۰ میلیاردی هم خوام رفت.
اصل سوالم این بود (اگر متن به خوبی مشخص نیست)
میتونی خیلی ساده بهم راجب
پ.ن :
اضافه کنم؛ کدی ندارم که دقیقا تست کنم چند توکن در ثانیه جواب میده اما احساس میکنم سریعتر از مدلهای ۷ میلیارد پارامتری هست که روی سیستم دارم.
اگر خواستید تست کنید و سیستم یا ... برای تست لوکال ندارید
https://meta.ai
در حال حاضر رایگان هست (فقط لیست کشورهایی که براشون فعال شده رو بخونید و
قدرت و سرعت تولید عکس بسیار خوبی هم داره (روی meta.ai البته)
من قبلش فقط بهش گفتم نیازی نیست به فارسی یا ... جواب بده و بهتره همهی جوابهای فارغ از زبان ورودی فقط به انگلیسی باشه
این مدل ۸ میلیارد پارامتری و سبکتر هست.
سراغ مدل ۷۰ میلیاردی هم خوام رفت.
اصل سوالم این بود (اگر متن به خوبی مشخص نیست)
میتونی خیلی ساده بهم راجب
DDD
توی Django
با مثال توضیح بدی ؟پ.ن :
اضافه کنم؛ کدی ندارم که دقیقا تست کنم چند توکن در ثانیه جواب میده اما احساس میکنم سریعتر از مدلهای ۷ میلیارد پارامتری هست که روی سیستم دارم.
اگر خواستید تست کنید و سیستم یا ... برای تست لوکال ندارید
https://meta.ai
در حال حاضر رایگان هست (فقط لیست کشورهایی که براشون فعال شده رو بخونید و
vpn
رو فعال کنید.)قدرت و سرعت تولید عکس بسیار خوبی هم داره (روی meta.ai البته)
👍15❤2
#Quick
اگر دنبال یک
این مدل ۷ میلیارد پارامتری هست؛ اما از نظر عملکرد توی بسیاری از بنچمارکها عملکردی نزدیک به (با ۳٪ اختلاف)
شخصا این مدل رو با مدلهای ۳۳ میلیارد پارامتری که رو سیستم دارم مقایسه کردم و واقعا عالی عمل میکنه و به لطف
نکته آخر اینکه : این مدل هم از
📱
CodeQwen1.5-7b-chat on 🤗
اگر دنبال یک
LLM
خوب برای code generation
روی سیستم لوکال میگردید حتماً نگاهی به CodeQwen1.5
بندازید.این مدل ۷ میلیارد پارامتری هست؛ اما از نظر عملکرد توی بسیاری از بنچمارکها عملکردی نزدیک به (با ۳٪ اختلاف)
Gpt-4-Turbo
آپدیت نوامبر داره.شخصا این مدل رو با مدلهای ۳۳ میلیارد پارامتری که رو سیستم دارم مقایسه کردم و واقعا عالی عمل میکنه و به لطف
context length
با ظرفیت 64K
محدودیت های کمتر و درک بهتری از پروژه و کدهای اطرافش داره.نکته آخر اینکه : این مدل هم از
Group Query Attention
استفاده میکنه مثل Llama3
اما ظرفیت ورودی Llama3
روی 8k
هست و البته Llama3
هنوز نسخه اختصاصی برای code
نداده.CodeQwen1.5-7b-chat on 🤗
Please open Telegram to view this post
VIEW IN TELEGRAM
huggingface.co
Qwen/CodeQwen1.5-7B-Chat · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍15❤10
لینکدین با کامیونیتی فارسی واقعاً عجیب غریب هست،
طرف زده متخصص هوش مصنوعی و LLM (توی بخش bio منظورم هست)
بعد زده که تیم شرکت از من خواستند، یک
Local LLM
روی کدهای شرکت راهاندازی کنم، که فقط ۱۰ دولوپر شرکت بهش دسترسی داشته باشند، نیاز به اینترنت هم نداشته باشه.
پیش خودم گفتم پس چطوری متخصص LLM هستی استاد ؟ ما اینکارها رو سپردیم به کارآموزهای تیم
حتی شاید باور نکنید ولی چند روز پیش نیروی UI/UX شرکت داشت ازم راهنمایی میگرفت روش Split بهش معرفی کنم که RAG ایی که راه اندازی کرده خروجی بهتری بهش بده.
اومدم رد بشم، که دیدم یکی دیگه زده من یک دوره آموزشی ۱۰ جلسهای گذاشتم مبلغ مناسب اگر خواستید بهم اطلاع بدید (عضو گروه هم خواهید شد.)
واقعاً اوضاع وخیم هست، وخیم.
تورو خدا نکنید اینکار هارو.
طرف زده متخصص هوش مصنوعی و LLM (توی بخش bio منظورم هست)
بعد زده که تیم شرکت از من خواستند، یک
Local LLM
روی کدهای شرکت راهاندازی کنم، که فقط ۱۰ دولوپر شرکت بهش دسترسی داشته باشند، نیاز به اینترنت هم نداشته باشه.
پیش خودم گفتم پس چطوری متخصص LLM هستی استاد ؟ ما اینکارها رو سپردیم به کارآموزهای تیم
حتی شاید باور نکنید ولی چند روز پیش نیروی UI/UX شرکت داشت ازم راهنمایی میگرفت روش Split بهش معرفی کنم که RAG ایی که راه اندازی کرده خروجی بهتری بهش بده.
اومدم رد بشم، که دیدم یکی دیگه زده من یک دوره آموزشی ۱۰ جلسهای گذاشتم مبلغ مناسب اگر خواستید بهم اطلاع بدید (عضو گروه هم خواهید شد.)
واقعاً اوضاع وخیم هست، وخیم.
تورو خدا نکنید اینکار هارو.
👍60
Phi-3
توسط ماکروسافت
Llama3 - ChatGpt 3.5 - Mixtral 8x7b
.لینک مقاله:
hugging face paper
نکات مهم که وجود داره :
همه صحبتها راجب نسخه
mini
هست فعلا که شامل این موارد میشه Phi-3-mini
- Architecture specs: decoder-only transformer, ModelSize: 3.8 billion
parameters, LongRope [ 128K Context length ], Vocab Size [ 32064 ],
trained on 3.3 trillion tokens. at bfloat16.
- Rivals performance to larger models like Mixtral 8x7B and GPT-3.5,
capable of running locally on a smartphone.
- Utilizes high quality training dataset heavily filtered from web data and
llm-generated synthetic data.
- Can be quantized to 4-bits, occupying ≈ 1.8GB of memory.
- Ran natively on iPhone 14🍎 with A16 Bionic chip with inference speed of up
to 12 tokens per second.
پ.ن : سعی میکنم به محض انتشار؛ روی گوشی تست کنم و اگر لازم شد آموزش هم میذارم.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17❤5
دستاوردهای یادگیری عمیق(InTec)
درگیر هکرها نشید؛ مثل اتفاقی که برای hugging face افتاد و توضیح دادم :
https://www.tg-me.com/pytens/1427
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
دستاوردهای یادگیری عمیق(InTec)
خبر هک شدن hugging face و دسترسی به بخش بزرگی از کلاسترهای پردازشی رو حتما دیدید.
اما اگر ندیدید باید بگم که به شما آسیبی نمیزنه این هک؛ حتی به خود hugging face هم آسیبی نزده جون گروهی که اینکار رو کرده محقق بوده و قبل از انتشار پست و ... به تیم هاگینگفیس…
اما اگر ندیدید باید بگم که به شما آسیبی نمیزنه این هک؛ حتی به خود hugging face هم آسیبی نزده جون گروهی که اینکار رو کرده محقق بوده و قبل از انتشار پست و ... به تیم هاگینگفیس…
👍14
دستاوردهای یادگیری عمیق(InTec)
♥️ R.I.P CentOS ♥️
حدود ۲ ماه دیگه تمام پشتیبانیهای رسمی برای آخرین بازمانده خوانده
با اینکه از حدود 2019 و شایعههای اولیه دیگه از این توزیع استفاده نکردم؛ اما بابت همه باری که تو روزهای ادمین سرور بودنم از روی دوشم برداشت از دولوپرهاش ممنونم.
هیچوقت یادم نمیره وقتی اولین بار روی
وقتی برای آزمون رسمی
به یاد گذشته😐
CentOS
تموم خواهد شد.
CentOS 7 end of life: June 30, 2024.
با اینکه از حدود 2019 و شایعههای اولیه دیگه از این توزیع استفاده نکردم؛ اما بابت همه باری که تو روزهای ادمین سرور بودنم از روی دوشم برداشت از دولوپرهاش ممنونم.
هیچوقت یادم نمیره وقتی اولین بار روی
CentOS
شروع کردم به کار و تنظیمات و ... وقتی برای آزمون رسمی
RedHat
آماده میشدم تازه اون موقع بود که فهمیدم اصلا لینوکس بلد نیستم و CentOS
واقعا برای همه کسایی که اون آزمونهارو شرکت میکردند بسیار کاربردی و راحت بود. به یاد گذشته
Please open Telegram to view this post
VIEW IN TELEGRAM
❤24👍6
برای ۳ تا شرکت
توی ۱ ماه گذشته، مشغول مصاحبه و تأیید و استخدام نیرو بودم
در زمینه هوش مصنوعی.
۱ نفر نتونست، از رزومهاش دفاع کنه
۱ نفر نتونست، جواب چندتا مسئله پروداکشن رو بده
به طرف میگم، با ترنسفرمر آشنایی داری ؟
یا مثلاً برای vision میگم با segmentation ها آشنایی داری ؟
بعضیها، تک تک عملکردهای مدل رو میدونند
دقیقاً فرمولهارو میشناسند.
اومدم کدهای اون بخش رو حذف میکنم، بهش میگم همینایی که گفتی رو این قسمتش رو پیاده سازی کن.
فرض بر این هست که توی کار تیمی یک ایده جدیدی اومده و شما قراره پیادهسازی کنید.
فقط ۱ نفر تونست اینکار رو بکنه، هرچند کدهاش هیچکدوم از اصول و قوانین رو رعایت نکرده بود.
رفتیم سراغ مباحث، design برای بیزینس پیادهسازی مهمه
میگم خب فرض کن ۳۰۰ تا کاربر داریم با این شرایط و ...، چطوری میتونیم مدل رو پیادهسازی کنیم و ...
حتی یک نفر هم نتونست یک راهکار واقعی و قابل پیادهسازی بده
فقط ۱ نفر اشاره کرد، که میتونیم همرو بذاریم توی صف event driven کنیم و ...
از مباحث هوش مصنوعی اومدم بیرون، گفتم اشکال نداره (هرکسی با من کار کرده میدونه هوش مصنوعی بلد بودن برای من اهمیت نداره توی بیزینس، مهم software engineer بودند هست)
اوضاع این افراد هم که خوب نبود گفتم میرم روی سواد پایتون نیرو میگیرم (فقط سنیور میخواستم)
خلاصهاش این بود :
۱- گروه زیادی dunder method نمیدونستند چی هست اصلا
۲- افراد زیادی تفاوت با مفاهیمی مثل logging, exception handle , ... آشنا بودند اما نه بصورت درست و برای software های بزرگتر از ۲۰ تا کاربر
۳- خیلیها مسائلی مثل caching, queue , ... رو بلد نبودند یا اینکه نمیدونستند چطور میشه یک API هوش مصنوعی نوشت که همزمان که مدل درحال تولید خروجی هست برای کاربر هم ارسال بشه.
۴- مفاهیمی مثل Mixin, Monkey Patch, Duck typing , ... رو نشنیده بودند (با دیدن کد یا متدی که داخلش نوشته شده pass در تلاش برای حذف کد بودند)
۵- مفاهیم مهمی مثل Protocol, ABC, ... توی پایتون رو حتی نمیشناختند.
۶- بدتر از همه،
Async, threading, multi-process
توی پایتون و نحوه عملکردش رو نمیدونستند.
و این اوضاع Senior Python Developer های کشورمون هست، وقتی کسی بهم میگه کار نیست فقط ازش ۱ سوال میپرسم تا ارزیابی کنم سوادش رو.
با خیلی از دوستان Senior دیگه هم صحبت کردم (میخواستم ازشون نیروی پایتون بگیرم) همگی تأیید کردند که خودشون هم توی همین شرایط هستند.
توی کانال:
@pyhints
وقتی ۱۰۰۰ نفر شدیم، یک گروه آموزش+ کتابخوانی راهانداختم ظرفیت ۲۵۰ نفر.
ازون افراد ۳۰ نفر آینده خوبی خواهند داشت قطعاً (تمامی جلسات و کل کتاب رو دنبال کردند، حدود ۱۷ نفر رو میدونم که یا Raise گرفتند یا به شرکت بهتری رفتند)
اینبار میخوام، بجای گروه، لایو بذاریم (گوگل میت) و بعد روی یوتیوب همون کانال آپلود بشه.
فردا، اولین جلسه هست.
راجب کتابی که قراره باهم بخونیم، نحوه خوندن کتاب و ...
از همش مهمتر اینکه، چی باعث شد من به این فکر بیوفتم که حتماً باید اینکار صورت بگیره.
حتماً توضیح میدم که چرا با کارکردن با آموزشگاهها مخالف هستم و هیچ موقع قبول نکردم دورههای پولی راهاندازی کنم.
اولین بار هست که قراره دوره با مخاطب عمومی و آزاد داشته باشم که رایگان هم خواهد بود.
اما هدف فقط و فقط پیشرفت جامعه پایتون هست.
توی ۱ ماه گذشته، مشغول مصاحبه و تأیید و استخدام نیرو بودم
در زمینه هوش مصنوعی.
۱ نفر نتونست، از رزومهاش دفاع کنه
۱ نفر نتونست، جواب چندتا مسئله پروداکشن رو بده
به طرف میگم، با ترنسفرمر آشنایی داری ؟
یا مثلاً برای vision میگم با segmentation ها آشنایی داری ؟
بعضیها، تک تک عملکردهای مدل رو میدونند
دقیقاً فرمولهارو میشناسند.
اومدم کدهای اون بخش رو حذف میکنم، بهش میگم همینایی که گفتی رو این قسمتش رو پیاده سازی کن.
فرض بر این هست که توی کار تیمی یک ایده جدیدی اومده و شما قراره پیادهسازی کنید.
فقط ۱ نفر تونست اینکار رو بکنه، هرچند کدهاش هیچکدوم از اصول و قوانین رو رعایت نکرده بود.
رفتیم سراغ مباحث، design برای بیزینس پیادهسازی مهمه
میگم خب فرض کن ۳۰۰ تا کاربر داریم با این شرایط و ...، چطوری میتونیم مدل رو پیادهسازی کنیم و ...
حتی یک نفر هم نتونست یک راهکار واقعی و قابل پیادهسازی بده
فقط ۱ نفر اشاره کرد، که میتونیم همرو بذاریم توی صف event driven کنیم و ...
از مباحث هوش مصنوعی اومدم بیرون، گفتم اشکال نداره (هرکسی با من کار کرده میدونه هوش مصنوعی بلد بودن برای من اهمیت نداره توی بیزینس، مهم software engineer بودند هست)
اوضاع این افراد هم که خوب نبود گفتم میرم روی سواد پایتون نیرو میگیرم (فقط سنیور میخواستم)
خلاصهاش این بود :
۱- گروه زیادی dunder method نمیدونستند چی هست اصلا
۲- افراد زیادی تفاوت با مفاهیمی مثل logging, exception handle , ... آشنا بودند اما نه بصورت درست و برای software های بزرگتر از ۲۰ تا کاربر
۳- خیلیها مسائلی مثل caching, queue , ... رو بلد نبودند یا اینکه نمیدونستند چطور میشه یک API هوش مصنوعی نوشت که همزمان که مدل درحال تولید خروجی هست برای کاربر هم ارسال بشه.
۴- مفاهیمی مثل Mixin, Monkey Patch, Duck typing , ... رو نشنیده بودند (با دیدن کد یا متدی که داخلش نوشته شده pass در تلاش برای حذف کد بودند)
۵- مفاهیم مهمی مثل Protocol, ABC, ... توی پایتون رو حتی نمیشناختند.
۶- بدتر از همه،
Async, threading, multi-process
توی پایتون و نحوه عملکردش رو نمیدونستند.
و این اوضاع Senior Python Developer های کشورمون هست، وقتی کسی بهم میگه کار نیست فقط ازش ۱ سوال میپرسم تا ارزیابی کنم سوادش رو.
با خیلی از دوستان Senior دیگه هم صحبت کردم (میخواستم ازشون نیروی پایتون بگیرم) همگی تأیید کردند که خودشون هم توی همین شرایط هستند.
توی کانال:
@pyhints
وقتی ۱۰۰۰ نفر شدیم، یک گروه آموزش+ کتابخوانی راهانداختم ظرفیت ۲۵۰ نفر.
ازون افراد ۳۰ نفر آینده خوبی خواهند داشت قطعاً (تمامی جلسات و کل کتاب رو دنبال کردند، حدود ۱۷ نفر رو میدونم که یا Raise گرفتند یا به شرکت بهتری رفتند)
اینبار میخوام، بجای گروه، لایو بذاریم (گوگل میت) و بعد روی یوتیوب همون کانال آپلود بشه.
فردا، اولین جلسه هست.
راجب کتابی که قراره باهم بخونیم، نحوه خوندن کتاب و ...
از همش مهمتر اینکه، چی باعث شد من به این فکر بیوفتم که حتماً باید اینکار صورت بگیره.
حتماً توضیح میدم که چرا با کارکردن با آموزشگاهها مخالف هستم و هیچ موقع قبول نکردم دورههای پولی راهاندازی کنم.
اولین بار هست که قراره دوره با مخاطب عمومی و آزاد داشته باشم که رایگان هم خواهد بود.
اما هدف فقط و فقط پیشرفت جامعه پایتون هست.
❤126👍51