این بلاگ پست راجع به روش‌های Zero-Shot Learning با استفاده از ترنسفورمرهای huggingface توضیح داده!

اگر با این موضوع آشنا نیستید این پست (https://www.tg-me.com/nlp_stuff/19) را اول بخونید.


https://joeddav.github.io/blog/2020/05/29/ZSL.html

#read
#blog

@nlp_stuff

حوصله‌تون سررفته؟ می‌تونید برید و با بلبل‌زبان که حاصل آموزش دادن مدل GPT2 روی متون زبان فارسی است بازی کنید و سرگرم بشید.

www.bolbolzaban.com

#link

@nlp_stuff

این پست اومده بخش‌های مختلف مقاله‌ی اسطوره‌ای «attention is all you need» را به صورت تیکه تیکه آورده و با پایتورچ پیاده‌سازی کرده.
خیلی تمیز و خوبه.

http://nlp.seas.harvard.edu/2018/04/03/attention.html

#read
#blog

@nlp_stuff

یک سری شامورتی‌بازی که با مدل GPT-3 تا الان منتشر شده، در لینک زیر یکجا آورده شده. باحاله.

https://machinelearningtokyo.com/2020/07/26/10-cool-gpt-3-demos/

#read
#blog

@nlp_stuff

برادر آمیت لطف کرده و یه خلاصه برای مقاله‌ی برنده‌ی ACL2020 نوشته. اگر خود مقاله را هم نخوندید، این را بخونید خوبه!

https://amitness.com/2020/07/checklist/

(اگر نمی‌دونید کلا داستان چیه، این پست را اول ببینید: https://www.tg-me.com/nlp_stuff/48)

#read
#blog

@nlp_stuff

دو تا از روش‌هایی که برای کوچک‌کردن مدل‌ها استفاده میشن pruning و distillation هستند.
این پست یه خلاصه‌ی خوب از مقاله‌ی Poor Man's BERT: Smaller and Faster Transformer Models برای روش‌های هرس کردن و مزیت‌هاش نوشته.

https://medium.com/dair-ai/poor-mans-bert-why-pruning-is-better-than-knowledge-distillation-%EF%B8%8F-f9652a1dc2bd

لینک مقاله‌ی اصلی:
https://arxiv.org/abs/2004.03844

#read
#blog

@nlp_stuff

ما داریم سعی می‌کنیم یک لیست درجه یک از مقاله‌های عالی NLP را (که باید خونده بشن) به تفکیک حوزه‌ها در ریپو زیر درست کنیم و به روز نگه داریمش. 

 اگر مقاله‌ای عالی می‌شناسید که در این لیست نیست، یا پول ریکوئست بدید یا اطلاع بدید که ما اضافه‌اش کنیم.
و اینکه در قسمت Thanks to لیست هم اضافه‌تون می‌کنیم که دور هم باشیم!

امیدواریم انشاءالله با هم یک منبع ماندگار و به‌روز درست کنیم.


پی‌نوشت ۱. لطفا دست به دست کنید!
پی‌نوشت ۲. استار فراموش نشه. ما خیلی استار دوست داریم! :))

https://github.com/aabadri/nlp-papers


#read
#paper
#link
#irani

@nlp_stuff

فکر نکنین که با ظهور دیپ و اومدن هر روزه شبکه‌های سنگین‌تر مسائل در حال حل شدن هستند و ما داریم به هوش واقعی می‌رسیم!
نخیر! همونطور که مشاهده می‌کنید گوگل با اون عظمتش گاهی لنگ می‌زنه!

@nlp_stuff

درسته که ما فعلا نمی‌تونیم لقمه‌های بزرگ مثل آموزش دادن GPT3 و GPT2 و اینها رو برداریم؛ ولی می‌تونیم که کوچیک کوچیک سهم خودمون رو در دنیای nlp بیشتر کنیم! این پروژه نمونه یکی از همون پروژه‌های جمع و جور هستش که سعی داره یک پیشرفت رو به نمایش بگذاره. ازش استفاده کنین تا سریعتر از nltk بتونین bleu رو حساب کنید!
به طور فنی‌تر اگر مجموعه مرجعتون خیلی بزرگه و می‌خواید معیار bleu یا self-bleu رو برای مدل‌های مختلف حساب کنید به احتمال زیاد به کارتون میاد (در واقع مجموعه مرجع ثابت و چندین مجموعه hypotheses دارید. بیشتر در ارزیابی مدل‌های زبانی چنین شرایطی پیش میاد)

تا جایی که می‌شده تست شده؛ خوشحال می‌شیم اگه مشکلی داشت issue بزنید. روی لینوکسم هست و برای ویندوز تست نشده!

در ضمن شما هم اگر کدی زدید که فکر می‌کنید می‌تونه خفن باشه به ما بگین تا تبلیغش کنیم.

https://github.com/Danial-Alh/fast-bleu

#irani
#tool
#code

@nlp_stuff

کنفرانس آنلاین Data Science fwdays'20 در روزهای ۸ و ۱۵ آگوست به صورت رایگان برگزار شده و میشه.
فردا حدود ساعت ۱۹ هم سخنرانی توماس ولف از تیم هاگینگ فیس با موضوع جذاب An Introduction to Transfer Learning and Hugging Face خواهد بود.


لینک لایو یوتیوب کنفرانس (ساعت ۱۲:۲۰ شروع میشه):
https://www.youtube.com/watch?v=TCutgkMyjdY

ویدیو دیگه‌ای از ایشون با همین موضوع در NLP Zurich:
https://www.youtube.com/watch?v=rEGB7-FlPRs

ویدیو پارسالش در همین کنفرانس Data Science fwdays با موضوع Transfer learning in NLP:
https://youtu.be/0T_Qr4qBrqc?list=PLPcgQFk9n9y8CCapH9u99Va7Ufs5bVZZn&t=24


خلاصه با این همه منابع در این موضوع برید کیف کنید.

#coach
#course

@nlp_stuff

در این ریپو اخبار و تاپیک‌های هوش مصنوعی و ماشین لرنینگ (کنفرانس، مدل‌های خفن، کورس و …) به صورت ماهانه گذاشته میشه.
جای تمیز و به‌درد‌بخوریه.

https://github.com/Machine-Learning-Tokyo/AI-ML-Newsletter

#link

@nlp_stuff

دیتاست ویکی‌پدیا فارسی شامل تمامی مقالات فارسی تا تاریخ ۱۲ مرداد ۱۳۹۹.
مخصوصا برای آموزش مدل زبانی خیلی به درد می‌خوره.

استار بدید لذتشو ببره.


https://github.com/miladfa7/Persian-Wikipedia-Dataset


#link
#irani
#dataset

@nlp_stuff

آقا توماس از تیم هاگینگ‌فیس می‌خواد برامون نمونه کدهایی ساده و تمیز از استفاده از ترنسفورمرها با همه‌ی مراحل مهم (پیش‌پردازش، آموزش، ارزیابی و تنظیم هایپرپارامتر) درست کنه. این اولیشه.
در توییتر دنبالش کنید. چیزای زیادی ازش یاد می‌گیرید.

https://twitter.com/Thom_Wolf/status/1296633793558786048

#twitter

@nlp_stuff

این دو ویدئوی جمع و جور از دوست هندیمون (یکی از خفنای کگل) را ببینید.
اولیش برای آموزش یک مدل ساده‌ی تشخیص قطبیت با تورچ و برت از هاگینگ‌فیس و بعدش سرو کردنش با فلسکه.
دومیش هم داکر برای دیتا سانتیست‌هاست که داکرایز کردن همون پروژه‌ی ویدیوی اوله.


https://www.youtube.com/watch?v=hinZO--TEk4

https://www.youtube.com/watch?v=0qG_0CPQhpg

https://github.com/abhishekkrthakur/bert-sentiment

#coach
#course

@nlp_stuff

این بلاگ پست فوق‌العاده مسیر رشد تحقیقات در حوزه پردازش زبان طبیعی را از دوران RNN تا مقاله‌ی Big Bird مرور می‌کنه و دید از بالای خیلی خوبی میده.

https://eugeneyan.com/writing/nlp-supervised-learning-survey/

#read
#blog

@nlp_stuff

به نظر میاد فریمورک‌هایی که قراره به زودی همه چیزو رنده کنند، امثال Objax (از گوگل)، HAIKU (از دیپ مایند گوگل) و flax (بازم از گوگل) هستند که روی Jax (طبیعتا بازم از گوگل) درست شدند.
کتابخونه jax مستقیما از داده ساختار numpy استفاده می‌کنه (به تنسور تبدیل نمیشه) و روی gpu ران می‌شه و چون از کامپایلر xla استفاده میکنه با tpu سازگاری کامل داره. استفاده از numpy برای کد زدن قطعا خیلی راحت‌تره و خیلیا هم بلدن.
اولویت این کتابخونه‌ها سادگی و قابلیت شخصی‌سازی راحتشونه.

این دوتا توییت از آقای گودفلوی کبیر و آقای برثلوت (سازنده‌ی objax) را ببینید.
https://twitter.com/goodfellow_ian/status/1299753335524700160?s=09

https://twitter.com/D_Berthelot_ML/status/1299275145886875650?s=20


اینم گیت کتابخونه objax:
https://github.com/google/objax


اینم یه مقایسه اولیه بین سرعت پایتورچ و jax:
https://www.kaggle.com/grez911/performance-of-jax-vs-pytorch

اینا فقط سر نخه که بگیریم و بریم دنبال داستان.

با تشکر از دانیال علی‌حسینی، حامد شادباش و مهدی رضایی.

#twitter
#link

@nlp_stuff

آقا آمیت مثل همیشه شرمنده‌مون کرده و یک پست جدید درباره Data Augmentation (تولید و تقویت دیتا) برامون نوشته اما این بار از MarianMT (از کتابخونه transformers) به جای گوگل ترنسلیت برای تکنیک back translation استفاده کرده.
کدش هم گذاشته که روی گوگل کولب ران کنیم کیف کنیم.
بحث data augmentation بحث خیلی مهم، به‌روز و خیلی به درد بخوریه. از دست ندید.

اگر کلا نمی‌دونید داستان چیه، قبلش این پست (https://www.tg-me.com/nlp_stuff/5) را ببینید.


https://amitness.com/back-translation/

#read
#blog

@nlp_stuff

در این دوره تحلیل پردازش زبان طبیعی با منابع کم بررسی میشه که قطعا به درد ما می‌خوره!!
قبلا از این دوستمون هم دوره‌ی دیگه‌ای (https://www.tg-me.com/nlp_stuff/33) معرفی کرده بودیم.


https://www.youtube.com/watch?v=glIbcpay1-I&list=PL8PYTP1V4I8A1CpCzURXAUa6H4HO7PF2c


#coach
#course

@nlp_stuff

آینده هوش احتمالا وابسته به فیلد RL هستش. در راستای این جمله پژوهش جدید openAI رو مشاهده کنید. این تیم که کلا رو RL زیاد فوکوس کرده‌اند، این بار به سراغ نشون دادن تاثیر RL بر مدل‌های زبانی رفته‌اند. تیم OpenAI گفته‌اند که مدل‌های زبانی فعلی با هدف تشخیص کلمه بعدی آموزش می‌بینند که می‌تونه راه کامل و جامعی برای آموزش مدل نباشه.
سپس اومدن با یادگیری بانظارت مدلی رو روی فیدبک‌های انسانی آموزش دادن که بتونه تشخیص بده کدوم خلاصه‌سازی از یک متن بیشتر به مذاق آدمیزاد خوش میاد. بعدش اومدن با کمک این مدل و البته RL، مدل زبانی رو روی تسک خلاصه سازی متن Fine tune کردن. در نهایت هم نشون دادن که این مدل خلاصه سازی متن حاصل شده، کیفیتش از مدلی خلاصه سازی ده برابر بزرگتر از اون بهتره.
اگر به RL و مدل‌های زبانی علاقه مندین و البته مشکل خاصی با ایلان ماسک ندارین، توصیه می‌کنیم که این مقاله رو بخونین که مال همین ۴ سپتامبره و از نون‌های تو سفره‌تون داغ تره!

https://openai.com/blog/learning-to-summarize-with-human-feedback/

#read
#paper

@nlp_stuff

این حساب مدیوم به صورت هفتگی اخبار حوزه پردازش زبان طبیعی را منتشر می‌کنه.
این پست دیروز منتشر شده. حتما چند دقیقه وقت بذارید بخونید.

https://medium.com/towards-artificial-intelligence/nlp-news-cypher-09-06-20-bfa8bb4a07b5

#read
#blog

@nlp_stuff