در این پست از انتشارات overfit، یک رشته‌پست‌ به نام «داستان ترنسفورمرها» را شروع کردیم که به امید خدا قصد داریم داستان لزوم، پیدایش و حیات ترنسفورمرها را شرح بدیم. این اولیشه.
نظر فراموش نشه!

اگر پست خوبی داشتید خبر بدید که در انتشارات بگذاریم.


https://virgool.io/overfit/transformers1-b31wtfstlwvc

#read
#blog
#overfit

@nlp_stuff

یک مدل قوی و سرراست بر اساس ترنسفورمر برای تصحیح دیکته‌ (spell checker) زبان انگلیسی در این ریپو ارائه شده.

https://github.com/mhagiwara/xfspell

#tool

@nlp_stuff

با این اکستنشن کروم می‌‌تونید از گوگل اسکولار مستقیم برید به پیاده‌سازی مقاله در سایت وزین paperswithcode.com.

https://twitter.com/paperswithcode/status/1276125432899911686?s=20

#twitter

@nlp_stuff

این پست جدید داداشمون راجع به گوگل کولب در حد یه نگاه سه دقیقه و هفده ثانیه‌ای ارزش داره.
مثلا همین موردی که توی عکسه جالبه.

https://amitness.com/2020/06/google-colaboratory-tips/

#read
#blog

@nlp_stuff

قابل توجه علاقه مندان به حوزه چت‌بات‌ها و دیالوگ سیستم‌ها، parl ai یک پلتفرم ارائه شده توسط فیسبوکه که از اون میشه برای کارکردهایی نظیر آموزش و ارزیابی و به اشتراک‌گذاری و استفاده از مدل‌های مکالمه‌ای آموزش دیده شده توسط دیگران استفاده کرد. در ضمن بالای ۱۰۰ تا دیتاست متنوع دیالوگ رو هم تو خودش جا داده، میتونین کیفش رو ببرید.
کار کردن باهاش و تعریف تسک و مدل توش یه کم پیچیده‌ست ولی دستتون که راه بیفته متوجه میشین که چه روش جالبی رو برای مدل کردن کلی مسأله دیالوگ انتخاب کردن.
با توجه به تلاش‌های Facebook research در سال‌های اخیر میشه این حدس رو داشت که تمرکز اصلی اونها در جبهه nlp روی حوزه چت‌بات‌هاست.

#tool

@nlp_stuff

در دومین پست از رشته‌‌پست‌ «داستان ترنسفورمرها»، انواع مکانیزم‌های توجه را بررسی کردیم.
لطفا بخونید و نظر بدید!

اگر پست خوبی داشتید خبر بدید که در انتشارات بگذاریم.


https://virgool.io/overfit/transformers2-ch6ojadripur

#read
#blog
#overfit

@nlp_stuff

مقاله‌ی برنده‌ی ACL2020

این مقاله امسال جایزه‌ی بهترین مقاله‌ی کنفرانس ACL2020 را برنده شد. حتما بخونیدش. لینک پایین هم ویدیوی توضیحات یکی از نویسندهاشه!

حرف حساب این مقاله اینه که به جای این که برای ارزیابی مدل‌ها بیایم از روش «آموزش روی دیتای آموزشی و گرفتن یک عدد آماری روی دیتای تست» استفاده کنیم، واسه هر تسکی جنبه‌های مختلفی را بررسی کنیم.
مثلا تسک sentiment را در نظر بگیرید. یک جنبه برای این تسک اینه که با اضافه کردن یک جمله مثبت در پایان جمله ورودی نباید میزان مثبت بودن جمله کاهش پیدا کنه.
یا مثلا اگر کلمه خنثایی در متن ورودی با کلمه خنثای دیگه‌ای جایگزین شد نباید لیبل متن (مثبت، منفی یا خنثی) تغییر کنه.
یا مثلا برای تسک NER یک جنبه می‌تونه این باشه که عوض کردن اسم کشور نباید نتیجه را تغییر بده.

در پایان: برای مقاله شاخ دادن لازم نیست حتما منابع سخت‌افزاری شاخ و مدل گنده‌ای داشت و هنوز هم ایده‌ها می‌تونند‌ موفق باشند.

https://www.aclweb.org/anthology/2020.acl-main.442.pdf

https://slideslive.com/38929272/beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist

#read
#paper

@nlp_stuff

مندلک‌بازی‌ها با GPT-3 شروع شدند!
یه توضیح برای layout می‌گیره و کد jsx براش تولید می‌کنه!

https://twitter.com/sharifshameem/status/1282676454690451457?s=20

#twitter

@nlp_stuff

از پرسه زدن بی‌هدف در توییتر و اینستاگرام و تلگرام و یوتیوب خسته شده‌اید؟
پنج دقیقه هم در فروم هاگینگ‌فیس پرسه بزنید؛ یاد بگیرید، بپرسید و باز هم یادبگیرید و فرهیخته بشید!


https://discuss.huggingface.co/

#link

@nlp_stuff

تست تورینگ (تشخیص اینکه طرف مقابل انسانه یا نه) روی GPT-3.
هنوز مونده کامل به اون نقطه برسه ولی باز هم روزگار غریبی‌ست.

http://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html

#read
#blog

@nlp_stuff