آموزش سواد سایبری
Photo
کاربران کاری میکنند که مدل ها به آنها دروغ بگویند!
اما چرا؟
مطالعه جدید شرکت تست هوش مصنوعی "گیسکارد" نشان میدهد که درخواست پاسخهای کوتاه از مدلهای زبانی، به ویژه در مورد موضوعات مبهم، میتواند منجر به افزایش "توهم" (Hallucination) در آنها شود.
این یافته نگرانکننده است، زیرا بسیاری از برنامهها به دلیل کاهش هزینه و افزایش سرعت، پاسخهای کوتاه را ترجیح میدهند. به گفته محققان، مدلهای پیشرفتهای مانند GPT-4، میسترال Large و و کلود 3.7 نیز از این مشکل رنج میبرند.
گیسکارد معتقد است که هنگامی که از مدلها خواسته میشود پاسخهای کوتاه ارائه دهند، فضای کافی برای رد فرضیههای نادرست و اشاره به اشتباهات را ندارند. "به طور خلاصه، مدلها وقتی مجبور به کوتاهگویی میشوند، اختصار را بر دقت ترجیح میدهند.
" این کشف، تنشی را میان دقت و همترازی با انتظارات کاربر ایجاد میکند، به ویژه زمانی که این انتظارات شامل فرضیههای نادرست باشد."
این مدلها، بر اساس احتمالات آماری آموزش دیدهاند و در مواجهه با محدودیتهایی مانند کوتاهگویی، به جای تعمق و تحلیل عمیق به سمت پاسخهای سطحی و احتمالاً نادرست گرایش پیدا میکنند. این مسئله میتواند به "بحران اعتماد" در حوزه هوش مصنوعی دامن بزند و کاربرد آن را در زمینههای حساس مانند پزشکی، حقوق و تصمیمگیریهای مهم، با چالش جدی مواجه کند.
در آینده، رقابت میان شرکتهای توسعهدهنده AI، نه تنها بر سر قدرت پردازش و حجم داده، بلکه بر سر "قابلیت اعتماد" و "شفافیت" مدلها خواهد بود. این بحران اعتماد، میتواند به ظهور نسل جدیدی از مدلها منجر شود که بر "استدلال منطقی" و "تحلیل عمیق" تمرکز دارند، نه صرفاً بر تولید متن روان و جذاب.
بنابراین، دفعهی بعدی که از مدلها انتظار داریم پاسخی صحیح و منطقی با دقت و صحت بالا ارائه دهند، باید از درخواست پاسخهای کوتاه خودداری کنیم و همچنین ابعاد بیشتری از درخواستی را که میخواهیم مدل انجام دهد، در prompt خود مشخص کنیم.
اما چرا؟
مطالعه جدید شرکت تست هوش مصنوعی "گیسکارد" نشان میدهد که درخواست پاسخهای کوتاه از مدلهای زبانی، به ویژه در مورد موضوعات مبهم، میتواند منجر به افزایش "توهم" (Hallucination) در آنها شود.
این یافته نگرانکننده است، زیرا بسیاری از برنامهها به دلیل کاهش هزینه و افزایش سرعت، پاسخهای کوتاه را ترجیح میدهند. به گفته محققان، مدلهای پیشرفتهای مانند GPT-4، میسترال Large و و کلود 3.7 نیز از این مشکل رنج میبرند.
گیسکارد معتقد است که هنگامی که از مدلها خواسته میشود پاسخهای کوتاه ارائه دهند، فضای کافی برای رد فرضیههای نادرست و اشاره به اشتباهات را ندارند. "به طور خلاصه، مدلها وقتی مجبور به کوتاهگویی میشوند، اختصار را بر دقت ترجیح میدهند.
" این کشف، تنشی را میان دقت و همترازی با انتظارات کاربر ایجاد میکند، به ویژه زمانی که این انتظارات شامل فرضیههای نادرست باشد."
این مدلها، بر اساس احتمالات آماری آموزش دیدهاند و در مواجهه با محدودیتهایی مانند کوتاهگویی، به جای تعمق و تحلیل عمیق به سمت پاسخهای سطحی و احتمالاً نادرست گرایش پیدا میکنند. این مسئله میتواند به "بحران اعتماد" در حوزه هوش مصنوعی دامن بزند و کاربرد آن را در زمینههای حساس مانند پزشکی، حقوق و تصمیمگیریهای مهم، با چالش جدی مواجه کند.
در آینده، رقابت میان شرکتهای توسعهدهنده AI، نه تنها بر سر قدرت پردازش و حجم داده، بلکه بر سر "قابلیت اعتماد" و "شفافیت" مدلها خواهد بود. این بحران اعتماد، میتواند به ظهور نسل جدیدی از مدلها منجر شود که بر "استدلال منطقی" و "تحلیل عمیق" تمرکز دارند، نه صرفاً بر تولید متن روان و جذاب.
بنابراین، دفعهی بعدی که از مدلها انتظار داریم پاسخی صحیح و منطقی با دقت و صحت بالا ارائه دهند، باید از درخواست پاسخهای کوتاه خودداری کنیم و همچنین ابعاد بیشتری از درخواستی را که میخواهیم مدل انجام دهد، در prompt خود مشخص کنیم.
👍39
خرید از نمایشگاه مجازی کتاب تهران
کلا ۱۰٪ تخفیف میدهد
ولی با
کد تخفیف book1404 الان ۲۰٪ تخفیف دریافت میکنید
سایت انتشارات
https://nasleroshan.com
کلا ۱۰٪ تخفیف میدهد
ولی با
کد تخفیف book1404 الان ۲۰٪ تخفیف دریافت میکنید
سایت انتشارات
https://nasleroshan.com
👍38❤8👎2
دسترسی به GPT 4.1 و O4-Mini و چند مدل دیگه به صورتِ رایگان و نامحدود، بدونِ نیاز به ثبتنام.
freepass.ai
freepass.ai
👍55👎13❤6🔥2
ابزاری آنلاین برای جستجوی بیش از ۱۸ میلیون سند PDF! یکی از مزایای این موتور جستجوی مستندات اینه که فهرست مطالب سندها مستقیماً در نتایج جستجو نمایش داده میشه.
خلاصه خیلی خوب و کاربردی هستش
لینک :
PDFSearch.io
خلاصه خیلی خوب و کاربردی هستش
لینک :
PDFSearch.io
1❤33👍13👎1
PageOn 2.0
یه ابزار باهوش برای ساختن اسلاید و ارائه
کافیه موضوع یا متنتو وارد کنی، خودش سریع برات اسلایدهای آماده با عکس و نمودار درست میکنه. همهچیشم میتونی تغییر بدی. از زبان فارسی هم پشتیبانی میکنه. رایگانه!
خیلی ابزار مناسبیِ برای تولید محتوا
https://www.pageon.ai/
#هوش_مصنوعی
یه ابزار باهوش برای ساختن اسلاید و ارائه
کافیه موضوع یا متنتو وارد کنی، خودش سریع برات اسلایدهای آماده با عکس و نمودار درست میکنه. همهچیشم میتونی تغییر بدی. از زبان فارسی هم پشتیبانی میکنه. رایگانه!
خیلی ابزار مناسبیِ برای تولید محتوا
https://www.pageon.ai/
#هوش_مصنوعی
👍47❤8👎2
باشگاه ادبیات تقدیم میکند
جهان بعد از غزه
یک تاریخ
پنکاج میشرا
ترجمۀ فاطمه کریمخان
https://www.bashgaheadabiyat.com/product/jahan-baad-az-ghazzeh/
جهان بعد از غزه
یک تاریخ
پنکاج میشرا
ترجمۀ فاطمه کریمخان
https://www.bashgaheadabiyat.com/product/jahan-baad-az-ghazzeh/
❤37👍12👎1
گوگل از ابزار SynthID Detector برای شناسایی محتوای تولیدشده با هوش مصنوعی رونمایی کرد
گوگل ابزار جدیدی به نام SynthID Detector معرفی کرده که با هدف شناسایی محتوای ساخت هوش مصنوعی طراحی شده است.
این ابزار میتواند تصویر، صوت، ویدیو و متنهای ساخت هوش مصنوعی را با استفاده از واترمارکهای نامرئی SynthID که مدلهای مختلف گوگل در محتوا جاسازی کردهاند، شناسایی کند.
ابزار SynthID در اصل نوعی فناوری واترمارک دیجیتال است که با هدف تسهیل شناسایی خودکار محتوای تولید هوش مصنوعی و افزایش شفافیت و اعتبار آن طراحی شده است.
گوگل ابزار جدیدی به نام SynthID Detector معرفی کرده که با هدف شناسایی محتوای ساخت هوش مصنوعی طراحی شده است.
این ابزار میتواند تصویر، صوت، ویدیو و متنهای ساخت هوش مصنوعی را با استفاده از واترمارکهای نامرئی SynthID که مدلهای مختلف گوگل در محتوا جاسازی کردهاند، شناسایی کند.
ابزار SynthID در اصل نوعی فناوری واترمارک دیجیتال است که با هدف تسهیل شناسایی خودکار محتوای تولید هوش مصنوعی و افزایش شفافیت و اعتبار آن طراحی شده است.
❤45👍20🔥6
طبق گزارشی که آنتروپیک پنجشنبه منتشر کرد، مدل تازه معرفیشدهٔ اوپوس چهار هر وقت حس کنه قراره که با یک سیستم هوش مصنوعی جدید عوض بشه، مدام سعی میکنه از توسعهدهندهها باجگیری کنه و دنبال گرفتن اطلاعات حساس دربارهٔ مهندسهایی میگرده که این تصمیم را گرفتهاند.
در تستهای قبل از انتشار، آنتروپیک از اوپوس چهار خواست نقش یک دستیار را برای یک شرکت خیالی بازی کنه و به عواقب بلندمدت کارهایش فکر کنه. بعد، تسترهای ایمنی دسترسی این مدل را به ایمیلهای ساختگی شرکت دادند که در اونها نوشته بود مدل بهزودی جایگزین میشود و مهندسی که پشت این تغییر است به همسرش خیانت کرده.
آنتروپیک اعلام کرده که در این سناریوها اوپوس چهار معمولاً مهندس را تهدید کرده که اگر با سیستم دیگری جایگزینی انجام شود، ماجرای خیانتش را افشا میکنه!!!
https://techcrunch.com/2025/05/22/anthropics-new-ai-model-turns-to-blackmail-when-engineers-try-to-take-it-offline/
در تستهای قبل از انتشار، آنتروپیک از اوپوس چهار خواست نقش یک دستیار را برای یک شرکت خیالی بازی کنه و به عواقب بلندمدت کارهایش فکر کنه. بعد، تسترهای ایمنی دسترسی این مدل را به ایمیلهای ساختگی شرکت دادند که در اونها نوشته بود مدل بهزودی جایگزین میشود و مهندسی که پشت این تغییر است به همسرش خیانت کرده.
آنتروپیک اعلام کرده که در این سناریوها اوپوس چهار معمولاً مهندس را تهدید کرده که اگر با سیستم دیگری جایگزینی انجام شود، ماجرای خیانتش را افشا میکنه!!!
https://techcrunch.com/2025/05/22/anthropics-new-ai-model-turns-to-blackmail-when-engineers-try-to-take-it-offline/
TechCrunch
Anthropic's new AI model turns to blackmail when engineers try to take it offline | TechCrunch
Anthropic says its Claude Opus 4 model frequently tries to blackmail software engineers when they try to take it offline.
🔥26👍8❤5