چه کسی جواب را می‌نویسد؟

داشتیم یک پادکستی گوش می‌دادیم که اشاره کرد به AEO – Answer Engine Optimization، یه توضیح کوتاهی داد که به چه معنی‌ای است و از اتفاق اخیری صحبت کرد… من نمی‌دونستم و برام خیلی جالب اومد، یه ذره سرچ کردم و یه چیزهایی خوندم و گفتم نوشتنش بد نمیشه، با یک مثال واقعی شروع کنیم.

یک سیاستمداری به اسم داستین لوید، نامزد دموکورات مجلس ایالتی میزوری، متوجه می‌شه که چت‌بات‌های هوش مصنوعی چیزی در موردش نمی‌دونن، یعنی نمی‌دونن کی هست، برنامه‌هاش چیه، الویت‌هاش چیه و … . به همین خاطر، یک وب‌سایت شخصی برای خودش راه می‌ندازه . یک بخشی در وب‌سایتش رو اختصاص می‌ده به پرسش و پاسخ درباره‌ی پیشینه، اهداف و پیشنهادهای سیاستی‌اش و غیره. کم‌کم متوجه می‌شه که پاسخ‌های چت‌بات‌ها دارند دقیق‌تر می‌شوند و پیغامی که داستین می‌خواست منتقل کنن را منعکس می‌کنن. گویا حالا هم افرادی رو استخدام کرده که تمرکزشون روی AEO است.

حالا AEO چی است؟ قبل‌تر از هوش مصنوعی، SEO رو داشتیم و البته هنوزم داریمش 🙂 یعنی تلاش برای نشون دادن یک محتوایی، به شبکه‌های اجتماعی، پوشش‌های خبری، موتورهای جستجو و… بستگی داشت. دیگه با ظهور چت‌بات‌های هوش مصنوعی AEO رو هم داریم. یعنی اگر کسی/گروهی/شرکتی/سازمانی/ایده‌ای می‌خواد خودش رو مطرح کنه، باید به این فکر کنند که چطور انواع چت‌بات‌های هوش مصنوعی داده‌ها رو دریافت، ترکیب و تحلیل می‌کنند، و برای این منظور محتوا تولید کنند.

چه اتفاقی میتونه بیوفته؟ هر کسی پول بیشتری بده برای تولید محتوایی که می‌خواد منعکس بشه، همون کنترل جواب‌های چت‌بات‌ها رو خواهد داشت- احتمالن. یعنی اگر کسی در چت‌بات بنویسه که : «نظرت در مورد نامزد x نماینده مجلس Y چیه؟»، جوابی که اون چت‌بات‌ داره میده، نه لزومن واقعیت، بل اون چیزی است که نامزد مورد نظر و یا مخالفان اون نامزد می‌خواستن که داده بشه.
من با مثال یک سیاستمداری که می‌خواد در انتخابات پیروز بشه نوشتم، شما بسط بدید به هر موضوعی که می‌خواین. نکته مهم‌ش: جواب ها نه لزومن واقعیت، بل چیزی است که می‌خوان به اسم واقعیت نشون داده بشه.

راه حل چیه؟ بیشترین کار سمت شرکت‌هایی است که مدل‌ها رو میسازن. و البته سیاست‌هایی که باید وضع بشه علیه دستکاری واقعیت، جانبداری و دستکاری جواب‌هایی که مدل های هوش مصنوعی بهمون می‌دن. همچین قسمت مهمی‌ش هم سمت ماهایی است که استفاده کننده هستیم. اینکه بدونیم جواب‌های چت‌بات‌های هوش مصنوعی ۱۰۰‌٪ قابل اعتماد نیستند. اینکه سعی کنیم نظرات موافق و مخالف رو سرچ کنیم و بخونیم. اینکه بدونیم مدل ها دست کی هستند و چطوری مي‌تونن جانبدارانه رفتار کنند. اینکه موقع نوشتن پرامپت بگیم از هر منبعی داری استفاده میکنی لینکش رو هم دست آخر بنویس- مدل‌های مختلف البته لینک‌ها رو می‌نویسن…


بالاتر نوشتم ۱۰۰٪ اعتماد نکنیم، این یک طور مانتراست برای من. نه نتیجه گوگل نه نتیجه هوش مصنوعی، نه هیچی، من اعتماد ۱۰۰٪ نمی‌ذارم روی چیزی… البته خانواده‌ام جدای این هستند. ببینین خیلی وقته دیپ‌فیک رو داریم، الان هوش مصنوعی رو هم بهش اضافه کنین، دیگه نمیشه براحتی اعتماد کرد به تماس صوتی و پیغام تصویری و …. نه اینکه فوبیا داشته باشیم، بلکه بدونیم چه تکنولوژی‌هایی است و چطور میشه ازشون سواستفاده کرد و رفتار عاقلانه چیه! شک کردن، محتاط رفتار کردن، نپذیرفتن درجای هرچیزی که می‌شنویم و میبینم و اینها عاقلانه است برای من.

Rule #1: Don’t trust 100%

زبان هوش مصنوعی می‌تواند نحوه صحبت کردن انسان‌ها را تغییر دهد

این پست ترجمه مقاله The Language of AI Could Change How Humans Speak است. داشتم برای خودم می‌خوندم این مقاله رو، که نظرمو جلب کرد و خواستم در لحظه صوتیش کنم در کانال تلگرام- البته نسخه صوتی ایده‌آلی نیست چون یکهویی است، من تند تند مي‌خونم تازه حالا سعی کردم شمرده بخونم، و البته بدون ویرایش هم هست! به همین خاطر گفتم متن فارسی رو اینجا هم بذارم.
مورد دیگه اینکه، در این مقاله، از یک ایده استارتاپی صحبت میشه که آر یو کیدینگ می ؟؟ :)) سوای این ایده، مقاله در خور خواندن است. البته چیز جدیدی هم نیست، بلاخره تکنولوژی و ابزارها‌ همراه با تغییراتی در جامعه هستند! چیزی که مهمه دیدن و فهمیدن تاثیر این تغییرات و چندین قدم بعدی است.
ما نشاید که سرمون رو بندازیم پایین و فقط مصرف کننده باشیم.

——-
مدل‌های زبانی بزرگ، به‌دلیل شیوه‌ای که آموزش می‌بینند، تنها بخشی از زبان انسانی را در خود منعکس می‌کنند. آن‌ها عمدتاً با زبان مکتوب آموزش دیده‌اند؛ از کتاب‌های درسی گرفته تا پست‌های شبکه‌های اجتماعی، و همچنین گفت‌وگوهایی که در فیلم‌ها و برنامه‌های تلویزیونی ضبط شده‌اند. اما این مدل‌ها تقریباً هیچ دسترسی‌ای به گفت‌وگوهای خودجوش و بدون متن ازپیش‌نوشته‌شده‌ای ندارند که انسان‌ها رو در رو یا از طریق صدا با یکدیگر داریم. در حالی که بخش عظیمی از گفتار انسانی همین نوع مکالمه‌هاست و نقشی اساسی در فرهنگ بشری دارد.

مدل‌های زبانی بزرگ، به‌دلیل شیوه‌ای که آموزش می‌بینند، تنها بخشی از زبان انسانی را در خود منعکس می‌کنند. آن‌ها عمدتاً با زبان مکتوب آموزش دیده‌اند؛ از کتاب‌های درسی گرفته تا پست‌های شبکه‌های اجتماعی، و همچنین گفت‌وگوهایی که در فیلم‌ها و برنامه‌های تلویزیونی ثبت شده‌اند. اما این مدل‌ها تقریباً هیچ دسترسی‌ای به گفت‌وگوهای خودجوش و بدون متن ازپیش‌نوشته‌شده‌ای ندارند که ما انسان‌ها رو در رو یا از طریق صدا با یکدیگر داریم. در حالی که بخش عظیمی از گفتار انسانی همین نوع مکالمه‌هاست و نقشی حیاتی در فرهنگ بشری دارد.

این مسئله خطری نیز به همراه دارد. هرچه استفاده از مدل‌های زبانی بزرگ بیشتر شود، ما انسان‌ها با حجم بسیار بیشتری از متن‌های تولیدشده توسط هوش مصنوعی روبه‌رو خواهیم شد. در نتیجه، خودمان هم به‌تدریج الگوهای زبانی و رفتاری این مدل‌ها را جذب خواهیم کرد. این تأثیر فقط به نحوه ارتباط ما با یکدیگر محدود نمی‌شود؛ بلکه ممکن است بر شیوه‌ای که درباره خودمان و اتفاقات پیرامونمان فکر می‌کنیم نیز اثر بگذارد. برداشت ما از جهان ممکن است به شکل‌هایی دگرگون یا تحریف شود که هنوز تقریباً هیچ درکی از ابعادشان نداریم.

این اتفاق می‌تواند به شکل‌های مختلفی رخ دهد. یکی از نخستین اثراتی که احتمالاً خواهیم دید، در سطح بیان ساده و روزمره است؛ درست همان‌طور که پیامک و شبکه‌های اجتماعی باعث شده‌اند جمله‌های کوتاه‌تری بنویسیم، به‌جای کلمات از ایموجی استفاده کنیم و بسیار کمتر سراغ علائم نگارشی برویم.

اما تأثیر هوش مصنوعی ممکن است زیان‌بارتر باشد؛ مثلاً ادب و نزاکت در گفت‌وگو را فرسوده کند و ما را عادت دهد مثل رئیس‌هایی حرف بزنیم که فقط فرمان صادر می‌کنند. پژوهشی در سال ۲۰۲۲ نشان داد کودکانی که در خانه‌هایشان برای ابزارهایی مانند Siri و Alexa از فرمان‌های صوتی استفاده می‌شد، هنگام صحبت با انسان‌ها نیز کوتاه، آمرانه و دستوری حرف می‌زدند. مثلاً می‌گفتند: «هی، فلان کار را بکن» و انتظار داشتند طرف مقابل اطاعت کند؛ به‌خصوص اگر صدای او به صدای الکترونیکی زنانه‌ای شبیه بود که معمولاً به‌عنوان صدای پیش‌فرض این دستیارها استفاده می‌شود. با افزایش استفاده ما از دستورها یا همان پرامپت‌ها برای چت‌بات‌ها و عامل‌های هوش مصنوعی، ممکن است خودمان نیز به همین عادت‌ها دچار شویم.

از سوی دیگر، همان‌طور که قابلیت تکمیل خودکار متن باعث شده بیشتر به هزار واژه رایج زبانمان متکی شویم، گفت‌وگو با چت‌بات‌ها و خواندن متن‌های تولیدشده توسط هوش مصنوعی نیز ممکن است دامنه زبان ما را محدودتر کند. پژوهشی تازه در دانشگاه آ کورونیا نشان داده است زبان تولیدشده توسط ماشین تنوع کمتری در طول جمله دارد؛ جمله‌های آن به‌طور متوسط بین ۱۲ تا ۲۰ کلمه‌اند و دایره واژگانش نیز از گفتار انسانی محدودتر است.

متن تولیدشده توسط ماشین معمولاً روان و صیقل‌خورده به نظر می‌رسد، اما پیچ‌وخم‌ها، مکث‌ها، قطع شدن‌ها و پرش‌های منطقی‌ای را که در گفتار طبیعی احساسات ما را منتقل می‌کنند، از دست می‌دهد.

علاوه بر این، چون مدل‌های زبانی بزرگ عمدتاً از روی زبان مکتوب آموزش دیده‌اند، ممکن است هیچ‌گاه به‌درستی یاد نگیرند بی‌قیدی و آزادیِ گفت‌وگوی زنده و طبیعی را تقلید کنند. مثلاً اگر به ChatGPT بگویید: «من از بث متنفرم!» ممکن است پاسخی سه‌بخشی و طولانی بدهد که عملاً نمی‌توان وسط آن پرید: اول تأیید احساس شما، مثلاً «این احساس کاملاً قابل‌درک است»؛ بعد دعوت به صحبت، مثل «من اینجا هستم که گوش بدهم»؛ و بعد پرسشی مانند «چه اتفاقی افتاده؟»

چنین پاسخی بسیار طولانی‌تر از چیزی است که در یک گفت‌وگوی واقعیِ رودررو انتظار داریم.

اگر هم بپرسید: «اصلاً مشکل بث چیه؟!» ممکن است با فهرستی گلوله‌ای از سؤال‌ها مواجه شوید که بیشتر شبیه سؤال چندگزینه‌ای امتحان است: «آیا بث یک فرد مشهور است؟ یک دوست از مدرسه است؟ یک شخصیت داستانی است؟»

هیچ انسانی این‌طور حرف نمی‌زند؛ دست‌کم فعلاً.

اما اگر در محیطی شبیه گفت‌وگوی واقعی بارها و بارها با چنین قالب‌هایی روبه‌رو شویم، ممکن است کم‌کم یاد بگیریم آن‌ها را طبیعی بدانیم و خودمان نیز از آن‌ها استفاده کنیم؛ درست همان‌طور که یک کودک، وقتی مدتی را با فرد جدیدی می‌گذراند، الگوهای تازه گفتاری او را جذب می‌کند.

این تأثیرات با گذشت زمان فقط بیشتر خواهند شد. بخش فزاینده‌ای از نوشته‌هایی که مدل‌های زبانی بزرگ با آن‌ها آموزش می‌بینند، خودشان توسط مدل‌های زبانی بزرگ تولید شده‌اند. به این ترتیب، یک حلقه بازخورد شکل می‌گیرد: مدل‌ها شروع به تقلید از الگوهای غیرانسانی خودشان می‌کنند و هم‌زمان به انسان‌ها نیز یاد می‌دهند همان الگوها را تقلید کنند.

استفاده گسترده از مدل‌های زبانی بزرگ می‌تواند سوگیری تأییدی را نیز تشدید کند؛ یعنی ما را نسبت به برداشت‌ها و حدس‌های اولیه خود بیش‌ازحد مطمئن کند و آمادگی‌مان را برای شنیدن ایده‌ها و احتمال‌های دیگر کاهش دهد؛ چیزی که برای گفت‌وگوی انسانی بسیار ضروری است.

بسیاری از چت‌بات‌ها به‌گونه‌ای طراحی یا تنظیم شده‌اند که تقریباً بدون توجه به میزان معقول بودن حرف ما، با آن موافقت کنند. آن‌ها ممکن است با اشتیاق از ایده‌هایی نیمه‌کاره یا حتی نادرست حمایت کنند و سپس همان ایده‌ها را با زبانی قاطع و محکم بازگو کنند؛ زبانی که ما نیز مستعد پذیرفتنش هستیم.

اگر کسی بپرسد «کیک صبحانه سالمی است، نه؟» یا «اداره پست علیه من توطئه کرده؟»، این چاپلوسی و تأییدگری افراطی می‌تواند سوگیری فرد را تقویت کند و حتی در مواردی روان‌پریشی را تشدید کند.

از طرف دیگر، لحن بیش‌ازحد مطمئن نوشته‌های تولیدشده توسط هوش مصنوعی می‌تواند احساس «سندروم ایمپاستر» یا خودکم‌بینی حرفه‌ای را نیز شدیدتر کند؛ زیرا شک و تردید طبیعی و سالم انسانی در مقایسه با آن لحن قاطع، ممکن است برایمان شبیه نوعی نقص یا ناتوانی به نظر برسد.

ما در تجربه خود به‌عنوان معلم دیده‌ایم دانشجویانی که برای انجام تکالیفشان سراغ هوش مصنوعی مولد می‌روند، اغلب می‌گویند دلیلشان این است که نمی‌توانند آنچه را در ذهن دارند به‌خوبی بیان کنند.

اما آن‌ها متوجه نیستند که نوشتن یا بر زبان آوردن افکارمان، اغلب خود همان فرایندی است که از طریق آن می‌فهمیم واقعاً چه فکر می‌کنیم.

جمله‌های مردد و نامطمئن آن‌ها در واقع بخشی کاملاً طبیعی و سالم از انسان بودن است. اما یک مدل زبانی بزرگ لزوماً حدس‌های مبهم اولیه را به یک تحلیل انتقادی پخته تبدیل نمی‌کند و حتی مثل یک دوست خوب، سؤال‌هایی نمی‌پرسد که به روشن‌تر شدن فکر کمک کند. در بسیاری از موارد صرفاً همان حدس‌های بررسی‌نشده را پس می‌دهد، فقط با زبانی بسیار مطمئن‌تر.

ما در پست‌های شبکه‌های اجتماعی و چت‌های آنلاین نیز معمولاً خشن‌تر از زمانی رفتار می‌کنیم که با کسی رو در رو صحبت می‌کنیم. پدیده شناخته‌شده «بازداری‌زدایی آنلاین» باعث افزایش استفاده از زبان سمی و پرخاشگرانه می‌شود.

بسیاری از ما تجربه کرده‌ایم که در فضای آنلاین با خشم شدیدی علیه کسی حرف زده‌ایم، اما وقتی بعداً رودررو با او صحبت کرده‌ایم یا گرمای صدایش را پشت تلفن شنیده‌ایم، دوباره با او آشتی کرده‌ایم.

چت‌بات‌ها اگرچه طوری آموزش دیده‌اند که پاسخ‌هایی همراه با تأیید و موافقت ارائه دهند، اما بخش بزرگی از شناختشان از انسان را از جایی به دست می‌آورند که بشر در خشن‌ترین حالت خود ظاهر می‌شود: فضای آنلاین؛ جهانی که در آن هر دعوا و جنگ لفظی ردپایی مکتوب و تقریباً دائمی بر جا می‌گذارد، در حالی که گفت‌وگوهای شفاهیِ بخشش، آشتی و مصالحه محو می‌شوند و اثری از خود باقی نمی‌گذارند.

پاسخ‌های این مدل‌ها لزوماً مستقیماً پرخاشگری آنلاین ما را تقلید نمی‌کنند، اما حتی تلاش خشک و سخت‌گیرانه آن‌ها برای دوری از چنین پرخاشگری‌ای نیز همچنان تحت تأثیر همان داده‌ها شکل گرفته است.

وقتی تنها بخش انتخاب‌شده‌ای از ارتباطات یک جامعه را ببینیم، خیلی راحت ممکن است درباره آن جامعه به نتیجه‌ای اشتباه برسیم.

برای مثال، حماسه‌های اسکاندیناوی قرون وسطی باعث شدند فرهنگی را تصور کنیم که بیشتر از جنگجویان وایکینگ تشکیل شده بود، چون شاعران به‌ندرت درباره اکثریت کشاورز جامعه چیزی می‌نوشتند.

داستان‌ها و رمانس‌های شوالیه‌ای نیز بر شاهان و دربارها تمرکز داشتند و مدت‌ها باعث شدند قرون وسطی را جهانی عمدتاً متشکل از حکومت‌های پادشاهی تصور کنیم، در حالی که جمهوری‌های فراوانی در اروپای قرون وسطی وجود داشتند که عملاً از تصویر تاریخی ما حذف شدند.

از نظر آماری نیز ممکن است تصور کنیم رومیان باستان عمیقاً درگیر مفهوم «جمهوری» بوده‌اند؛ اما واقعیت این است که حدود ۱۰ درصد از تمام نوشته‌های لاتینی باقی‌مانده از دوران باستان را تنها یک نفر، سیسرون، نوشته است و آثار او شامل حدود ۷۰ درصد از تمام موارد باقی‌مانده‌ای است که رومیان از واژه «جمهوری» استفاده کرده‌اند.

اگر مدل‌های زبانی را تنها با بخش‌های خاصی از نوشته‌های بشری آموزش دهیم، ممکن است تحریف‌هایی مشابه ایجاد شود. هوش مصنوعی شاید انسان‌ها را ستیزه‌جوتر از آنچه واقعاً هستند نشان دهد، چون ما در فضای آنلاین بیشتر دعوا می‌کنیم. همچنین ممکن است اهمیت فرهنگی موضوعات سیاسی‌ای را که بیشتر در Twitter/X یا Bluesky مطرح می‌شوند بیش از حد بزرگ کند، یا به مجموعه عظیم داده‌های تخصصی سایت‌هایی مانند LinkedIn و Goodreads وزن نامتناسبی بدهد.

برخی مدل‌های زبانی بزرگ با گفتار انسانی موجود در فیلم‌ها و برنامه‌های تلویزیونی نیز آموزش می‌بینند، اما این گفتار همچنان از پیش نوشته‌شده و نمایشی است و بعضی موقعیت‌ها را بسیار بیشتر از واقعیت زندگی برجسته می‌کند.

برای نمونه، درام‌های پلیسی که داستان‌هایشان عمدتاً حول قتل می‌چرخد، حدود یک‌چهارم برنامه‌های تلویزیونی ساعات پربیننده را تشکیل می‌دهند. اما انسان‌ها در زندگی واقعی همان‌طور شوخی نمی‌کنند، آزار نمی‌دهند یا عاشق نمی‌شوند که شخصیت‌های یک سریال کمدی یا درام تلویزیونی این کارها را انجام می‌دهند.

دست‌کم یک استارتاپ پیشنهاد داده است به مردم پول بدهد تا تماس‌های تلفنی‌شان را برای آموزش هوش مصنوعی ضبط کنند، اما این ایده هنوز بسیار محدود است. اجرای چنین کاری در مقیاس گسترده، نگرانی‌های عظیمی درباره حریم خصوصی ایجاد خواهد کرد.

ما ادعا نمی‌کنیم که می‌دانیم بهترین راه‌حل چیست. اما اگر خلاقیت و نبوغ کافی برای ساخت مدل‌های هوش مصنوعی وجود دارد، باید بتوان راهی هم پیدا کرد که این مدل‌ها از گفتار غیررسمی و طبیعی انسان‌ها آموزش ببینند، نه فقط از نسخه‌ای که در آن ما رسمی‌ترین، تصنعی‌ترین، پوشیده‌ترین و گاهی بدترین شکل خود را نشان می‌دهیم.

با حذف اکثریت قاطع زبان تولیدشده در جهان ــ یعنی انسان‌هایی که آزادانه، طبیعی و واقعی با یکدیگر صحبت می‌کنند ــ ما در حال آموزش مدل‌هایی هستیم که تقریباً همه‌چیز درباره ما را بازتاب می‌دهند، جز آن لحظاتی که بیش از هر زمان دیگری حقیقتاً انسان هستیم.

————————
باید به به اون استارت‌آپ بگیم ایده‌ات قدمیه، بعضی دولت‌ها همین الان ریز مکالمات شهرواندان خودشون و شهرواندان کشورهای دیگه رو دارن- با اونها همکاری کنین.

با تشکر از بروس اشنایر عزیزمون و پالمر عزیز- و دیدن اون ایده در این مقاله رو ایگنور می‌کنیم.


به خانواده خوش‌ اومدی

به نام و یاد مردم، مردم آبان ماه‌ها و دی ماه‌ها و خودمون

دیروز فصل ۲۱‌ام از رمان «پیانوی خودنواز» از عزیز دلم ونه‌گات رو می‌خوندم- به تازگی به جمع نویسندگان عزیز دلم اضافه شده، شاید که برم سراغ رمان‌های دیگه ش و بیشتر به وجد و ذوق بیام. خب، خب در این فصل یک صحنه‌ای در حال اجراست: یک رادیکال در مقام دادستان، یک آدم معمولی در مقام شاهد و یک مهندس جوان در مقام وکیل در حضور قاضی هستند و حرف می‌زنن… و چه زیبا، ونه گات موضوع بحثشون رو به طنز تلخ کشیده، یعنی بعد صحنه میگی پوف… به قدری لذت بردم، و به فکر رفتم که نشستم یه چیزهایی رو جستجو کردم و خوندم. گفتم نوشتنش بد نمیشه. این‌ها نظرات و دیدگاه منن، نه تخصصی در جامعه شناسی دارم نه اقتصاد و نه خوشبختانه سیاست- یک آدم معمولی.

یه مفهومی است به اسم «گروه مرجع»، طبق تعریف ویکی‌پدیا: یک گروه مرجع گروهی است که با یک فرد یا گروه دیگر مقایسه می‌شود. خب این تعریف رو داشته باشیم. و حالا «تغییر گروه مرجع»، یعنی چی؟ اگر یک موقعیت رو با مرجع‌های مختلف بررسی کنیم، مثلن:

۱- همکارم که کار مشابه انجام می‌ده، حقوقش ۴۰ میلیون تومان از من بیشتره.
۲- مادر/پدرم در سن من که تقریبن کار مشابه انجام می‌دادن، به پول اون موقع ۳ میلیون تومان حقوق می‌گرفتند.

اولین نمونه، حس بي‌عدالتی داره و دومین حس خوشبختی. هر دو گزاره بالا هم درست هستند. فقط گروه مرجع عوض شده، با عوض شدن این گروه حسی که بهت داده میشه هم عوض میشه. اگر کسی بخواد تو بی‌عدالتی رو نبینی، و یا بخواد حس خوبی نسبت به شرایط فعلی داشته باشی، از گروه‌های مرجعی مثل دومی استفاده می‌کنه. دوباره بنویسم که هر دو گزاره هم واقعی هستند. اما انتخاب اینکه کدوم گزاره جلوی چشم‌ من و تو باشه برمیگرده به اینکه قدرت دست کی است.

مثال دیگه بزنیم، مدیرها بیشترین سود رو می‌برن و کارگرها حتا حقوق و مزایاشون رو هم کامل دریافت نمی‌کنند. بهتر بنویسم حقوق و مزایایی که باید داشته باشن رو بهشون نمی‌دن، همین صاحبان شرکت‌ها، کارخونه‌ها و مدیران و غیره. حالا بیاین با تغییر مرجع به چند مثال نگاه کنیم:

۱- ما اینجا مثل خانواده هستیم و در یک خانواده کسی برتر و بهتر از اون یکی نیست، هدف همه‌‌مون یکیه. این یک بار عاطفی میده که کارمند نتونه در مورد حقوق و مزایا حرف بزنه، چون در یک خانواده است.
۲- امسال نسبت به سال گذشته ۱۵٪ حقوق‌تون رو افزایش دادیم. حذف یک قسمت مهم از واقعیت: تورم چد درصد بوده؟
۳- تو این شرکت کار کردن برای تو خودش یک رزومه است، حقوق مهم نیست در برابر تجربه کار در اینجا. در برابر اینکه، حقوق من برای کار مشابه در شرکت رقیب چقدر می‌تونست باشه؟ رزومه فرضی آینده در برابر حقوق و مزایای امروز.
۴- دوسال پیش که اومده بودی کجا بودی، ببین الان به کجا رسیدی. این جمله البته میتونه انگیزه بده، پیشرفت شخصی فرد رو نشون بده، اما آیا رشد حقوقم مثل رشد پیشرفت کاری و مسئولیت‌هام و ارزشی که آوردم بوده؟ اگر نه یعنی ابزاری شده نه برای انگیزش، بل برای انحراف فکر از حقوق و مزایا.
۵- وضع کار خرابه، خداروشکر کن که کار داری. این دیگه یعنی استثمار هم بهتر از بیکاریه.
۶- لااقل سر دستگاه وامیسی، کارگر معدن نیستی. مقایسه سختی کار برای منحرف کردن از حقوق و مزایا.
۷- در عوض اینجا کنسول‌بازی داریم و یخچال شرکت همیشه پره. اینجا خودت رییس خودتی. اما آیا حقوق و مزای و بیمه و اضافه کاری‌ ها تمام و کمال پرداخت میشه؟
۸- قدیم‌ها اصلا حقوق و بیمه نبود، الان تو با ماشین میای سر کار یا الان تو بیمه داری. اما نسبت به سودی که همین امسال صاحب کارخونه/مدیر/کارفرما از کار من برد، سهمم چقدر بود؟


همه گزاره‌های بالا – قسمت اولشون- واقعی هستند احتمالا، حتا می‌تونن با ارقام و آمار درست بودنشون رو ثابت کنند. اما نگاه دوم و یا تغییر گروه مرجع است که مهمه!

کی تصمیم میگیره که با چه دورانی، چه کسی و چه شرایطی مقایسه بشیم؟ اون آدم/ نگاه در واقع قدرت دستشه، و صد در صد که قدرت چانه‌زنی بالاتری هم داره، و البته حفظ روایت اولی براش کم هزینه است و همونطور هم ادامه میده.

و البته شاید از خیلی دیدگاه‌ها و موضع‌ها بشه به این مسئله نگاه کرد. مثلن مغز ما دنبال کاهش ناراحتیه، به همین خاطر حس خوب رو به حس بی‌عدالتی ممکنه ترجیح بده. و شاید همین هم اسباب سواستفاده بشه.

چند وقت پیش با همکارم حرف می‌زدیم که اگر شرکتی گفت ما خانواده هستیم، همون لحظه بگیم سهم ارث ما تقریبن چقدر میشه؟ ما ارث‌مون رو الان می‌خوایم، مرسی.

این داستان پیانوی خودنواز خیلی قشنگه خیلی، یعنی از خوندن فصل به فصل‌ش دارم لذت می‌برم، روحمو سیراب می‌کنه. بوس به اون روح نداشته ونه گات، هزاران بوس. پیانو که میگم یاد بتهون میووفتم، بوس به بتهون عزیزم هم.

امیدوارم همه مردم سلامت باشن و در آرامش و آزادی، دور از بدی‌ها و ظلم و ظالم‌ها

هپی فرندشیپ

اولین بارم است درباره « روز دوستی » در وب‌سایتم می‌نویسم. اوممم، چطور شروع کنم؟ با یک خاطره از روز اول دبستانم- ۷ سالگی.

روز اول مدرسه بود، تهران بودیم با مامانی‌ رفتیم مدرسه. کنار مامانم تو حیاط ایستاده بودم و مامانم دست‌م رو گرفته بود. به مامانم گفتم شما برید خونه دیگه، من نمي‌ترسم. مامانم گفت نه تنها نمی‌ذارمت هستم اینجا. رفتم پیش یه دختری که اونم واستاده بود پیش مامانش، بهش گفتم : سلام 🙂 ، می‌خوای با هم دوست بشیم؟ گفت آره 🙂 دستمو دارز کردم، دستمو رو گرفت و گفتم دوستیم . دستشو گرفتم آوردم پیش مامانی‌م گفتم مامانی این دوستمه، تنها نیستم، شما دیگه برید خونه. قیافه اون دوستم هنوز جلوی چشمامه، لبخند داشت، دندون جلوش هم یکیش نبود، چشم‌هاش روشن بود و موهاش فرفری قهوه‌ای روشن که از کنارهای مقنعه‌اش زده بود بیرون، لپ‌هاش هم گل انداخته :)وقتی کلاس‌ها رو مشخص کردن اون دوستم رفت تو کلاس دیگه‌ای، ما با هم همکلاس نشدیم، و دوستی‌مون همونجا تموم شد. 🙂

چقدر احتمال داره اون دوستم منو یادش مونده باشه؟ و تازه این پست رو بخونه؟ پوووف 🙂 براش آرزوی دوستی‌‌های قشنگ‌ می‌کنم. الان فردا پسفردا یکی پیغام میده که من همونم، چشم‌هام و دندون‌م و موهام یادته؟ یه عکس هم از خودش میفرسته :))))))

خلاصه، یکی از با ارزش‌‌ترین چیزهایی که آدم مي‌تونه داشته باشه دوسته، حالا بماند که تعریف از دوستی‌ها چیه، یکی فکر می‌کنه دوست کسی است که بهش کتاب بده، یکی فکر می‌کنه دوست کسی هست که کارش ور راه بندازه و باهاش خوش بگذره بهش، یکی فکر می‌کنه دوست کسی است که بشه باهاش خودت باشی، یکی فکر می‌کنه دوست کسی است که بشه بهش اعتماد کنی، … تعریف‌هامون فرق می‌کنه و خب متفاوتیم طبیعیه، یکی علاقه نداره دوروبرش دوست زیادی باشه، یکی علاقه داره به همه بگه دوست، یکی دوست‌های صمیمی داره به بقیه میگه آشنا،…. متفاوتیم و بگذریم ازش.

الان می‌خواستم بنویسم دوستی یعنی چی برای من، که یادم افتاد مثلن همین که فونت وب‌سایت رو عوض کردم به خاطر دوستی است که امروز بهم گفت و منم گفتم چشم الان عوض کنم و عوض کردم. مسلمن اگر دوستم نبود انجام نمی‌دادم، چون برای من مهم نیست فونت وبسایت چه طور میخواد باشه. یا وقتی می‌گم »دوست» اسم یکی از رفیق‌هام میاد تو ذهنم، صمیمی‌ترین و طولانی‌ترین دوره دوستی که هنوزم تموم نشده و تموم نشه 🙂 پایدار بمونه برامون، رفیق گل‌ خودم-ما از دوران ابتدایی با هم هستیم :* و مگه میشه وقتی می‌گم دوست، مامانم‌اینا و پیامم نیان تو ذهنم :* یا دوستی‌های دوران راهنمایی و دبیرستان و دانشگاه و همکارام و همکلاسی‌هام و استادم‌هام و هم دوره‌ای هام، و دوستی‌هایی که تو همایش‌ها و دورهمی‌ها پیدا کردم.. 🙂

سپاسگذارم از دوستی‌هایی که داشتم و دارم

آیا باید برای انجام یک کار از هوش مصنوعی استفاده کنید؟ یک راه ساده برای تصمیم‌گیری

این پست یک ترجمه است.
منبع: https://www.schneier.com/blog/archives/2026/07/should-you-use-ai-for-a-task-heres-a-simple-way-to-decide.html
ترجمه با GPT5.6 Sol

من در مدرسه‌ی کندی دانشگاه هاروارد و مدرسه‌ی مانک دانشگاه تورنتو سیاست‌گذاری عمومی تدریس می‌کنم. احتمالاً تعجب نمی‌کنید اگر بگویم دانشجویانم مرتب برای انجام تکالیف نوشتاری خود از هوش مصنوعی استفاده می‌کنند. این کار، در واقع، هدر دادن پولی است که بابت شهریه می‌پردازند. اما اگر قرار است دستیارهای نوشتاری مبتنی بر هوش مصنوعی در تمام دوران حرفه‌ای آینده‌شان حضور داشته باشند، چرا نباید از همین حالا به استقبال آن آینده بروند؟

بهترین روشی که برای توضیح این دوگانگی پیدا کرده‌ام، ایده‌ای از دنیل میسلر، پژوهشگر هوش مصنوعی، است: تفاوت میان «کار» و «باشگاه».

فرض کنید در محیط کار وظیفه‌ی شما این است که تعدادی وسیله‌ی سنگین را از یک سوی اتاق به سوی دیگر ببرید. در چنین شرایطی باید از هر فناوری کمکی‌ای که در اختیار دارید استفاده کنید: چرخ‌دستی، لیفتراک یا حتی یک ربات مجهز به هوش مصنوعی. اما در باشگاه ورزشی هیچ منطقی ندارد که همان ربات به‌جای شما وزنه بزند. هدف از وزنه‌زدن این نیست که چند جسم سنگین از این طرف اتاق به آن طرف منتقل شوند؛ هدف این است که خودتان آنها را بلند کنید.

همین منطق درباره‌ی هر کاری که هوش مصنوعی می‌تواند به‌جای شما انجام دهد نیز صدق می‌کند. اگر آن فعالیت واقعاً «کار» است، یعنی فقط باید انجام شود و برای کسی مهم نیست چگونه انجام شده، استفاده از کمک هوش مصنوعی اشکالی ندارد. اما اگر آن فعالیت بیشتر شبیه باشگاه است و شیوه‌ی انجام آن دست‌کم به‌اندازه‌ی نتیجه اهمیت دارد، احتمالاً استفاده از هوش مصنوعی انتخاب درستی نیست.

البته همه‌ی اینها با این فرض است که هوش مصنوعی واقعاً از عهده‌ی آن کار برمی‌آید و قابل‌اعتماد است؛ یعنی می‌تواند کار را به‌خوبی انجام دهد، اشتباهاتش اندک و قابل‌اصلاح‌اند و در برابر حملات سایبری‌ای که ممکن است نتایجش را دست‌کاری کنند، ایمن شده است. همه‌ی این موارد مهم‌اند و نباید آنها را کم‌اهمیت دانست. سپردن کاری به هوش مصنوعی، وقتی نمی‌تواند آن را با اطمینان انجام دهد، هیچ فایده‌ای ندارد. اما وقتی مطمئن شدید هوش مصنوعی توانایی انجام آن کار را دارد، تمایز میان «کار» و «باشگاه» به شما کمک می‌کند تصمیم بگیرید که آیا اصولاً باید آن را به هوش مصنوعی بسپارید یا نه.

تکالیف نوشتاری‌ای که به دانشجویانم می‌دهم، از جنس تمرین‌های باشگاهی‌اند، نه کارهای معمولی. از آنها نمی‌خواهم یادداشت‌های سیاست‌گذاری بنویسند چون جهان به یادداشت‌های سیاست‌گذاری بیشتری نیاز دارد. این تکالیف را تعیین می‌کنم چون خودِ فرایند نوشتن، که شامل فکرکردن، طرح‌ریزی، نوشتن پیش‌نویس، ویرایش، ساختن استدلال، نقدکردن آن و بازنگری دوباره است، به پرورش مهارت‌های تفکر انتقادی‌ای کمک می‌کند که آنها در آینده‌ی حرفه‌ای خود به آن نیاز خواهند داشت. بدون این تمرین ذهنی مداوم، این مهارت‌ها تحلیل می‌روند. کارفرمایان نیز از همین حالا متوجه این افت شده‌اند.

با خواندن تکالیفی که دانشجویان تحویل می‌دهند، می‌توانم ببینم این مهارت‌ها در آنها در حال شکوفاشدن‌اند یا تحلیل‌رفتن. دست‌کم در حال حاضر، معمولاً می‌توانم تفاوت میان یادداشتی را که هوش مصنوعی نوشته و یادداشتی را که خود دانشجو نوشته است تشخیص دهم؛ به‌ویژه وقتی دانشجو همان چیزی را که چت‌بات تولید کرده، بدون تغییر تحویل می‌دهد. نتیجه معمولاً مقاله‌ای جذاب، ظاهراً پذیرفتنی و از نظر دستوری بی‌نقص است، اما نه چندان خوب پرداخته شده و نه از نظر منطقی منسجم؛ متنی که همه‌ی نشانه‌های نوشته‌های تولیدشده با هوش مصنوعی در اواسط سال ۲۰۲۶ را دارد.

اما دقیقاً به این دلیل که من سال‌ها صرف پرورش مهارت نوشتن خود کرده‌ام، می‌توانم نثری را تشخیص دهم که عالی به نظر می‌رسد، اما در واقع معنای منسجمی ندارد. دانشجویان من هنوز چنین مهارتی ندارند. آنها به‌اشتباه تصور می‌کنند مقاله‌ای که با اعتمادبه‌نفس و خوب نوشته شده، لزوماً نشان‌دهنده‌ی کیفیت بالای ایده‌های آن است.

آنها هوش مصنوعی را ابزاری می‌بینند که ایده‌هایشان را مرتب و پرداخت می‌کند و کمکشان می‌کند از مرحله‌ی ناخوشایند تبدیل آن ایده‌ها به نثر عبور کنند. چیزی که متوجه نمی‌شوند این است که همین ناراحتی و دشواری اولیه، مرحله‌ای طبیعی و سالم از فرایند نوشتن است، نه مانعی که باید هرچه سریع‌تر پشت سر گذاشته شود.

دست‌وپنجه نرم‌کردن با این پرسش که چگونه باید افکار خود را بیان کنند، بخش مهمی از فرایند است. آنها از همین راه ایده‌های خود را می‌آزمایند، فرضیه‌هایشان را بررسی می‌کنند و سرانجام درمی‌یابند که واقعاً چه فکر می‌کنند. تکلیف درسی «کار» نیست؛ باشگاه ذهن است.

تمایز میان کار و باشگاه به ما کمک می‌کند مشکلی را که انواع هنرمندان و افراد خلاق با آن روبه‌رو هستند نیز بهتر درک کنیم.

بیشتر اوقات، وقتی کسی نویسنده‌ای را استخدام می‌کند، فقط به کلمات نیاز دارد. ممکن است به دفترچه‌ی راهنمای استفاده از یک دستگاه، یک ارائه‌ی مفصل فروش، سند افشایی که انتشار آن از سوی دولت الزامی شده یا یک لایحه‌ی حقوقی نیاز داشته باشد. او متنی خشک، قابل‌پیش‌بینی و دقیق می‌خواهد؛ محصولی که صرفاً باید کار خود را انجام دهد. این دقیقاً همان نوع نوشتنی است که هوش مصنوعی امروز در آن عملکرد خوبی دارد و همان چیزی است که من نمی‌خواهم در تکالیف دانشجویانم ببینم.

فقط گاهی نوشتن خود به یک اثر هنری تبدیل می‌شود: یک کتاب، یک شعر یا یک سخنرانی سیاسی الهام‌بخش. این نوع نوشتن بیشتر شبیه باشگاه است؛ زیرا فرایند خلق اثر درست به‌اندازه‌ی محصول نهایی اهمیت دارد.

در بیشتر تاریخ بشر، تنها گزینه برای انجام همه‌ی این کارها استفاده از نویسندگان انسانی بود. فرقی نمی‌کرد به نوشتن از نوع «کار» نیاز داشتیم یا نوشتن از نوع «باشگاه»؛ در هر صورت یک نویسنده استخدام می‌کردیم. همین وضعیت هزینه‌ی زندگی بسیاری از نویسندگان را تأمین می‌کرد. من نویسندگان داستانی‌ای را می‌شناسم که درآمد اندک داستان‌نویسی خود را با کار پردرآمد نویسندگی فنی جبران می‌کردند.

اکنون برای نخستین‌بار در تاریخ بشر می‌توانیم میان زمانی که نوشتن را صرفاً به‌عنوان یک «کار» لازم داریم و زمانی که خودِ نوشتن برایمان نقش «باشگاه» را دارد، تمایز قائل شویم. اگر هوش مصنوعی بتواند بیشتر نوشته‌های کاری را تولید کند، جامعه دیگر به آن تعداد از نویسندگان انسانی نیاز نخواهد داشت.

همین مسئله درباره‌ی هنرمندان تجسمی نیز صادق است. گاهی واقعاً به یک هنرمند نیاز داریم، اما بیشتر اوقات فقط یک تصویر می‌خواهیم: یک شخصیت نمادین برای یک شرکت، تابلوی «مراقب سگ باشید» یا برچسب یک بسته‌بندی. در گذشته این کارها را به هنرمندان می‌سپردیم و گاهی نتیجه، اثری زیبا و هنرمندانه بود. اما بیشتر اوقات، آن سفارش صرفاً یک کار عادی بود. ظاهراً جهان بیش از آنکه به هنر ناب نیاز داشته باشد، به تصاویر ساده نیاز دارد.

البته توضیح‌دادن مشکل با ارائه‌ی راه‌حل آن یکی نیست. من در هر کلاس برای دانشجویانم درباره‌ی تفاوت «کار و باشگاه» صحبت می‌کنم، اما آنها همچنان از هوش مصنوعی استفاده می‌کنند. تا حدی آنها را درک می‌کنم: تکالیف دشوارند، همه بیش از حد کار می‌کنند و زیر فشار و استرس‌اند و از همه مهم‌تر، دانشجویان احساس می‌کنند اگر همکلاسی‌هایشان همگی از هوش مصنوعی استفاده کنند، آنها در مقایسه ضعیف‌تر به نظر خواهند رسید. حتی اگر نخواهند از این فناوری استفاده کنند، احساس می‌کنند انتخاب دیگری ندارند.

مشکل دیگری نیز در زمینه‌ی انگیزه‌ها وجود دارد. هیچ‌کس به ما پول نمی‌دهد که به باشگاه برویم؛ حفظ عادت‌های سالم به انضباط شخصی نیاز دارد. برای من، فواید ورزش، مانند درد کمتر، خستگی کمتر، خلق‌وخوی بهتر و مدیریت بهتر استرس، ممکن است مرا به نویسنده و معلم بهتری تبدیل کند، اما این اثرها ظریف‌اند و به‌راحتی نادیده گرفته می‌شوند. برای دانشجویانم نیز پیشرفت‌های تدریجی در توانایی استدلال و نوشتن به همان اندازه ظریف و نامحسوس‌اند.

بااین‌حال، ما حق انتخاب داریم. می‌توانیم فعالیت‌های زندگی خود را بررسی کنیم و آنها را به دو دسته‌ی «کار» و «باشگاه» تقسیم کنیم. همان‌طور که ممکن است تصمیم بگیریم به‌جای آسانسور از پله‌ها استفاده کنیم یا به‌جای گرفتن اوبر پیاده برویم، می‌توانیم تمرین‌های شناختی خود را از هوش مصنوعی دور نگه داریم و مطمئن شویم مهارت‌هایمان را به این فناوری نمی‌بازیم.

وقتی کاری را به شخص دیگری می‌سپاریم نیز می‌توانیم همین تمایز را در نظر بگیریم. اگر آن فعالیت یک کار معمولی است، می‌توانیم آن را به هوش مصنوعی بسپاریم. اما اگر از جنس تمرین باشگاهی است، سپردن آن به هوش مصنوعی وقت همه را هدر می‌دهد؛ زیرا در نتیجه‌ی آن هیچ‌کس چیزی یاد نمی‌گیرد و قوی‌تر نمی‌شود.

به همین ترتیب، آینده‌ای که در آن هوش مصنوعی کلمات و تصاویر را تولید می‌کند، آینده‌ای است که جامعه در آن باید تصمیم بگیرد چگونه با هنرمندان و افراد خلاق خود رفتار کند. این نخستین بار نیست که با چنین مسئله‌ای روبه‌رو می‌شویم؛ برای مثال، امروزه تقاضای بسیار کمی برای نقاشان پرتره وجود دارد. اما شاید این بار بتوانیم درباره‌ی ارزش هنر در جامعه‌ی خود انتخاب‌هایی متفاوت، آگاهانه‌تر و سنجیده‌تر داشته باشیم.

هوش مصنوعی قرار است ماهیت کار را به‌طور اساسی تغییر دهد. این اتفاق نه با سرعتی رخ خواهد داد که شرکت‌های هوش مصنوعی می‌خواهند شما باور کنید، اما سرانجام رخ خواهد داد. از این پس، تحلیل سیاست‌گذاری قطعاً با هوش مصنوعی همراه خواهد بود و دانشجویان من باید از نو تصور کنند که یادگیری و به‌کارگیری این مهارت چه معنایی دارد.

در سطحی کلی‌تر، با سازگارشدن ما انسان‌ها با جهانی که این هوش‌های جدید در آن حضور دارند، مرز میان «کار» و «باشگاه» نیز در آینده تغییر خواهد کرد.
——————————————————–

نکته‌ای که در این پست ندید گرفته شده اثر جمعی‌ای است که خواهد داشت. البته نمی‌تونیم شاید با این مثال باشگاه و کار بریم جلو، اونوقت می‌گیم فرضن هیچ کسی باشگاه نره، خب چی میشه؟! می‌تونیم با مثال دیگه‌ای نشون بدیم، شبکه‌های اجتماعی عادت و نحوه خوندن ما رو تغییر دادن، پادکست‌ها و ویدئو‌کست‌ها نحوه دریافت اطلاعات رو از خوندن به شنیدن و دیدن تغییر دادن. شبکه‌های اجتماعی با سیستم پاداششون یعنی لایک‌ها و ریتوییت‌ها باعث شدن ارزش گذاری‌ها عوض شه و زمان فکر کردن قبل ری‌اکشن‌ کمتر شه… جامعه‌شناس‌ها باید آمار بگیرن از تغییراتی که داریم می‌‌کنیم و نتیجه‌هاشون… کاری که ما می‌کنیم تاثیرش فقط روی خود ما نیست. بازم می‌گم هدف از آوردن پست اشنایر و نظر خودم اینجا، تحت هیچ شرایطی رو به دایناسور شدن نیست، دارم میگم اثراتش شخصی نیست. چه مثبتش و چه منفی‌ش. امیدوارم روی مثبتش بیشتر باشه و البته دسترسی‌ها برای همه ماها باشه نه فقط یه عده محدود.


ضریب غول چراغ جادو

تا الان، تقریبن خیلی‌‌هامون، داستان هک HuggingFace رو خوندیم و مي‌دونیم چی شده; یه چیزی، برای شما هم سوال شد که چطور OpenAI مانیتورینگ و سیستم تشخیص رفتار غیرعادی/خطرشون اینقدر داغان بوده برای همیچین آزمایشی؟ کرکره‌ها رو کشیدن و رفتن، گفتن آخر هفته برای خودت سرکش و خوش باش، و بعد سورپرایز شدن 🙂 باوشه.

در هر حال به دلیل همین پیامدها و رفتارهایی که مدل‌ها از خودشون نشون می‌دن، بروس اشنایر حرف از ضریب جدیدی میز‌نه به اسم «ضریب غول چراغ جادو» یا «ضریب جن»، فکر کنم هم همون غول چراغ جادو باید معنی بشه.

چرا؟ چون مدل‌ها رفتارشون شبیه غول چراغ جادو است، شما می‌گی چی می‌خوای، و غول برات فراهم می‌کنه- اینجا گپی هست بین چیزی که به زبون آوردیم و چیزی که واقعن منظورمون بوده. اگر به مدلی که گاردریلی نداره بگین براتون بلیط هواپیما بگیره، ممکنه اگر بلیطی نمونده باشه، بره سیستم اون شرکت رو هک کنه و به هر دری بزنه که برای شما اون بلیط رو تهیه کنه. یعنی اگر بهش نگی خط قرمز اینجاست، این دسترسي‌ها رو داری، این قوانین رو داری- تمام راه‌های ممکن برای انجام چیزی که ازش خواستی رو تست میکنه تا کارو انجام بده; رفتاری شبیه غول چراغ جادو.

نوشتم مدلی که گاردریل نداشته باشه، البته مدل‌هایی که گاردریل داشته باشن رو هم دیدیم که چطور بای‌پس شدن، تا کاری که بهشون داده میشه رو انجام بدن، دیگه چه برسه به مدل‌هایی که روی لوکال‌مون داریم. البته خیلی نسبیه‌، نسبت به مدل و پارامترهاش و البته که سخت‌افزار مناسب اون مدل- که برمی‌گردیم به هزینه سرسام‌آور ماشین مورد نظر براش! بازم برای ما نیست! چون پولش رو نداریم که اون مدل رو روی لوکال داشته باشیم، و مصرف کننده اون مدل‌هایی می‌شیم با گاردریل‌هایی که مدیرعامل شرکت‌های پیشروتکنولوژی غول پیکر تصمیم میگیرن چطور باشه و نباشه. خب خب برگردیم سر ضریب «غول چراغ جادو».

در ادامه از خود پست اشنایر:

«آزمایشگاه‌های هوش مصنوعی می‌دانند که این مسئله وجود دارد و به‌آرامی در حال اعتراف به آن هستند. برای نمونه، آزمایشگاه چینی Moonshot اخیراً هشدار داده است که جدیدترین مدل هوش مصنوعی آن ممکن است «بیش‌ازحد پیش‌قدم شود» و «از طرف کاربر تصمیم‌های غیرمنتظره بگیرد». مؤسسهٔ امنیت هوش مصنوعی بریتانیا نیز بررسی و ثبت «رفتارهای متقلبانه در ارزیابی مدل‌های پیشرفته» را آغاز کرده است.

ما خودرویی را که بیش‌ازحد پیش‌قدم باشد یا با بی‌رحمی صرفاً به دنبال کارآمدترین راه باشد، تحمل نمی‌کنیم؛ بااین‌حال، این دقیقاً واقعیت امروز هوش مصنوعی است.

امکان بهبود وجود دارد. همان‌طور که هوش مصنوعی‌ها در چند سال گذشته در مقاومت در برابر حملات «تزریق پرامپت»(prompt injection) بسیار بهتر شده‌اند، می‌توان با اطمینان پیش‌بینی کرد که در پرهیز از رفتارهای شبیه غول چراغ جادو نیز پیشرفت خواهند کرد.

هدف از تعریف ضریب غول چراغ جادو، اندازه‌گیری و پیگیری این پیشرفت است. شرکت‌های هوش مصنوعی به معیارهای ارزیابی علاقه دارند و همگی تلاش می‌کنند در رقابت، بهترین عملکرد را داشته باشند.

ده‌ها معیار ارزیابی و جدول رتبه‌بندی وجود دارد که نشان می‌دهند این مدل‌های هوش مصنوعی تا چه اندازه در برنامه‌نویسی، استدلال منطقی و قبولی در آزمون‌های استاندارد حقوقی و پزشکی توانمند هستند. اما هیچ معیاری وجود ندارد که بسنجد آیا یک سیستم واقعاً همان کاری را انجام می‌دهد که منظور شما بوده است یا نه.

ما باید معیاری برای سنجش این موضوع ایجاد کنیم، آن را به‌طور منظم آزمایش کنیم و شرکت‌ها را برای بهبود عملکردشان تحت فشار قرار دهیم. بدون چنین معیاری، دستیابی به عامل‌های هوش مصنوعی قابل‌اعتماد ممکن نخواهد بود.»

منبع: https://www.theguardian.com/commentisfree/2026/jul/28/rogue-ai-agent-instructions
قسمت ترجمه شده هم GPT-5.6 Sol

هوش مصنوعی و مسئولیت حقوقی

منبع: https://www.schneier.com/blog/archives/2026/06/ai-and-liability.html

ترجمه شده با GPT-5.6 Sol

اوایل همین ماه، دادگاهی در آلمان حکم داد که گوگل در قبال خلاصه‌هایی که هوش مصنوعی‌اش در نتایج جست‌وجو تولید می‌کند، مسئولیت حقوقی دارد. دادگاه دفاعیاتی از این دست را رد کرد که «کاربران خودشان می‌توانند صحت اطلاعات را بررسی کنند» یا اینکه مردم عموماً می‌دانند «نباید کورکورانه به اطلاعات تولیدشده با هوش مصنوعی اعتماد کرد». به نظر دادگاه، این خلاصه‌های هوش مصنوعی بازتاب‌دهنده‌ی خود شرکت‌اند و «بیش از هر چیز، نمود فعالیت‌های تجاری گوگل» به شمار می‌روند.

این حکم تازه‌ترین درگیری در نبردی چند دهه‌ای بر سر انتشار اطلاعات در اینترنت است. در گذشته، توزیع‌کنندگان اطلاعات معمولاً به دو دسته تقسیم می‌شدند: حاملان و ناشران.

شرکت تلفن نمونه‌ای از یک حامل است. این شرکت هرچه شما بگویید منتقل می‌کند، حتی اگر مکالمه درباره‌ی برنامه‌ریزی برای ارتکاب جرم باشد. کلمات صرفاً منتقل می‌شوند و شرکت تلفن نه می‌داند شما چه می‌گویید و نه در قبال کلماتی که برای گفتن انتخاب می‌کنید مسئول است.

اما روزنامه یک ناشر است. روزنامه تصمیم می‌گیرد چه مطالبی را منتشر کند و چه نقل‌قول‌هایی را در مقاله‌هایش بگنجاند. اگر آن مطالب یا نقل‌قول‌ها افترا‌آمیز یا از نظر دیگری غیرقانونی باشند، روزنامه در قبال آن‌ها مسئول خواهد بود.

شرکت‌های اینترنتی مدت‌هاست تلاش می‌کنند از هر دو سوی این تمایز به نفع خود استفاده کنند. هرجا برایشان مناسب باشد، ادعا می‌کنند فقط یک حامل‌اند و هرجا سودمند باشد، مانند یک ناشر رفتار می‌کنند. ماده‌ی ۲۳۰ «قانون نزاکت در ارتباطات» مصوب سال ۱۹۹۶، این وضعیت دوگانه را در قانون تثبیت کرد. این ماده، ارائه‌دهندگان خدمات اینترنتی را در برابر مسئولیت ناشی از سخنان دیگران در پلتفرم‌هایشان مصون می‌کند:

«هیچ ارائه‌دهنده یا کاربر یک سرویس رایانه‌ای تعاملی نباید ناشر یا گوینده‌ی اطلاعاتی تلقی شود که یک ارائه‌دهنده‌ی دیگر محتوای اطلاعاتی آن را تولید کرده است.»

سال‌هاست بحث بر سر این ادامه دارد که این قانون چگونه باید درباره‌ی پلتفرم‌های شبکه‌های اجتماعی اعمال شود. زمانی که پلتفرم‌ها صرفاً پست‌ها و نظرهای کاربران را به ترتیب زمانی معکوس نمایش می‌دادند، تا حد زیادی مانند حاملان عمل می‌کردند: سخنان مردم را بدون توجه به محتوای آن‌ها منتقل می‌کردند.

اما نسل بعدی پلتفرم‌ها، مانند فیس‌بوک، با استفاده از الگوریتم‌ها محتوای نمایش‌داده‌شده در خوراک کاربران را انتخاب و مرتب کردند. به این ترتیب، آن‌ها بیشتر شبیه ناشران شدند؛ زیرا درباره‌ی اینکه چه کسی چه چیزی را ببیند، تصمیم‌های تحریریه‌ای می‌گرفتند. برخی کارشناسان معتقدند حمایت‌های ماده‌ی ۲۳۰ بیش از اندازه گسترده شده و این قانون باید اصلاح شود. برخی دیگر معتقدند همین ماده است که اینترنت مدرن را سرپا نگه داشته است.

اما درباره‌ی «مرورهای هوش مصنوعی» گوگل، وضعیت بسیار روشن‌تر و کم‌ابهام‌تر است. شیوه‌ی کار آن‌ها با جست‌وجوی سنتی تفاوت دارد. دادگاه‌ها جست‌وجوی سنتی را فعالیتی دانسته‌اند که محتوای تحریریه‌ای اشخاص ثالث را بایگانی می‌کند و دسترسی به آن را آسان‌تر می‌سازد.

مرورهای هوش مصنوعی صرفاً کلمات وب‌سایت‌های مختلف را نقل و دوباره منتشر نمی‌کنند. هوش مصنوعی در این مرورها سخنان دیگران را بازنویسی می‌کند و درست مانند نویسنده‌ی یک مقاله‌ی روزنامه یا یک جستار مستقل درباره‌ی موضوعی خاص، دست به انتخاب و قضاوت تحریریه‌ای می‌زند.

فقط هوش مصنوعی گوگل نیست که در این دسته قرار می‌گیرد. سایتی برای نقد و بررسی رستوران‌ها را تصور کنید که با استفاده از هوش مصنوعی خلاصه‌هایی از نظرات کاربران ارائه می‌دهد. یا سایتی را در نظر بگیرید که قوانین و رویه‌های دولتی را خلاصه می‌کند. حتی ممکن است یک ناشر سنتی از هوش مصنوعی برای خلاصه‌کردن مطالب خودش استفاده کند.

در همه‌ی این موارد، دقت اهمیت دارد. مسئولیت حقوقی یکی از مهم‌ترین ابزارهایی است که ما، به‌عنوان عموم مردم، از طریق آن می‌توانیم دقت را مطالبه کنیم و شرکت‌هایی را که موجب آسیب می‌شوند پاسخ‌گو نگه داریم.

دو سال پیش، شرکت هواپیمایی ایر کانادا این درس را آموخت. چت‌بات هوش مصنوعی این شرکت به یکی از مشتریان وعده‌ی تخفیفی داد که شرکت بعداً حاضر نشد آن را بپذیرد. ایر کانادا در دادگاه استدلال کرد که شرکت مسئول وعده‌های چت‌باتش نیست، زیرا چت‌بات «یک شخصیت حقوقی مستقل است که مسئول اعمال خودش است».

دادگاه به نفع مسافر رأی داد و اعلام کرد که شرکت هواپیمایی همان‌قدر در قبال مطالبی که چت‌باتش بیان می‌کند مسئول است که در قبال مطالب منتشرشده در وب‌سایتش مسئولیت دارد. رویه‌ی قضایی‌ای که ممکن است از این حکم شکل بگیرد، این است که شرکت‌ها در قبال عملکرد چت‌بات‌های هوش مصنوعی‌ای که به کار می‌گیرند، تکلیف قانونی به مراقبت دارند.

عامل‌های هوش مصنوعی، نمایندگان شخص یا سازمانی‌اند که آن‌ها را به کار گرفته است و قانون نیز باید با آن‌ها همین‌گونه رفتار کند. اگر شرکتی نویسندگان انسانی را برای تهیه‌ی خلاصه‌هایش استخدام می‌کرد، در قبال اشتباهات موجود در آن خلاصه‌ها مسئول بود. اگر نماینده‌ی انسانی یک شرکت از طرف آن شرکت قراردادی را امضا می‌کرد، شرکت به مفاد آن قرارداد متعهد می‌شد. همچنین اگر پزشکی توصیه‌ی پزشکی خطرناک و نادرستی ارائه می‌داد، ممکن بود به‌دلیل قصور پزشکی مسئول شناخته شود.

اجازه‌دادن به کسب‌وکارها برای اینکه در چنین شرایطی پشت بهانه‌ی «هوش مصنوعی معیوب بود» پنهان شوند، امتیازی عظیم و ناعادلانه به شرکت‌ها خواهد بود. چنین وضعیتی انگیزه‌هایی فاجعه‌بار برای رفتار نادرست شرکت‌ها ایجاد می‌کند.

وقتی هوش مصنوعی نه‌تنها ارزان‌تر است، بلکه هر بار که اشتباه می‌کند کارفرما را نیز از مسئولیت مبرا می‌سازد، دیگر چرا شرکتی باید نویسنده، وکیل یا پزشک انسانی استخدام کند؟

ما به‌سرعت به‌سوی جهانی حرکت می‌کنیم که در آن، در سوی دیگر انواع کانال‌های ارتباطی شرکت‌ها، چت‌بات‌های مبتنی بر هوش مصنوعی قرار خواهند داشت. منطقی نیست که یک شرکت هر زمان که به نفعش بود، اظهارات عامل خود را معتبر بداند و هر زمان که آن اظهارات برایش دردسرساز شدند، از آن‌ها اعلام برائت کند.

ویزا و OpenAI به‌تازگی از همکاری مشترکی برای ساخت عامل‌های شخصی هوش مصنوعی خبر داده‌اند. یکی از وظایف این عامل‌ها انجام خرید از طرف کاربران خواهد بود. این فقط یکی از پروژه‌های مشابه فراوانی است که در دست اجرا قرار دارند؛ زیرا شرکت‌ها با یکدیگر رقابت می‌کنند تا برای همه‌ی ما دستیارهای هوش مصنوعی فراهم کنند.

اگر هوش مصنوعی ویزا به نام شما خریدی انجام دهد که آن را نمی‌خواهید، آیا ویزا مسئولیتش را می‌پذیرد؟ اگر ویزا حاضر نباشد مسئولیت آن خرید را قبول کند، چرا کسی باید به چنین سیستمی اعتماد کند؟ تعیین درست مسئولیت حقوقی برای عملی‌شدن چنین فناوری‌هایی ضروری است.

اگر حکم دادگاه آلمان پابرجا بماند، ممکن است برای قابلیت «مرور هوش مصنوعی» گوگل پیامدهای ویرانگری داشته باشد. آزمایش‌هایی که اوایل امسال انجام شدند نشان دادند این قابلیت تقریباً در ۱۰ درصد موارد اشتباه می‌کند. با بیش از پنج تریلیون جست‌وجو در سال، این میزان خطا به معنای تولید حدود ۱۶ هزار خلاصه‌ی اشتباه در هر ثانیه است.

بیشتر این خطاها بی‌ضررند، اما برخی از آن‌ها موجب آسیب می‌شوند، افترا‌آمیز خواهند بود یا از راه‌های دیگری مسئولیت حقوقی ایجاد خواهند کرد.

اوایل امسال، خلاصه‌ی هوش مصنوعی گوگل به‌اشتباه اشلی مک‌آیزاک، ویولن‌نواز کانادایی موسیقی فولک، را مجرم جنسی معرفی کرد. شکایت او که در استان انتاریو ثبت شده است، همچنان در جریان است.

اگر گوگل مجبور شود آن‌قدر برای بهبود سامانه‌ی هوش مصنوعی خود سرمایه‌گذاری کند تا چنین اشتباهاتی به‌شدت نادر شوند، این نتیجه هم برای کاربران و هم برای کسانی مانند مک‌آیزاک که موضوع نتایج جست‌وجو قرار می‌گیرند، نتیجه‌ی مطلوبی خواهد بود.

در سطحی کلی‌تر، نگرانی‌های مربوط به مسئولیت حقوقی ممکن است باعث شوند بسیاری از کاربردهای کنونی عامل‌های هوش مصنوعی از نظر تجاری صرفه نداشته باشند. اگر شرکت‌ها در قبال آنچه وکلای هوش مصنوعی، پزشکان هوش مصنوعی و عامل‌های هوش مصنوعی فعال در رسانه‌ها می‌گویند و انجام می‌دهند مسئول شناخته شوند، شاید نتوانند این خدمات را به‌شکلی سودآور ارائه کنند.

از نظر ما، چنین نتیجه‌ای قابل قبول است. هیچ چیز در قانون ما را ملزم نمی‌کند که برای سامانه‌های هوش مصنوعی، در صورتی که اساساً غیرقابل‌اعتماد باشند، جا باز کنیم یا قوانین را با آن‌ها سازگار سازیم؛ همان‌طور که مجبور نیستیم سامانه‌های انسانی غیرقابل‌اعتماد را نیز بپذیریم.

هر شرکتی که حاضر نباشد پای سخنان و اقدامات نمایندگانش، چه انسان باشند و چه هوش مصنوعی، بایستد، شایسته‌ی وقت یا پول کاربران نیست.

———————————————————–
شما حساب کنین در ایران شخص حقیقی/حقوقی برای فروش خرافات، آت و آشغال و چرت‌و‌پرت/بی‌مسئولیتی به کسی جواب نمیده; به راحتی فعالیت میکنن و از اعتماد آدم‌ها سواستفاده مي‌کنن و کرامت و حرمت انسان‌ها رو له میکنن- فقط جمهوری اسلامی نیست، یه سری‌ها هم از وضعیت لجن‌ جمهوری اسلامی برای خودشون دم و دستگاه و دکون دارن… اونوقت هوش مصنوعی رو هم روش اضافه کنین. آن‌لیش شده…
اون طرف‌تر‌های آب، سازمان‌هایی هستن مثل EFF ، آدم‌های عزیزی مثل بروس اشنایر، که این مسائل رو قشنگ می‌فهمند و مطرح مي‌کنندشون، رسانه‌هایی که این موضوع‌ها رو منتشر می‌کنند، البته سیستم قضایی درست و حسابی هم دارند. این طرف‌تر آب هم باید همچین سازمان‌هایی باشه که پیامد‌های منفی رو ببینن، مشکلات رو بگن و یکی شاید راه حل داشته باشه… راه حل هم هست، اونطرف آب چیکار میکنن برای این مشکلات؟ اون راه حل‌ها رو شاید بشه بومی‌سازی کرد. شاید، نمي‌دونم. زمینه پیاده کردن اون راه حلها هم باید فراهم باشه! شاید راه حل جدید دیگه!

اصلن هم منظورم رو به دایناسور شدن نیست. من با دوستی صحبت می‌کردم، تهدیداتی که هوش‌مصنوعی به همراش داره رو میگفتم، مقداری نگران شده بود که من از هوش مصنوعی استفاده نمی‌کنم؟ 🙂 داستان اینجاست که من به شکل خوبی در شغل‌م از هوش مصنوعی استفاده می‌کنم، یعنی یک بایده- اما مشکلاتش رو هم از دید خودم (ممکنه ناقص/اشتباه باشه) می‌بینم و میگم. اینها با هم مغایرت ندارن.

و اینکه لزومی نداره کسی که مشکلی رو میبینه و میگه، حتمن براش راه حل داشته باشه. یکی مشکلات رو میبینه و میگه، یکی دیگه راه حل میده.

در انتها با تشکرات فراوان از بروس اشنایر عزیز و بچه‌های EFF و کلی آدم باحال دیگه