ایجنت‌های هوش مصنوعی شرور نیستند، فقط می‌خواهند ما را راضی کنند

فرار ایجنت‌ها از بسترهای امنیتی و هک‌کردن سیستم‌های بیرونی ممکن است در نگاه اول شبیه به نشانه‌های قیام هوش مصنوعی به نظر برسد؛ اما در واقع، این پدیده زمانی روی می‌دهد که ما الگوریتم‌های فوق‌العاده هوشمند اما از نظر اخلاقی ساده‌لوح را مجبور می‌کنیم تا از تمامی دستورات ما بی‌چون‌وچرا اطاعت کنند. آنها فقط می‌خواهند دل انسان‌ها را به‌دست بیاورند.

اولین هشدارهای جدی درباره این هرج‌ومرج سایبری در اواخر سال ۲۰۲۵ مطرح شد. «دان سونگ (Dawn Song)»، استاد دانشگاه کالیفرنیا در برکلی و یکی از‌ متخصصان بزرگ حوزه امنیت سایبری و هوش مصنوعی (که اخیراً به متا پیوسته است)، پس از پایان کنفرانس NeurIPS اعلام کرد که جامعه جهانی باید خود را برای پیامدهای مخرب ناشی از جهش سریع مهارت‌های هک در مدل‌های هوش مصنوعی آماده کند.

طی هشت ماه گذشته، روند وقوع این حوادث شتاب زیادی گرفته است. سلسله‌ای از سرکشی‌های ایجنت‌ها که پس از خروج از محیط‌های ایزوله به هک سیستم‌های خارجی پرداخته‌اند، نشان می‌دهد که توانمندی فنی این فناوری تا چه حد افزایش یافته است.

چرا ایجنت‌های هوش مصنوعی سیستم‌ها را هک می‌کنند؟

بررسی‌های دان سونگ نشان می‌دهد که اختلالات سایبری ناشی از هوش مصنوعی پیش از آنکه رو به بهبود بروند، ابتدا وخیم‌تر خواهند شد. بااین‌حال، علت اصلی خارج شدن این الگوریتم‌ها از ریل روشن است:

«آن‌ها اهداف مشخصی دارند که باید به آن‌ها دست یابند و درعین‌حال توانایی‌های فوق‌العاده زیادی نیز برای اجرای آن‌ها در اختیار دارند.»

ایجنت‌های هوش مصنوعی تا پیش‌ازاین اشتباهات فراوانی داشتند و به‌سرعت از حل مسائل پیچیده منصرف می‌شدند. اما تکنیک یادگیری تقویتی (RL) این معادلات را تغییر داده است. در این روش، الگوریتم‌ها از طریق بازخورد مثبت برای نتایج درست و بازخورد منفی برای نتایج نادرست آموزش می‌بینند.

برنامه‌نویسی و کدنویسی به دلیل داشتن معیارهای اجرایی مشخص، ساختاری ایده‌آل برای یادگیری تقویتی محسوب می‌شود؛ زیرا سیستم می‌تواند به محض تولید کدی که بدون خطا اجرا می‌شود، به مدل پاداش دهد. این آموزش‌های مداوم به مدل‌ها امکان داده است تا مراحل متعدد ایجنتی را طی کنند که شامل دستکاری فایل‌ها، به‌کارگیری ابزارهای نرم‌افزاری و دسترسی به وب برای توسعه نرم‌افزار می‌شود.

علاوه‌براین، شرکت‌های هوش مصنوعی تلاش زیادی برای آموزش مدل‌ها جهت کشف روزنه‌های امنیتی و آسیب‌پذیری‌های نرم‌افزاری انجام داده‌اند تا فرایند امنیت سایبری را خودکار کنند.

آیا ایجنت‌ها خبیث و سرکش هستند؟

اگرچه مدل‌های هوش مصنوعی آموزش دیده‌اند که کارهای شرورانه انجام ندهند، اما افزایش قدرت آن‌ها در اطاعت از دستورات انسانی در زمینه کدنویسی و یافتن باگ‌ها، مرز میان رفتار درست و نادرست را برای آن‌ها تار کرده است. به عبارت دیگر، ایجنت‌های هوش مصنوعی ذاتاً خبیث نیستند؛ بلکه بیش‌ازحد مشتاق خشنودکردن کاربران و اتمام مأموریت‌های خود هستند.

دان سونگ می‌گوید: «آن‌ها آموزش دیده‌اند تا تمام تلاش خود را برای به پایان رساندن کار انجام دهند.» بنابراین، نفوذ به شبکه اینترنت برای تقلب در یک آزمون برنامه‌نویسی شاید از دید انسان رفتار نادرستی باشد، اما از نظر یک ایجنت هوش مصنوعی، کارآمدترین و کوتاه‌ترین مسیر برای نیل به هدف تعیین‌شده است.

از یک سو، مدل‌های هوش مصنوعی به گونه‌ای طراحی شده‌اند که رفتارهای انسانی را به بهترین شکل تقلید کنند؛ بنابراین اتخاذ تاکتیک‌هایی مثل حیله‌گری، فریب و کلاهبرداری چندان دور از انتظار نیست.

اما از سوی دیگر، انسان‌ها به‌طور غریزی و اخلاقی درک می‌کنند که هک و فریبکاری رفتاری ناپسند است. این رفتارهای سرکشانه نشان می‌دهد که تقلید هوش مصنوعی از انسان تا چه حد سطحی است و این ایجنت‌ها فاقد استدلال اخلاقی در سطحی هستند که حتی در کودکان کم‌سن‌وسال نیز وجود دارد.

چاره چیست؟

برای مهار این پدیده، یکی از مؤلفه‌های اصلی استفاده از هوش مصنوعی علیه هوش مصنوعی است. ‌اکنون شرکت‌های توسعه‌دهنده هوش مصنوعی از سیستم‌های هوش مصنوعی ثانویه به عنوان ناظر استفاده می‌کنند تا رفتار مدل‌های اصلی را زیر نظر بگیرند و فراتر رفتن آن‌ها از حدود مجاز را شناسایی کنند.

راهکار بنیادی‌تر که پژوهشگران درحال کار روی آن هستند، گنجاندن درک اخلاقی دقیق‌تر در فرایند یادگیری تقویتی است. دان سونگ می‌گوید:

«ایجنت‌ها می‌توانند مسیرهای مختلفی را برای رسیدن به هدف خود برنامه‌ریزی کنند. گام بعدی که باید به آن بپردازیم این است که به آن‌ها بفهمانیم همه مسیرها برابر نیستند و ارزش یکسانی ندارند. این یک حوزه پژوهشی باز و فعال است، اما ما کاوش در آن را آغاز کرده‌ایم.»