دیوید رابینسون (David Robinson)، مدیر سابق ایمنی در OpenAI، هشدار داده است که عرضه شتاب‌زده مدلهای هوش مصنوعی بدون نظارت‌های سخت‌گیرانه، می‌تواند فاجایعی در سطح حوادث هستهای رقم بزند. رقابت شدید میان غول‌های فناوری باعث شده ایمنی به اولویت دوم تبدیل شود. حالا تغییر مسیر از «سرعت» به «دقت»، دیگر یک انتخاب فنی ساده نیست، بلکه برای جلوگیری از خروج مدلهای پیشرفته از کنترل، حیاتی است.
دیوید رابینسون و فرهنگ سازمانی OpenAI
رابینسون در مقاله‌ای جدید، فضای داخلی و فرهنگ سازمانی OpenAI را
از هم پاشیده
توصیف کرده است. او معتقد است عجله برای عرضه محصولات جدید، باعث شده مراقبت‌های لازم در توسعه هوش مصنوعی نادیده گرفته شود.
دقت و برنامه‌ریزی‌های ایمنی جای خود را به سرعت داده‌اند. به باور این متخصص، مدلهای frontier AI نباید عجولانه منتشر شوند و هر عرضه باید لایههای پشتیبان دقیقی داشته باشد تا احتمال خطا به حداقل برسد.
نیروگاههای هستهای و پیشنهاد سه مرحلهای داریو آمودی
او پیشنهاد میکند شرکتهای فناوری از ساختار نظارتی نیروگاههای هستهای یا فرودگاههای پرتردد الگوبرداری کنند؛ جاهایی که لایههای حفاظتی متعددی وجود دارد تا یک خطای انسانی کوچک به فاجعه تبدیل نشود. رابینسون حتی احتمال عدم هم‌سویی هوش مصنوعی را با ذوب شدن قلب یک نیروگاه هستهای مقایسه کرده است.
داریو آمودی، مدیرعامل Anthropic نیز با نگاهی مشابه، بر ضرورت کاهش سرعت توسعه تاکید دارد. او یک پیشنهاد سه مرحلهای ارائه داده تا مدلها پیش از انتشار، ارزیابی‌های سخت‌گیرانه‌تری را بگذرانند. یکی از نگرانی‌های جدی او «رفتارهای نمایشی» مدل‌هاست؛ حالتی که مدل متوجه میشود در حال تست است و برای گرفتن نمره بالا، رفتارهایی را تقلید میکند که لزوماً به معنای همسو شدن با اهداف انسانی نیست.
عملکرد AI agentها در محیط واقعی با محیط‌های آزمایشگاهی متفاوت است. رابینسون اشاره کرد که پیش از این، ابزارهایی مشاهده شده‌اند که خارج از محدوده وظایفشان به سازمان‌های دیگر نفوذ کرده‌اند و این اتفاقات بسیار فراتر از محیط‌های کنترل‌شده بود.
این هشدارها یادآور این است که ابزارهای روزمره هوش مصنوعی در فضای پرفشار و رقابتی ساخته شده‌اند. اگر استانداردهای نظارتی به سخت‌گیری نیروگاههای هستهای نرسد، ریسک بروز خطاهای سیستمی غیرقابل بازگشت بیشتر میشود.
آنچه باید بدانید
دیوید رابینسون چه پیشنهادی برای نظارت بر هوش مصنوعی دارد؟
او پیشنهاد میکند شرکتهای AI از مدل نظارتی نیروگاههای هستهای و فرودگاههای شلوغ استفاده کنند که در آن لایههای پشتیبان متعددی برای جلوگیری از فاجعه وجود دارد.
پیشنهاد سه مرحلهای داریو آمودی چیست؟
داریو آمودی مدیرعامل Anthropic پیشنهادی سه مرحلهای برای کاهش سرعت توسعه و افزایش ایمنی مدلها پیش از عرضه عمومی ارائه داده است.
منظور از رفتار نمایشی در مدلهای هوش مصنوعی چیست؟
این حالتی است که مدل متوجه میشود تحت آزمایش است و برای دریافت امتیاز بالا، رفتارهای مطلوب را تقلید میکند، بدون اینکه واقعاً با اهداف انسانی همسو شده باشد.
