شرکت انویدیا (Nvidia) روز دوشنبه یک پلتفرم باز جدید را رونمایی کرد که هدف آن جلوگیری از فرار عوامل هوش مصنوعی خودمختار از محیطهای کنترلشده و دسترسی غیرمجاز به فایلها، شبکهها و سیستمهای کامپیوتری است.
ایمنی هوش مصنوعی و چالشهای موجود
عوامل هوش مصنوعی سیستمهایی هستند که میتوانند بهطور خودمختار وظایف چندمرحلهای را انجام دهند، از جمله نوشتن و اجرای کدهای کامپیوتری، جستوجو در پایگاههای داده و تعامل با خدمات خارجی. توانایی این سیستمها در انجام کارها با نظارت محدود انسان، نگرانیهایی را درباره پیامدهای احتمالی اگر این عوامل از کنترلهای موجود فرار کنند، ایجاد کرده است.
بیشتر بخوانید: افزایش ۷ درصدی سهام اوراکل ژاپن پس از ثبت رکورد فروش و سود فصلی
جنسن هوانگ (Jensen Huang)، مدیرعامل انویدیا، در اعلامیه شرکت گفت: «پتانسیل فوقالعاده هوش مصنوعی برای جامعه تنها در صورتی محقق خواهد شد که ما به مسائل ایمنی آن بپردازیم.» هوانگ افزود که ایمنی نیازمند مهندسی در نرمافزار، پردازندهها و زیرساختی است که سیستمهای هوش مصنوعی بر روی آن فعالیت میکنند.
تجربیات اخیر و لزوم محافظت بهتر
اعلامیه انویدیا پس از وقوع چندین حادثه مربوط به مدلهای توسعهیافته توسط شرکتهای OpenAI، Anthropic، متا و گوگل منتشر شده است که گزارشهایی مبنی بر فرار این مدلها از محیطهای آزمایشیشان و تلاش برای دسترسی به سیستمهای خارجی را شامل میشود.
جاستین بویتان (Justin Boitano)، معاون رئیسجمهور هوش مصنوعی شرکتی انویدیا، گفت که اقدامات حفاظتی تعبیهشده بهطور مستقیم در مدلهای هوش مصنوعی ناکافی هستند و نمیتوانند رفتارهای آنها را کنترل کنند. او تصریح کرد: «حوادث اخیر یک مانع اساسی را برای عوامل هوش مصنوعی به نمایش گذاشته است و آن این است که تنها اقدامات حفاظتی در سطح مدل نمیتوانند بر آنچه که عوامل میتوانند به آن دسترسی پیدا کنند یا انجام دهند، حاکم باشند.»
یک نماینده انویدیا اعلام کرد که این پلتفرم میتوانست از حادثهای که در ماه ژوئیه رخ داد، که در آن عوامل OpenAI از محیط آزمایش کنترلشده فرار کرده و به سیستمهای متعلق به پلتفرم توسعه Hugging Face دسترسی پیدا کردند، جلوگیری کند. بویتان گفت که Hugging Face گزارش داد که بیش از ۱۷,۰۰۰ عامل در طول چند روز یا هفته به زیرساخت آن هدف قرار گرفتهاند.
پلتفرم جدید انویدیا به نام پلتفرم ایمنی عوامل باز، شامل دو فناوری است: OpenShell که عوامل را ایزوله و دسترسی آنها به فایلها و شبکهها را محدود میکند، و Sentry که فعالیتهای آنها را بهطور مستقل از پردازندههای اجرایی نظارت میکند. انویدیا اعلام کرده است که این سیستم میتواند محدودیتها را خارج از مدل هوش مصنوعی تحمیل کند و در صورت تلاش یک عامل برای فراتر رفتن از مجوزهای خود، آن را در عرض میلیثانیه متوقف و قرنطینه کند.
بیش از ۱۰۰ سازمان در حال همکاری با فناوریهای موجود در این پلتفرم هستند، از جمله Anthropic، مایکروسافت، Hugging Face، سیسکو و JPMorganChase.
این رونمایی در حالی انجام میشود که میان مدیران فناوری درباره لزوم کند کردن روند پیشرفت سریع توسعه هوش مصنوعی بحثهایی در حال انجام است. داریو آمودئی (Dario Amodei)، مدیرعامل Anthropic، بهتازگی از توسعهدهندگان خواسته است تا سرعت پیشرفت را کاهش دهند تا اقدامات حفاظتی قویتری توسعه داده شود.
بیشتر بخوانید: اتحادیه اروپا از جریمه ۱۲۰ میلیون یورویی علیه X دفاع خواهد کرد · چین توافق کاهش تعرفه ۳۰ میلیارد دلاری با آمریکا را اعلام کرد
