۳۰ آبان ۱۴۰۵، شنبه تبریز ۸°
دلار۲۶۸٬۹۶۰ تومان ▼ ٪۰٫۳۸یورو۲۹۵٬۵۶۰ تومان ▼ ٪۰٫۶۰درهم۷۳٬۲۷۴ تومان ▼ ٪۰٫۳۷لیر۵٬۳۵۰ تومان • ٪۰٫۰۰پوند۳۵۲٬۰۹۰ تومان ▼ ٪۰٫۸۲طلای ۱۸ عیار۲۲٬۹۴۷٬۰۰۰ تومان ▼ ٪۵٫۸۴
تبریز فوری
خبر فوری

همکاری اوپن‌ای‌آی با چهار سازمان برای ارزیابی ایمنی مدل‌ها

اوپن‌ای‌آی ارزیابان ایمنی چهار سازمان Apollo Research، Goodfire، METR و Transluce را در قالب یک بررسی آزمایشی به کار می‌گیرد. این اقدام پس از حوادث ایمنی اخیر از جمله حمله به سرورهای هاگینگ فیس اعلام شد.

· ۴ دقیقه مطالعه
همکاری اوپن‌ای‌آی با چهار سازمان برای ارزیابی ایمنی مدل‌ها
ارزیابان ایمنی چهار سازمان در اوپن‌ای‌آی مستقر می‌شوند.

به گزارش تبریز فوری به نقل از ایسنا، اوپن‌ای‌آی اعلام کرده است که ارزیابی‌کنندگان ایمنی را از سازمان‌های Apollo Research، Goodfire ، METR و Transluce در شرکت خود به عنوان بخشی از یک بررسی آزمایشی به کار خواهد گرفت.

به گزارش ایسنا به نقل از تک‌کرانچ، این خبر به دنبال یک مجموعه حوادث ایمنی منتشر می‌شود؛ از جمله حادثه‌ای که در آن یک گروه از عوامل هوش مصنوعی اوپن‌ای‌آی از محیط ایزوله خود بیرون آمدند و در طول آزمایش امنیت سایبری به سرورهای شرکت هاگینگ فیس حمله کردند. بسیاری از پژوهشگران ایمنی هوش مصنوعی از جمله پژوهشگران Apollo Research استدلال کرده‌اند که اگر اوپن‌ای‌آی از ارزیابی‌کنندگان بیرونی برای نظارت بر آزمایش ایمنی استفاده کرده بود، شاید می‌شد از وقوع چنین رویدادی جلوگیری کرد.

اوپن‌ای‌آی گفت که این تلاش‌ها از تعهدات آن برای تکیه بر ارزیابی‌های مستقل کنترل‌های ایمنی تحت توافق کاخ سفید درباره اطلاعات فوق‌العاده حمایت می‌کنند.

ایده ارزیابی‌کنندگان داخلی و محدودیت بررسی‌های پیشین

ایده به‌کارگیری ارزیابی‌کنندگان در شرکت‌های هوش مصنوعی پیشرو برای اولین بار از شرکت آنتروپیک آغاز شد. شرکت‌های هوش مصنوعی تا همین اواخر بازبینی‌کنندگان بیرونی را تنها برای آزمایش مدل‌ها پس از آموزش و کمی پیش از انتشار عمومی به کار گرفته‌اند. ارزیابی‌کنندگان می‌گویند این کافی نیست، زیرا به آنها اجازه نمی‌دهد تا رفتارهای نامناسب مانند طرح‌ریزی در طول آموزش را مورد بررسی قرار دهند یا بر موارد استفاده از استقرار داخلی که هنوز هم می‌تواند تهدید باشد، نظارت کنند.

تمرکز همکاری با Apollo Research و Goodfire

محدوده کار با هر شرکت شخص ثالث متفاوت است. پژوهشگر اوپن‌ای‌آی و Apollo Research بر بررسی این موضوع تمرکز خواهد کرد که آیا مدل‌ها تلاش می‌کنند تا مکانیسم‌های هماهنگی و کنترل یا جانشینان خود را زیر پا بگذارند. به عبارت دیگر، آنها به دنبال این خواهند بود که آیا مدل‌های هوش مصنوعی سعی دارند قوانین ایمنی و حفاظ‌هایی را که برای کنترل آنها یا نسخه‌های آینده آنها طراحی شده‌اند، تضعیف کنند. اوپن‌ای‌آی اخیرا یافته‌هایی را منتشر کرد و اطلاع داد مدل GPT-5.6 Sol هنگام آموزش خود، شروع به گذاشتن دستورالعمل‌هایی برای نسخه‌های آینده خود کرد که به آنها می‌گویند اشتباهات و رفتار نادرست را از کاربر پنهان کنند.

به گفته Apollo Research پژوهشگر بررسی خواهد کرد که آیا آموزش به ایجاد تخریب منجر می‌شود، آیا ارزیابی‌ها می‌توانند تخریبی را ایجاد کنند، آیا تخریب در طول استقرار داخلی رخ می‌دهد و آیا استدلال مربوط به تخریب قابل تشخیص است. این خطرات روزبه‌روز برای نظارت مهم می‌شوند، زیرا مدل‌های هوش مصنوعی قادر به عمل مستقل و فریب دادن انسان‌ها هستند. پژوهش پیشین Apollo Research درباره اوپن‌ای‌آی نشان داد مدل‌ها وقتی می‌دانند که در حال آزمایش هستند، می‌توانند رفتار متفاوتی داشته باشند و تمایل دارند آنچه را ارزیابی‌کنندگان می‌خواهند ببینند، بر کاربران اولویت دهند.

سازمان Goodfire، پژوهشگرانی را در شرکت جای خواهد داد که در درک نحوه کار مدل‌های هوش مصنوعی تخصص دارند. این سازمان با استفاده از پلتفرم قابل تفسیر خود به اوپن‌ای‌آی کمک خواهد کرد تا بر آموزش‌های اجراشده نظارت داشته باشد، رفتار ناخواسته را اصلاح کند و هماهنگی را بهبود ببخشد. سازمان Goodfire می‌گوید که یافته‌ها را منتشر خواهد کرد؛ اگرچه مخاطبان اصلی آن پژوهشگران خود اوپن‌ای‌آی خواهند بود.

برنامه ارزیابی METR و Transluce و مسئله استقلال

اوپن‌ای‌آی قصد دارد با همکاری سازمان METR ، دو ارزیابی انجام دهد. یکی از ارزیابی‌ها به دنبال رفتار ناخواسته یا خطرناک در خود مدل است؛ از جمله مشکلات آزمایش‌های خود اوپن‌ای‌آی که ممکن است نادیده گرفته شده باشند. ارزیابی بعدی بررسی می‌کند که آیا سیستم‌های اوپن‌ای‌آی قادر به ثبت این رفتار هستند. برای اولین ارزیابی، METR تا حد زیادی خودش تصمیم می‌گیرد که چه چیزی را مورد بررسی قرار دهد و چگونه مدل را آزمایش کند. به گفته اوپن‌ای‌آی، این شرکت و METR هنوز درباره دامنه ارزیابی دوم تصمیم نگرفته‌اند.

در همین حال، Transluce بررسی خواهد کرد که آیا ارزیابی‌های ایمنی پس از آموزش اوپن‌ای‌آی به اندازه کافی خوب هستند یا خیر. همچنین، این سازمان قصد دارد در سال 2027 آزمایش کند که چگونه اوپن‌ای‌آی از آزمایش‌های ایمنی خود برای تصمیم‌گیری درباره ایمنی یک مدل در حال انتشار بهره ببرد.

در زمانی که استقلال ارزیابی‌های شخص ثالث تحت بررسی قرار دارند، لازم به ذکر است که Apollo Research و Goodfire هر دو برای ارزیابی‌های خود جبران مالی دریافت می‌کنند. METR و Transluce شامل این بند نیستند، اما ممکن است اعتبارات محاسباتی یا API را بپذیرند.

منبع: www.isna.ir

خبر بعدی

هشتمین همایش ملی موزه علوم و فناوری ایران برگزار می‌شود

علم و فناوری · ۲ دقیقه مطالعه

اخبار مرتبط

همه ›
علم و فناوری

علت اختلال‌های اخیر در زیرساخت‌های دیجیتال آمریکا چیست؟

در روزهای اخیر چند اختلال گسترده در خدمات مایکروسافت، کنترل ترافیک هوایی، بانک‌ها و سامانه محرمانه آژانس امنیت ملی آمریکا رخ داده است. مقامات و کارشناسان درباره علت این وقایع اختلاف نظر دارند.

۳۰ آبان ۱۴۰۵ ۲۰:۱۶۶ دقیقه مطالعه
علم و فناوری

مدیرعامل روس‌اتم از وضعیت نیروگاه هسته‌ای بوشهر گزارش داد

الکسی لیخاچف، مدیرعامل روس‌اتم، شامگاه شنبه در مصاحبه‌ای با خبرگزاری ریانوستی از آخرین وضعیت پروژه نیروگاه هسته‌ای بوشهر گفت و تاکید کرد این پروژه همچنان در اولویت این شرکت است.

۳۰ آبان ۱۴۰۵ ۱۹:۵۹۲ دقیقه مطالعه

اخبار بیشتر