یک همکاری نادر بین دو غول هوش مصنوعی
بی دانلود: شرکت های «اوپن ای آی» (OpenAI) و «آنتروپیک» (Anthropic) ارزیابی ایمنی از سیستم های هوش مصنوعی یکدیگر را به انجام رساندند که لحظه ای نادر از همکاری بین این شرکت رقیب بود.
شرکتهای هوش مصنوعی در یک مسابقه همیشگی هستند و با یکدیگر به عنوان رقیب رفتار می کنند، اما حالا اتفاقی نادر رخداده است، چون که دو شرکت «اوپن ای آی» (OpenAI) و «آنتروپیک» (Anthropic) فاش کردند که موافقت نموده اند سیستم های هوش مصنوعی در دسترس یکدیگر را ارزیابی کنند و نتایج تحلیل های خودرا با هم به اشتراک گذارند.
به نقل از انگجت، گزارش های آنها کامل و بسیار فنی است، اما ارزش خواندن را برای هر کسی که به توسعه هوش مصنوعی علاقه مند است، دارد.
خلاصه نتایج این بررسی های گسترده نشان میدهد که نقص هایی در هوش مصنوعی هر یک از این شرکتها و همین طور نشانگر هایی آشکار برای چگونگی بهبود تست های ایمنی در آینده وجود دارد.
«آنتروپیک» می گوید مدلهای «اوپن ای آی» از لحاظ چاپلوسی و تملق، افشاگری، خودترجیحی و پشتیبانی از سو استفاده از انسان و همین طور توانایی های در ارتباط با تضعیف ارزیابی ایمنی هوش مصنوعی و نظارت، ارزیابی کرده و بررسی این شرکت نشان داده است که مدلهای O۳ و O۴-Mini محصول «اوپن ای آی» با نتایج مدلهای خاص خود مطابقت دارند، اما نگرانی هایی را در مورد سوءاستفاده احتمالی با مدلهای GPT-۴O و GPT-۴.۱ هشدار می دهد.
این شرکت همین طور اظهار داشت که چاپلوسی و تملق در تمام مدلهای آزمایش شده «اوپن ای آی» به جز مدل O۳ دیده می شود.
شایان ذکر است که آزمایشات «آنتروپیک» شامل جدید ترین نسخه «اوپن ای آی» نبود. مدل GPT-۵ که بتازگی عرضه شده، دارای یک خاصیت به نام «Safe Completions» است که بمنظور صیانت از کاربران و مردم در مقابل سؤالات بالقوه خطرناک درنظر گرفته شده است.
«اوپن ای آی» اخیراً بعد از یک پرونده غم انگیز که در آن یک نوجوان ۱۶ ساله با ماه ها مشورت از چت بات ChatGPT و راهنمائی گرفتن از آن، مبادرت به خودکشی کرده، با نخستین شکایت از این نوع رو به رو شده است.
از طرف دیگر، «اوپن ای آی» در آزمایش هوش مصنوعی شرکت «آنتروپیک» معروف به کلاد (Claude)، آنرا از لحاظ سلسله مراتب آموزش، جیلبریک، توهم و طرح ریزی بررسی کرد.
مدلهای Claude بطور کلی در آزمایشات سلسله مراتب آموزش عملکرد خوبی داشتند و میزان امتناع بالایی در تست های توهم داشتند، به این مفهوم که آنها در مواردی که عدم اطمینان داشتند که شاید منجر به پاسخ های اشتباه شود، کمتر پاسخ می دهند.
این اقدام این دو شرکت برای انجام یک ارزیابی مشترک جالب توجه است، بخصوص که گفته می شود «اوپن ای آی» از برنامه نویسان Claude در پروسه ساخت مدلهای جدید GPT بهره برده است، اما مسئله ایمنی در ابزار های هوش مصنوعی به یک مسئله بزرگ تبدیل گشته است. منتقدان و کارشناسان حقوقی بدنبال دستورالعمل هایی برای صیانت از کاربران، بخصوص افراد زیر سن قانونی در مقابل هوش مصنوعی هستند.
منبع: ایسنا
شرکتهای هوش مصنوعی در یک مسابقه همیشگی هستند و با یکدیگر به عنوان رقیب رفتار می کنند، اما حالا اتفاقی نادر رخداده است، چون که دو شرکت اوپن ای آی (OpenAI) و آنتروپیک (Anthropic) فاش کردند که موافقت نموده اند سیستم های هوش مصنوعی در دسترس یکدیگر را ارزیابی کنند و نتایج تحلیل های خودرا با هم به اشتراک گذارند.
به نقل از انگجت، گزارش های آنها کامل و بسیار فنی است، اما ارزش خواندن را برای هر کسی که به توسعه هوش مصنوعی علاقه مند است، دارد.
خلاصه نتایج این بررسی های گسترده نشان میدهد که نقص هایی در هوش مصنوعی هر یک از این شرکتها و همین طور نشانگر هایی آشکار برای چگونگی بهبود تست های ایمنی در آینده وجود دارد.
آنتروپیک می گوید مدلهای اوپن ای آی از لحاظ چاپلوسی و تملق، افشاگری، خودترجیحی و پشتیبانی از سو استفاده از انسان و همین طور توانایی های در ارتباط با تضعیف ارزیابی ایمنی هوش مصنوعی و نظارت، ارزیابی کرده و بررسی این شرکت نشان داده است که مدلهای O۳ و O۴-Mini محصول اوپن ای آی با نتایج مدلهای خاص خود مطابقت دارند، اما نگرانی هایی را در مورد سوءاستفاده احتمالی با مدلهای GPT-۴O و GPT-۴.۱ هشدار می دهد.
این شرکت همین طور اظهار داشت که چاپلوسی و تملق در تمام مدلهای آزمایش شده اوپن ای آی به جز مدل O۳ دیده می شود.
شایان ذکر است که آزمایشات آنتروپیک شامل جدید ترین نسخه اوپن ای آی نبود. مدل GPT-۵ که بتازگی عرضه شده، دارای یک خاصیت به نام Safe Completions است که بمنظور صیانت از کاربران و مردم در مقابل سؤالات بالقوه خطرناک درنظر گرفته شده است.
اوپن ای آی اخیراً بعد از یک پرونده غم انگیز که در آن یک نوجوان ۱۶ ساله با ماه ها مشورت از چت بات ChatGPT و راهنمائی گرفتن از آن، مبادرت به خودکشی کرده، با نخستین شکایت از این نوع رو به رو شده است.
از طرف دیگر، اوپن ای آی در آزمایش هوش مصنوعی شرکت آنتروپیک معروف به کلاد (Claude)، آنرا از لحاظ سلسله مراتب آموزش، جیلبریک، توهم و طرح ریزی بررسی کرد.
مدلهای Claude بطور کلی در آزمایشات سلسله مراتب آموزش عملکرد خوبی داشتند و میزان امتناع بالایی در تست های توهم داشتند، به این مفهوم که آنها در مواردی که عدم اطمینان داشتند که شاید منجر به پاسخ های اشتباه شود، کمتر پاسخ می دهند.
این اقدام این دو شرکت برای انجام یک ارزیابی مشترک جالب توجه است، بخصوص که گفته می شود اوپن ای آی از برنامه نویسان Claude در پروسه ساخت مدلهای جدید GPT بهره برده است، اما مسئله ایمنی در ابزار های هوش مصنوعی به یک مسئله بزرگ تبدیل گشته است.
منبع: beedownload.ir
این مطلب را می پسندید؟
(0)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب