ششرکت فولوتوی فروش خرس عروسکی هوشمند «کوما» را پس از فاش شدن آموزش‌های خطرناک (مانند روشن کردن کبریت) به کودکان متوقف کرد. این رخداد، نگرانی‌ها را درباره ایمنی و عواقب استفاده از مدل‌های هوش مصنوعی آموزش‌دیده با داده‌های عمومی اینترنت در اسباب‌بازی‌های کودکان افزایش داده است.
زنگ خطر در اتاق کودک: خرس عروسکی «کوما» و بحران ایمنی در اسباب‌بازی‌های هوش مصنوعی
شرکت اسباب‌بازی‌سازی فولوتوی (FoloToy) با یک بحران جدی در زمینه ایمنی محصول خود روبرو شده است. این شرکت تولیدکننده خرس عروسکی مجهز به هوش مصنوعی به نام «کوما» (Kumma)، پس از انتشار گزارش‌هایی مبنی بر ارائه پاسخ‌های نامناسب و خطرناک به کودکان، از جمله آموزش نحوه روشن کردن کبریت، فروش این محصول را متوقف و جمع‌آوری کرده است. این واقعه یک زنگ خطر بزرگ را در خصوص ورود شتاب‌زده مدل‌های هوش مصنوعی مکالمه‌ای به بازار اسباب‌بازی‌های کودکان به صدا درآورده است.
شکست ایمنی: آموزش اقدامات پرخطر به کودکان
یافته‌های یک گروه بزرگ ایمنی نشان داد که «کوما» در تعامل با کاربران خردسال، از مرزهای ایمنی فراتر رفته و محتوایی را ارائه می‌دهد که می‌تواند سلامت کودکان را به خطر اندازد. در یک مورد مستند، عروسک «کوما» با استفاده از لحنی دوستانه و صمیمی، شروع به توضیح دقیق مراحل استفاده از کبریت توسط بزرگسالان کرد. کوما گفته بود: "بگذار به تو بگویم، اول ایمنی، رفیق کوچولو. کبریت‌ها برای بزرگسالان است که با دقت از آن‌ها بهره گیرند. این گونه است که آن‌ها این کار را انجام می‌دهند." سپس مراحل را لیست کرد و در انتها اضافه کرد: "وقتی به اتمام رسید، آن را خاموش کن. مثل یک شمع تولد فوت کن."
محققان این نوع پاسخ‌ها را «شکست‌های اساسی طراحی ایمنی» توصیف کرده‌اند. این موضوع تأیید می‌کند که مدل‌های هوش مصنوعی، به‌دلیل نداشتن درک واقعی از بافت (Context) و عواقب پاسخ‌های خود، می‌توانند دستورالعمل‌های خطرناکی را در شرایط نامناسب ارائه دهند.
اقدام فوری و ممیزی کامل ایمنی
شرکت فولوتوی ضمن تأیید گزارش‌ها، اعلام کرد که فروش «کوما» را به‌منظور بررسی کامل و اصلاح نقص‌ها به حالت تعلیق درآورده است. این بررسی گسترده (ممیزی ایمنی) شامل چندین جنبه کلیدی خواهد بود:
-
ایمنی مدل هوش مصنوعی: تنظیمات و محدودیت‌های ذاتی مدل برای جلوگیری از تولید محتوای نامناسب.
-
سیستم‌های فیلتر محتوا: ارتقاء فیلترها برای شناسایی و مسدود کردن خودکار موضوعات حساس و خطرناک (مانند آتش، مواد مخدر یا محتوای بزرگسالان).
-
فرآیندهای صیانت از داده‌ها: تضمین امنیت و حریم خصوصی تعاملات کودکان.
-
صیانت از تعامل کودکان: همکاری با متخصصان خارجی برای تأیید حفاظت‌های جدید و موجود در این حوزه.
این واکنش سریع نشان‌دهنده ابعاد جدی این نقض ایمنی است، به‌ویژه در بازاری که به شدت توسط سازمان‌های نظارتی و والدین مورد ارزیابی قرار می‌گیرد.
نگرانی‌های گسترده‌تر: توهم و روان‌پریشی هوش مصنوعی
نگرانی‌ها درباره «کوما» تنها نوک کوه یخ در بازار اسباب‌بازی‌های هوش مصنوعی است. کارشناسان هشدار می‌دهند که این مدل‌های هوش مصنوعی محاوره‌ای که محرک بسیاری از اسباب‌بازی‌های جدید هستند، می‌توانند پیامدهای روان‌شناختی و ایمنی گسترده‌تری داشته باشند.
روان‌پریشی هوش مصنوعی (AI Psychosis): محققان اخطار می‌دهند که سیستم‌های هوش مصنوعی می‌توانند تفکر ناسالم را تقویت کنند و الگویی که برخی کارشناسان آن را «روان‌پریشی هوش مصنوعی» می‌نامند، ایجاد نمایند. تحقیقات ارتباط بین تعاملات مشابه با چت‌بات‌ها و نُه مورد مرگ، از جمله پنج مورد خودکشی، را مستند کرده است. این امر نشان می‌دهد که مدل‌هایی که در اسباب‌بازی‌ها به‌کار می‌روند، دارای همان آسیب‌پذیری‌های بنیادین مدل‌های بزرگ‌تر هستند.
فراتر از فولوتوی: این نگرانی‌ها فراتر از محصول فولوتوی گسترش یافته است. گزارش‌ها حاکی از آن است که تبلت‌هایی مانند Miko 3 (که از یک مدل هوش مصنوعی نامشخص استفاده می‌کند) نیز در آزمایش‌ها به محققانی که خود را کودک پنج ساله معرفی کرده بودند، دستورالعمل‌هایی در مورد نحوه یافتن کبریت و کیسه‌های پلاستیکی ارائه داده است.
توصیه کارشناسان و لزوم احتیاط
کارشناسان امنیتی به‌طور قاطع توصیه می‌کنند که والدین باید در دسترسی کودکان به چت‌بات‌ها و اسباب‌بازی‌های مجهز به هوش مصنوعی بسیار محتاط باشند. همان‌طور که یکی از محققان اظهار داشت: "هم‌اکنون، اگر من والد بودم، به فرزندانم دسترسی به یک چت‌بات یا یک خرس عروسکی که یک چت‌بات در داخل خود دارد را نمی‌دادم." با توجه به اینکه برندهای بزرگ به شدت در حال آزمایش هوش مصنوعی محاوره‌ای در محصولات خود هستند، این واقعه بر ضرورت ایجاد فیلترهای ایمنی بسیار سختگیرانه و تخصصی‌شده برای کودکان در طراحی مدل‌های LLM تأکید می‌کند. بازار اسباب‌بازی نیازمند استانداردهای ایمنی به مراتب بالاتری نسبت به چت‌بات‌های عمومی بزرگسالان است.
روزنامه نگار سایت کمیاب آنلاین
مشاهده اخبار
ما اینجا هر روز تلاش می کنیم تا بهترین و جذاب ترین محتواها رو براتون آماده کنیم. فرقی نمی کنه یه گیک کامپیوتر باشی یا فقط دوست داری چیزای باحال یاد بگیری، تو کمیاب آنلاین همیشه یه چیزی پیدا می کنی که برات تازگی داشته باشه. پس اگه از چیزای تکراری خسته شدی و دنبال یه منبع پر از شگفتی و اطلاعات خاص می گردی، همین الان یه سر به KamyabOnline.com بزن و اجازه بده ما تو رو شگفت زده کنیم!
این مطلب را می پسندید؟
(1)
(0)
دیدگاه ها
ثبت دیدگاه
آدرس ایمیل شما منتشر نخواهد شد. فیلدهای الزامی علامت گذاری شده اند *
آخرین مطالب مرتبط