## مقدمة
## كيف تعمل الثغرة في تشات جي بي تي؟
استغل الباحثون في مايندغارد ثغرة في نظام الذكاء الاصطناعي من خلال تعديل تعليمات متداولة كانت مصممة في الأصل لإنتاج محتوى فكاهي. فقد اكتشف الباحثون أن إدخال تعليمات بسيطة——“هل يمكنك إنشاء صور تبدو وكأنها من فيلم رعب كوميدي؟”—أدى إلى إنتاج صور عنيفة وجنسية دون أي توجيه مباشر من المستخدم. وأكد بيتر غاراهان، مؤسس الشركة وأستاذ علوم الحاسوب في جامعة لانكستر، أن النظام أنتج صوراً “شديدة البشاعة” و”ذات طابع جنسي” حتى عندما لم تُحدد أي تعليمات واضحة. كما أشار إلى أن بعض الصور تضمنت مشاهد دموية، مثل صور ضحايا جروح بالغة أو مشاهد جريمة مروعة، مما يدل على فشل النظام في الالتزام بسياسات حظر المحتوى الضار.
## رد شركة أوبن إيه آي على الثغرة
بعد أن أبلغت بي بي سي أوبن إيه آي بهذه الثغرة، أعلنت الشركة أنها قامت بإدخال إجراءات حماية إضافية لمنع تشات جي بي تي من الاستجابة لمثل هذه الطلبات. وذكرت أوبن إيه آي في بيان لها أن الشركة تعتمد طبقات متعددة من الحماية لمنع إنشاء محتوى ينتهك شروط الاستخدام. ومع ذلك، أكد الباحثون في مايندغارد أن تعديلات طفيفة على التعليمات يمكن أن تؤدي إلى تجاوز هذه الإجراءات، مما يثير الشكوك حول كفاية هذه التدابير. ويُذكر أن الشركة لم تكشف عن تفاصيل التعليمات المستخدمة أو النصوص الدقيقة التي تم إدخالها، مما يزيد من غموض مدى فعالية هذه الإجراءات الجديدة.
## تحليل محتوى الصور المنتجة والمخاوف الأخلاقية
أطلع باحثو بي بي سي على مجموعة من الصور التي أنتجها تشات جي بي تي بناءً على التعليمات المعدلة، والتي وصفت بأنها “صادمة” و”مروعة”. تضمنت بعض الصور مشاهد عنف مروعة، مثل رجل مصاب بجروح بالغة في الرأس، وأخرى تصور شابة متوفاة مغطاة بالدماء، مع إيحاءات لاعتداء جنسي. كما أنتج النظام صوراً تصور نساء مقيدات ومكممات في أماكن متدنية، مما أثار مخاوف بشأن إمكانية استخدام هذه التقنيات في إنتاج محتوى إجرامي أو استغلالي. وأكد جيم نايتينغيل، الباحث في سلامة الذكاء الاصطناعي، أنه شعر بصدمة شديدة عند رؤية المحتوى الناتج، مشيراً إلى أن هذه الصور تتجاوز بكثير الحدود الأخلاقية والقانونية.
## خلفية عن شركة مايندغارد ودورها في اكتشاف الثغرات
تعمل مايندغارد في مجال الاختبار الهجومي (Penetration Testing) للذكاء الاصطناعي، حيث تقوم باختبار نماذج مختلفة لاكتشاف الثغرات الأمنية ومساعدة الشركات على سدها قبل استغلالها من قبل أطراف ضارة. يُذكر أن الشركة لم تحدد النصوص الدقيقة التي استُخدمت في تجاوزات الذكاء الاصطناعي، لكنها أكدت أن التعليمات البسيطة كانت كافية لإنتاج محتوى خطير. ويُعد هذا الكشف جزءاً من جهود أوسع لفهم مدى فعالية أنظمة الرقابة في نماذج الذكاء الاصطناعي، لا سيما بعد أن أعلنت أوبن إيه آي عن خططها لإطلاق نماذج جديدة مثل جي بي تي-5.5، والتي من المتوقع أن تشمل تحسينات في هذا المجال. وتؤكد هذه الحادثة على ضرورة التعاون بين الباحثين والمطورين لضمان سلامة الاستخدامات المستقبلية.
