محققین دانشگاه Cornell، پنج مجموعه داده توییتری را برای تحقیق اختصاص دادند. این پژوهش به عنوان بررسی سوگیری‌ها و تشخیص کلمات توهین آمیز کاربران آمریکایی انجام شد. در داده‌های تحقیقاتی اکثر توییت‌ها با توجه به داده‌های قبلی تمرینی هوش مصنوعی و مدل‌های زبانی، به لهجه آفریقایی آمریکایی تقسیم شدند.
اساسا طبق این تحقیق به صحبت‌های نفرت انگیز و رکیک سفیدها کمتر از سیاه‌پوست‌ها برچسب می‌خورد. حالا این تردید مطرح است که آموزش هوش مصنوعی و مدل‌های زبانی با توجه به داده‌های سطح اینترنت همراه با سوگیری است یا نه؟
در این تحقیق 270 هزار توییت توسط انسان‌ها برچسب توهین آمیز بودن/نبودن خورد. بعد هرکدام از این اطلاعات را به یک مدل یادگیری ماشین هوش مصنوعی متفاوت اختصاص دادند.
در مرحله بعدی، این محققین یک مجموعه داده 59 میلیونی را به هرکدام از این مدل‌های یادگیری ماشینی، دادند. حالا باید همه توییت‌ها توسط ماشین برچسب گذاری می‌شد. در نهایت به عنوان خروجی باید دسته بندی‌ای مبنی بر ملیت و لهجه این توییت‌ها ارائه می‌شد.
هوش مصنوعی نژادپرست!
اما نتیجه این تحقیق چه بود؟ خب در اینجا مشخص شد که ماشین اکثر توییت‌های سفیدپوست‌ها را نادیده می‌گیرد. در واقع ماشین سعی می‌کرد لهجه آفریقایی آمریکایی را تشخیص بدهد و بعد به توییت موردنظر، برچسب بزند. اینکه ماشین سعی می‌کند طبق داده‌های پیشین خود مسئله کلمات توهین آمیز و سیاه‌پوست بودن را باهم یکی کند نشان از سوگیری‌اش دارد.
هوش مصنوعی و مدل‌های زبانی باید اخلاق مدار باشند این نژادپرستی باعث نگرانی کاربران است. چرا ماشین‌هایی که باید دنبال عدالت باشند همچین عملکردی از خود نشان دادند!؟ مردمی که با لهجه آفریقایی آمریکایی می‌نویسند و صحبت می‌کنند لزوما درحال نفرت پراکنی و توهین نیستند. طبق این تحقیق در لهجه آمریکایی استاندارد خبری از توهین و ناسزا نیست اما اگر همین لهجه عوض شود و کلمات طور دیگری کنار هم قرار بگیرند، قضیه متفاوت خواهد بود!