سایت ردیت، Reddit، قصد دارد با ربات هوش مصنوعی مقابله کند. این ربات‌ها سرتاسر وب را فرا گرفتند و از اطلاعات و دیتای سطح اینترنت تغذیه می‌کنند.
در هفته‌های آینده سایت ردیت بیشتر ربات‌های خودکار هوش مصنوعی را مسدود می‌کند. شرکت‌هایی مانند گوگل و Open AI برای توسعه مدل‌های جدیدشان و آموزش آن‌ها و مقاصد تجاریشان با شرکت ردیت قرارداد بستند. شرکت ردیت معتقد است دیگر استارتاپ‌ها نیز باید چنین کنند و بدون اجازه از اطلاعات آن‌ها استفاده نکنند.
بن لی، مدیر ارشد حقوقی شرکت ردیت، می‌گوید این یک نشانه برای کسانی است که با ما توافق نکردند. آن‌ها نباید به محتوا و اطلاعات ما دسترسی داشته باشند. ما یک فایل Robots.txt اجرا خواهیم کرد. و این به آن معنی است که شرکت Reddit به مقابله با ربات هوش مصنوعی خزنده سطح وب برخواهد خواست.
فایل‌های Robots.txt یک فایل متنی است که قرار است توسط این شرکت اجرا شود. این فایل باعث می‌شود موتورهای جستجو دیگر اجازه دسترسی به محتوای سایت را نداشته باشند. آن‌ها با استفاده از ویژگی Disallow در این فایل می‌خواهند جلوی دسترسی گوگل به محتوای خود را بگیرند تا دیگر سایت‌ها در جستجوها به آن‌ها دست نیابند.
توسعه دهندگان مدل‌های مختلف با جستجوی اطلاعات در گوگل به سایت‌هایی مانند ردیت برمی‌خورند و از محتوای آن‌ها که بیشتری جنبه آموزشی را دارد استفاده می‌کنند. شرکت‌هایی مانند ردیت نیز به دنبال اجازه و توافقی هستند تا از این اطلاعات درست استفاده شود.