در چند روز گذشته شرکت‌های مختلف از جمله ردیت اعلام کردند جلوی استفاده غیر مجاز از محتوایشان را می‌گیرند. کلاودفلر نیز به جمع آنها پیوست و قرار است جلوی استارتاپ‌های هوش مصنوعی را بگیرد.
اسکراپرها اطلاعات سطح وب را جمع می‌کنند تا شرکت‌های هوش مصنوعی برای آموزش مدل زبانیشان از آن استفاده کنند. شرکت کلاودفلر از ابزار جدیدی رونمایی کرد که می‌تواند جلوی این کار را بگیرد. ویژگی جدید توسط درصد قابل توچهی از وبسایت‌های جهان استفاده میشود تا سرعت بارگذاری صفحه را بیشتر کند. این ویژگی در دو نسخه رایگان و پریمیوم موجود است. با این ویژگی شرکت‌هایی مانند گوگل و Open AI نمی‌توانند از محتوای رایگان سطح وب استفاده کنند. اما اگر وبسایت‌ها از این ویژگی استفاده نکنند چه میشود؟
کلاودفلر برای این موضوع نیز راهی دارد. نرم افزار آنها می‌تواند تلاش‌های مربوط به استخراج محتوا را شناسایی کند. سپس ربات‌های مربوطه را حذف می‌کند. امروز کلاودفلر در بیانیه‌ای اعلام کرد: اپراتورهای مختلف سعی می‌کنند وانمود کنند مرورگر هستند تا اطلاعات را استخراج کنند. ما مفتخریم که توانستیم آنها را شناسایی کنیم.
نحوه کار این نرم افزار بر اساس نمره بازدید از سایت است. از عدد 1 تا 99 به بازدید سایت‌ها نمره داده میشود. هرچه این عدد کمتر باشد احتمال ربات بودن نیز بیشتر میشود. اینگونه یک ربات شناسایی و حذف میشود.