Cloudflare lance un outil contre le scrapage par les IA

Cloudflare, connu pour ses services innovants dans le cloud, vient de frapper un grand coup dans l'univers des technologies. La société a mis au point un nouvel outil totalement gratuit qui bloque les bots des entreprises d'IA. Ces bots, souvent gourmands en données, parcourent le web pour récupérer du contenu destiné à entraîner d'énormes modèles de langage. Désormais, tous les clients de Cloudflare, y compris ceux qui utilisent les offres gratuites, pourront bénéficier de cette protection.

Dans un article de blog récent, l'équipe de Cloudflare a partagé des statistiques assez révélatrices. Apparemment, une majorité écrasante de leurs clients, soit 85,2 %, préfèrent bloquer l'accès de leur site même aux bots d'IA qui s'identifient correctement. Cela montre bien à quel point le besoin de sécurité et de contrôle sur le contenu est devenu crucial.

L'année passée a été témoin d'une activité intense de la part de certains bots. Par exemple, le bot Bytespider, propriété de Bytedance, a tenté de visiter 40 % des sites sous la coupe de Cloudflare. Il est suivi de près par le GPTBot d'OpenAI, qui a essayé d'accéder à 35 % de ces sites. Ces chiffres placent ces deux bots parmi les quatre principaux robots d'IA en termes de requêtes sur le réseau de Cloudflare, aux côtés d'Amazonbot et ClaudeBot.

Malgré les efforts pour bloquer ces visiteurs numériques indésirables, la tâche reste ardue. La course pour développer des modèles toujours plus rapidement pousse certaines entreprises à contourner, voire à violer, les règles établies pour bloquer ces scrapers. Récemment, Perplexity AI a été accusée de scrapage de sites sans les autorisations nécessaires. Mais avec une entreprise aussi influente que Cloudflare qui se mobilise sérieusement, on pourrait bien voir émerger des résultats tangibles.

Cloudflare reste vigilant, comme l'indique leur équipe : "Nous craignons que certaines entreprises d'IA, déterminées à contourner les règles pour accéder au contenu, s'adaptent de manière persistante pour échapper à la détection des bots." L'entreprise continue de renforcer ses défenses, ajoutant régulièrement des blocages de bots à sa règle AI Scrapers and Crawlers et améliorant ses modèles d'apprentissage machine pour aider à protéger les créateurs de contenu et à assurer une maîtrise complète sur l'utilisation de leurs œuvres.

Source : Cloudflare