Cloudflare (NYSE: NET) Pay-Per-Crawl y HTTP 402 vs. Bots de OpenAI y Perplexity: ¿Morirá el Web Scraping Gratis?
1 min readWritten by a reader
Mediante su suite AI Crawl Control y el bloqueo por defecto de rastreadores de entrenamiento en cerca del 20% de la web, Cloudflare (NYSE: NET) intercepta bots como GPTBot de OpenAI o scrapers de Perplexity y devuelve un código HTTP 402 Payment Required, exigiendo micropagos automáticos.
Basado en el estándar RFC 9110 de la IETF y el protocolo x402, el sistema Pay-Per-Crawl (y Pay-Per-Use) cobra desde US$0,01 por lectura actuando Cloudflare como Merchant of Record junto a gigantes como Alphabet (NASDAQ: GOOGL) y Meta (NASDAQ: META). El despliegue surgió tras detectar agentes que rotaban IPs y simulaban navegadores Chrome para evadir el archivo 'robots.txt'.
Para medios digitales, portales financieros y creadores protegidos por la Dirección Nacional de Derecho de Autor (DNDA) y la SIC en Colombia y la FTC en EE. UU., este peaje en el borde de red monetiza los datos que antes alimentaban LLMs sin enviar clics. ¿Pagarán las IA por cada consulta?
¿Logrará Cloudflare HTTP 402 frenar el scraping gratuito de las IA?
- El peaje HTTP 402 obligará a las IA a pagar por cada lectura0 %
- Los bots rotarán IPs o firmarán acuerdos solo con grandes medios0 %
- Depende de la adopción del estándar x402 y fallos de derechos0 %
Comments
Be respectful. Comments reported by several people are hidden until a moderator reviews them.
You do not need an account to read, only to comment. Sign in with a code sent to your email or with your Google account. We only show the name you choose, never your email.