<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Crawlers on Antonio Cortés (DrZippie)</title><link>https://antoniocortes.com/tags/crawlers/</link><description>Recent content in Crawlers on Antonio Cortés (DrZippie)</description><generator>Hugo</generator><language>es-es</language><lastBuildDate>Sun, 01 Feb 2026 21:46:02 +0100</lastBuildDate><atom:link href="https://antoniocortes.com/tags/crawlers/index.xml" rel="self" type="application/rss+xml"/><item><title>Cloudflare acaba de cambiar las reglas del juego con 'Pay per Crawl' (y era hora)</title><link>https://antoniocortes.com/2025/07/01/cloudflare-acaba-de-cambiar-las-reglas-del-juego-con-pay-per-crawl-y-era-hora/</link><pubDate>Tue, 01 Jul 2025 00:00:00 +0000</pubDate><guid>https://antoniocortes.com/2025/07/01/cloudflare-acaba-de-cambiar-las-reglas-del-juego-con-pay-per-crawl-y-era-hora/</guid><description>&lt;h2 id="content-independence-day-el-día-que-la-web-dijo-ya-basta"&gt;&amp;ldquo;Content Independence Day&amp;rdquo;: el día que la web dijo &amp;ldquo;ya basta&amp;rdquo;&lt;/h2&gt;
&lt;p&gt;Hoy, 1 de julio de 2025, Cloudflare declaró oficialmente el &lt;a href="https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/"&gt;&amp;ldquo;Content Independence Day&amp;rdquo;&lt;/a&gt; con el lanzamiento de &lt;strong&gt;&amp;ldquo;Pay per Crawl&amp;rdquo;&lt;/strong&gt;, su nueva herramienta que permite a los propietarios de sitios web cobrar a los crawlers de IA por acceder a su contenido. Como DevOps Manager que gestiona infraestructuras web diariamente, puedo decir que &lt;strong&gt;era hora&lt;/strong&gt;.&lt;/p&gt;
&lt;p&gt;Y es que los números no mienten: mientras Google mantiene una relación de 18 crawls por cada referral que envía (que ya es brutal comparado con los 6:1 de hace seis meses), OpenAI tiene un ratio de &lt;strong&gt;1,500:1&lt;/strong&gt; y Anthropic llega a los &lt;strong&gt;73,000:1&lt;/strong&gt;. Básicamente, están aspirando todo nuestro contenido sin devolver ni una migaja de tráfico.&lt;/p&gt;</description></item><item><title>Cloudflare Just Changed the Game with 'Pay per Crawl' (and it was about time)</title><link>https://antoniocortes.com/en/post/2025/cloudflare-pay-per-crawl/</link><pubDate>Tue, 01 Jul 2025 00:00:00 +0000</pubDate><guid>https://antoniocortes.com/en/post/2025/cloudflare-pay-per-crawl/</guid><description>&lt;h2 id="content-independence-day-the-day-the-web-said-enough-is-enough"&gt;&amp;ldquo;Content Independence Day&amp;rdquo;: the day the web said &amp;ldquo;enough is enough&amp;rdquo;&lt;/h2&gt;
&lt;p&gt;Today, July 1, 2025, Cloudflare officially declared &lt;a href="https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/"&gt;&amp;ldquo;Content Independence Day&amp;rdquo;&lt;/a&gt; with the launch of &lt;strong&gt;&amp;ldquo;Pay per Crawl&amp;rdquo;&lt;/strong&gt;, its new tool that allows website owners to charge AI crawlers for accessing their content. As a DevOps Manager who manages web infrastructures daily, I can say &lt;strong&gt;it was about time&lt;/strong&gt;.&lt;/p&gt;
&lt;p&gt;And the numbers don&amp;rsquo;t lie: while Google maintains a ratio of 18 crawls for every referral it sends (which is already brutal compared to 6:1 from six months ago), OpenAI has a ratio of &lt;strong&gt;1,500:1&lt;/strong&gt; and Anthropic reaches &lt;strong&gt;73,000:1&lt;/strong&gt;. Basically, they&amp;rsquo;re sucking up all our content without returning even a crumb of traffic.&lt;/p&gt;</description></item></channel></rss>