CCBot (Common Crawl)
Entrenamiento de modelos · Versión actual 2.0
Qué es
CCBot es el rastreador de Common Crawl, una fundación sin ánimo de lucro que mantiene un archivo abierto de datos de rastreo web al que cualquiera puede acceder. Si lo bloqueas, tu sitio queda fuera de sus próximos rastreos. Common Crawl también tiene un registro de exclusión, explicado en su blog.
Documentación oficial: commoncrawl.org · comprobado el 13 nov 2026
User agent de CCBot
CCBot/2.0 (https://commoncrawl.org/faq/)Documentación oficial: commoncrawl.org/ccbot · comprobado el 13 nov 2026
Bloquear o permitir CCBot en robots.txt
Pon estas líneas al principio del archivo robots.txt en la raíz de tu sitio (example.com/robots.txt). Cada subdominio necesita su propio archivo.
User-agent: CCBot
Disallow: /
User-agent: CCBot
Allow: /
# repite aquí las líneas Disallow de tu grupo User-agent: *
Si CCBot no aparece en robots.txt, ya sigue tus reglas de User-agent: * y no hace falta nada más. Un grupo propio sustituye por completo al grupo * para este bot: si lo añades, repite en él tus líneas Disallow generales.
Rangos de IP de CCBot
index.commoncrawl.org/ccbot.json
Lista oficial: 5 rangos · publicada por el dueño el 11 ago 2026 · comprobada por nosotros el 13 nov 2026
Comprueba una IP de tus registros
El dueño también documenta una comprobación por DNS: la búsqueda inversa de la IP debe dar un nombre que termine en crawl.commoncrawl.org, y la búsqueda directa de ese nombre debe devolver la misma IP. Documentación oficial
Ver los 5
- 3.41.188.32/29
- 18.97.9.168/29
- 18.97.14.80/29
- 18.97.14.88/30
- 2600:1f28:365:8000::/56
¿Respeta robots.txt y Crawl-delay?
robots.txt: sí, CCBot lo respeta según su dueño.
“CCBot is an automated crawler, checking first the robots.txt, and if crawling a page is allowed, fetches pages using HTTP GET requests.” — documentación de Common Crawl
Crawl-delay: CCBot lo admite.
“We obey the Crawl-delay parameter for robots.txt.” — documentación de Common Crawl
¿Conviene bloquear CCBot?
Es una decisión legítima. Al bloquear CCBot excluyes tu contenido de este uso, y la búsqueda y las respuestas de IA que dependen de otros bots no se ven afectadas. Si quieres que los modelos de IA usen tu contenido, déjalo abierto.
Revisa tu sitio
Comprueba si tu robots.txt y tu cortafuegos dejan pasar a CCBot, junto con todos los demás bots de IA de este directorio. Gratis y sin registro.
Preguntas
¿Cuál es el user agent de CCBot?+
Common Crawl lo documenta así: CCBot/2.0 (https://commoncrawl.org/faq/)
¿Cómo bloqueo CCBot en robots.txt?+
Añade un grupo para él en el robots.txt de la raíz de tu sitio: «User-agent: CCBot» seguido de «Disallow: /».
¿Qué direcciones IP usa CCBot?+
Common Crawl publica 5 rangos en https://index.commoncrawl.org/ccbot.json. Si una petición que dice ser CCBot llega desde otra dirección, lo más probable es que sea falsa.
¿CCBot respeta robots.txt?+
robots.txt: sí, CCBot lo respeta según su dueño.