Rastreadores de IA
Los rastreadores de IA son bots que las empresas de IA usan para recopilar contenido web, ya sea para entrenar modelos de lenguaje o para encontrar fuentes para sus respuestas.
¿Qué son los rastreadores de IA?
Los rastreadores de IA (AI crawlers) son bots que las empresas de inteligencia artificial usan para obtener páginas web. Cumplen dos funciones muy distintas, y la diferencia importa para tu visibilidad:
- Rastreadores de entrenamiento: recopilan contenido para entrenar modelos de lenguaje grandes. Algunos ejemplos son GPTBot de OpenAI, ClaudeBot de Anthropic y CCBot de Common Crawl. Google ofrece el token “Google-Extended” para excluir un sitio del entrenamiento de Gemini sin afectar la Búsqueda de Google.
- Rastreadores de búsqueda y consulta: obtienen páginas en tiempo real para responder preguntas y citarlas como fuente, como OAI-SearchBot para la búsqueda de ChatGPT, PerplexityBot o consultas iniciadas por el usuario, como ChatGPT-User.
Los dueños de sitios controlan el acceso con el robots.txt, por agente de usuario. Muchas empresas bloquean los rastreadores de entrenamiento, pero permiten los de búsqueda; si bloqueas estos últimos, tus páginas no podrán aparecer como citas en respuestas de IA. Los Resúmenes creados con IA y el Modo IA de Google usan el Googlebot habitual, así que bloquearlo te sacaría por completo de la Búsqueda de Google.
Revisiones prácticas:
- Revisa tu robots.txt y la configuración de bots en tu firewall o CDN: algunas herramientas de seguridad bloquean los rastreadores de IA de forma predeterminada.
- Asegúrate de que el contenido importante esté en el HTML; muchos rastreadores de IA no ejecutan JavaScript.
- Consulta los registros del servidor para ver qué rastreadores de IA te visitan y qué páginas obtienen.
Ten en cuenta que el robots.txt es una convención, no una barrera técnica: los rastreadores serios lo respetan, otros quizá no.