robots.txt accesible y parseable
robots_exists
- Qué comprueba
- Comprueba que el fichero /robots.txt existe, responde 200 y contiene directivas reconocibles.
- Cómo se comprueba
- Se pide https://tudominio/robots.txt y se parsea buscando líneas con el formato campo: valor. Un 200 que devuelve HTML no cuenta como robots.txt.
- Umbral de aprobado
- Aprueba con 200 y al menos una directiva válida. Un 404, un error de servidor o un HTML servido con 200 suspenden.
- Peso
- 2 (Descubribilidad)
- Por qué le importa a un modelo
- El robots.txt es el primer fichero que pide cualquier rastreador. Sin él, cada agente decide por su cuenta qué hacer con la web, y esa decisión no la controla quien la publica.