Este código Python utiliza la biblioteca requests
para verificar la disponibilidad del archivo robots.txt
en un sitio web dado. Aquí está el análisis del código:
- Importación de la biblioteca
requests
: El código importa la bibliotecarequests
, que se utiliza para realizar solicitudes HTTP. - Definición de la función
verificar_robots_txt(url)
: Esta función toma una URL como entrada y verifica si el archivorobots.txt
está disponible en esa URL. - Bloque
try-except
: El código está contenido dentro de un bloquetry-except
para manejar posibles errores que puedan ocurrir durante la ejecución del código. - Construcción de la URL del archivo
robots.txt
: Se construye la URL del archivorobots.txt
concatenando/robots.txt
a la URL proporcionada. - Realización de la solicitud HTTP: Se utiliza la función
requests.get(robots_url)
para realizar una solicitud HTTP GET a la URL del archivorobots.txt
. - Verificación del estado de la respuesta: Se verifica si la respuesta es exitosa (código de estado 200) utilizando
response.status_code == 200
. - Impresión del resultado: Si el archivo
robots.txt
está disponible, se imprime un mensaje indicándolo. De lo contrario, se imprime un mensaje indicando que el archivo no está disponible. - Manejo de errores: En caso de que ocurra algún error durante el proceso, se imprime un mensaje de error.
- Ejemplo de uso: Se proporciona un ejemplo de cómo usar la función, donde se pasa una URL de ejemplo (
"https://www.ejemplo.com"
) a la funciónverificar_robots_txt
.
En resumen, este código permite verificar la disponibilidad del archivo robots.txt
en un sitio web dado.
import requests
def verificar_robots_txt(url):
try:
robots_url = url + '/robots.txt'
response = requests.get(robots_url)
if response.status_code == 200:
print("El archivo robots.txt está disponible.")
else:
print("El archivo robots.txt no está disponible.")
except Exception as e:
print("Error:", e)
# Ejemplo de uso
url_sitio = "https://www.ejemplo.com"
verificar_robots_txt(url_sitio)