Obtener datos con Scrapy

Actualmente tenemos un proyecto desarrollado con Python y Scrapy en el que tenemos una serie de actividades de las que hay que extraer cierta información en una página web haciendo scraping. Para ello primero se detecta el nº de registros totales en la primera página y posteriormente el nº de paginas. De cada página se obtiene un determinado nº de enlaces fijo, excepto en la última página que puede tener ese nº o menos. Esto es lo que llamo nivel 1. El nivel 1 hay que ejecutarlo varias veces ya que la página web en cuestión va rotando los enlaces en cada página, y después de una rotación no tiene porque haberse obtenido todos los enlaces. En el nivel 2 con todos los enlaces obtenidos obtenemos la información que hay en cada página. Los datos se obtienen usando para la conexión un proxy. Actualmente ya tenemos hecho este proyecto, pero querría mejorarlo ya que no tenemos ningún tipo de información para tomar decisiones. En la configuración actual en scrapy hay arañas que van obteniendo tanto enlaces del nivel 1 como la información de nivel 2. Lo que querría es por un lado cambiar la ejecución de forma que ahora primero se obtengan todos los enlaces del nivel 1, y una vez terminado ese proceso se empiece con el nivel 2. Por otra parte también querría modificar la información que se obtiene en cada paso para ver si el fallo estuvo en que la página no se cargó bien, que bloquearon la ip…. Querríamos obtener datos que nos sirvan para encontrar dónde se ha producido el fallo, el proceso para encontrarlos sería ir guardando el html de todas las páginas de nivel 1 en una carpeta separada y una vez se acaben de recoger todas las páginas de nivel 1, entrar en esa carpeta e ir recorriendo uno a uno cada archivo html, obteniendo distinta información tales como los enlaces que hay dentro y un recuento de estos que deberían ser obligatoriamente 30 excepto en la última página, el número de rotación por el que vamos, el número de página… Con esto conseguiríamos detectar el fallo en cada ejecución, ya que si con este Excel vemos que tenemos en una página intermedia por ejemplo 28 enlaces, vemos que ha habido algún error ya que debería haber 30, y así ya entraríamos en el html de la página de nivel 1 que ha dado este error y podríamos detectar el problema. El código haría varias comprobaciones, primero nos fijaríamos si el conteo por cada página. Si es mayor a 30 debe saltar un error en nuestra terminal. Si es la última página podría tener menos de 30 registros, pero si es una página intermedia debería tener 30 y en caso de no obtener 30 también debería saltar un error. Para acabar comprobaríamos, quitando duplicados, que el número total de enlaces obtenidos (listos para el nivel 2) sea igual al número total de enlaces a obtener +- un diferencial (número que obtenemos al principio del scrapeo). El diferencial se usa porque a veces nos pueden decir que hay 298 registros y dos minutos mas tarde que hay 296. La información que se fuera recopilando se llevaría a un dataframe y finalmente a un Excel (me refiero a la información sobre la extracción de cada url). Los enlaces de nivel 1 recopilados al final de todo el proceso se irían llevando a una tabla mysql. Si todas las comprobaciones están bien, borraríamos esta carpeta ya que la ejecución ha sido un éxito, si no, lanzaríamos otra iteración para ver si recoge más datos de forma correcta. Si ha leído el proyecto escriba LEIDO en su oferta. Otra parte del proyecto será explicarnos exactamente como funciona el proyecto, ya que somos programadores en Python, pero no tenemos muchos conocimientos de scrapy, así como en la configuración correcta de nuestro servidor Ubuntu para interactuar con nuestro código de una manera ágil. Para el proyecto queremos alguien que hable ESPAÑOL.