Debería intentar usar Kimono para esto (Convierta los sitios web en API estructuradas desde su navegador en segundos). Es realmente fácil raspar datos con Kimono desde casi cualquier sitio web y actualizar los datos cuando se lo pidas. Muchos reclutadores usan Kimono para raspar detalles de listados de trabajo de sitios de carrera. Puede crear una API de Kimono a partir de una lista de enlaces de publicación de trabajo y luego alimentar esa lista a su API con los detalles de publicación para rastrear. Incluso puede escribir funciones de JavaScript en sus datos para modificar su salida o prepararla para su posterior procesamiento.
Parece que esto podría ser muy útil para lo que estás tratando de hacer. Kimono se ha utilizado para raspar datos para una variedad de sitios y se puede combinar fácilmente con otras herramientas para el procesamiento de datos. Echa un vistazo a esta publicación de blog para ver cómo se utilizó Kimono para raspar las críticas de hoteles y realizar análisis de opinión sobre los datos: http://blog.kimonolabs.com/2014/…
- ¿Cuál es una compañía central soñada para un graduado de ECE?
- ¿Cuán competitivo es el mercado laboral de Nueva Zelanda para inmigrantes?
- Soy un ingeniero de hardware no perteneciente a la UE. ¿Para mis maestros debería elegir King's College London o Southampton, para poder conseguir un buen trabajo en Londres / Reino Unido?
- ¿Es fácil pasar de la consultoría a las startups?
- ¿Cuáles son algunos trabajos en línea bien remunerados para personas sordas?
En aras de la transparencia, trabajo para Kimono, ¡pero nuestro producto es realmente increíble y completamente gratis!