VocarutaBot, el rastreador de VocaRuta
Borrador técnico. Este texto debe ser revisado por un abogado chileno antes de su publicación definitiva.
- Lee páginas públicas de ofertas de empleo en Chile.
- Respeta robots.txt y va despacio: 1 petición por segundo por sitio como máximo.
- Si eres dueño de un sitio y quieres que pare, escríbenos.
Qué es
VocarutaBot es el programa que usa VocaRuta para encontrar y revisar ofertas de empleo publicadas en sitios abiertos. Se identifica con este nombre en cada visita: VocarutaBot/1.0 (+https://www.vocaruta.com/bot).
Qué hace
- Lee el mapa del sitio (sitemap) y las páginas de ofertas públicas.
- Guarda título, empresa, ubicación, rubro, jornada, contrato, sector, fechas, el enlace y la descripción completa que la página publica (en texto plano y sin correos ni teléfonos). Detalle en Ofertas y retiro de contenido.
- Vuelve a visitar las ofertas para saber si siguen vigentes y las marca como cerradas cuando ya no existen.
Reglas que sigue
- Respeta el
robots.txtde cada sitio: si bloquea una ruta, no se visita. - Límite de tasa: como máximo 1 petición por segundo por sitio (o el
Crawl-delayde su robots.txt, si es mayor; respetamos esa espera hasta un tope de 30 segundos), una a la vez, con espera creciente si el sitio responde con errores o pide esperar. - Usa validadores de caché (ETag, Last-Modified) para no repetir descargas.
- No inicia sesión, no rellena formularios ni intenta evadir bloqueos.
Pedir que se detenga o retirar contenido
Escribe a [por completar] indicando el dominio o los enlaces. Dejamos de visitar el sitio (deshabilitamos la fuente) o retiramos las ofertas que indiques, y vaciamos su contenido guardado (detalle en Ofertas y retiro de contenido); objetivo de atención: 5 días hábiles . También puedes bloquearnos en tu robots.txt con User-agent: VocarutaBot.