¿Qué información recupera primeramente un crawler para su almacenamiento y posterior procesamiento por la máquina de búsqueda?

Primero a lo ancho o primero en profundidad son las dos estrategias de búsquedas empleadas por un crawler.

Su principal tarea es asignar identificadores únicos a piezas de contenido para gestionar eficientemente los diversos documentos.

Una máquina de búsqueda (Search engine) procesa diariamente todos los documentos existentes en la Internet.

El componente crawler es un seguidor de enlaces URL´s y se encarga de visitar cada sitio en busca de nuevos enlaces.

Invertex index es uno de los algoritmos de indexación utilizados por los buscadores web.

En los websites modernos un crawler enfrenta el problema de generación de contenido dinámico con Javascript, ¿cómo resuelve el crawler este problema?

Una URL normalizada contiene las siguientes partes:

¿Cuál de las siguientes es una razón importante para distinguir entre los enlaces internos y externos en el proceso de crawling?

"Content fing finger printing" se utiliza para evitar la exploración de documentos o enlaces repetidos.