La web es muy amplia y alguien tiene que hacer ese tipo de trabajo, en este caso le corresponde al crawler.

El crawler es capaz de hacer muchas cosas y por eso puede hacer esa distinción.

Se requiere para analizar las relaciones e importancia entre las páginas ya que el crawling también toma decisiones importantes sobre la gestión del contenido.

Ninguna de las respuestas anteriores es la correcta.