En el procesamiento de lenguaje natural (NLP), ¿en qué consiste la fase de tokenización?

Question

Answer

Segmentar el texto en unidades discretas más pequeñas, como las palabras o frases.

Answer

Eliminar las palabras muy comunes que generalmente no aportan una carga semántica.

Answer

Reducir las palabras a su raíz morfológica usando un diccionario lingüístico formal.

Answer

Convertir todo el texto del corpus analizado a letras minúsculas de forma automática.

Crowdly