Para desenvolver uma aplicação de Processamento de Linguagem Natural (PLN), é necessário realizar tarefas de pré-processamento no corpus de entrada, como a separação do texto em palavras. Observe a execução do seguinte fragmento de uma tarefa de PLN:
Entrada: “Bia é uma forte candidata do concurso da CVM.”
Saída: quantidade de unidades linguísticas = 14
A tarefa de PLN que faz a separação do texto em unidades linguísticas mínimas é a:
- A sentenciação;
- B tokenização;
- C lematização;
- D radicalização;
- E etiquetagem.