Modifica di Linguistica computazionale (sezione)

=== Token === 
I token sono le unità minime di analisi del testo in linguistica computazionale. Rappresentano una famiglia eterogenea che oltre a parole ortografiche tradizionali comprende numeri, sigle segni di punteggiatura e nomi propri. Sebbene questa definizione sembri molto vicina alla definizione di parola, ovvero un'unità ben definita linguisticamente all'interno del lessico di una lingua, occorre distinguere i token in quanto non rappresentano necessariamente parole ortografiche tradizionali. Il processo che segmenta il testo in token è chiamato appunto tokenizzazione ed è spesso realizzato automaticamente da programmi chiamati tokenizzatori. Il processo di tokenizzazione è abbastanza semplice per le lingue che utilizzano lo spazio per delimitare le parole; è invece molto complesso nelle lingue a sistema ortografico continuo. Lo scopo è quello di rendere il testo più gestibile per le operazioni successive come l’analisi sintattica, la classificazione e la ricerca <ref> Lenci, Montemagni, Pirrelli, ''Testo e computer'', p. 101-102. </ref>. I problemi principali della tokenizzazione sono:
*Gestire correttamente la punteggiatura
*Riconoscere parole composte, acronimi o abbreviazioni
*Implementare correttamente gli spazi bianchi
*Distinguere le lettere maiuscole e minuscole