(1) teksti jagamine lõikudeks, tavaliselt sõnu, lauseid ja lõike.

(2) teksti jagunemine eraldi leksikaalse üksuse. Nondictionary-põhineb töötlemine hõlmab tühimiku ja n-gramm killustatust, sõnastik põhinev toetus sisaldab sõna, lause ja lõigu killustatust ja lemmatization.