Home >  Term: Tokenizer
Tokenizer

Ein Text-Segmentierung-Programm, scannt Text und bestimmt, ob und wann eine Reihe von Zeichen als Zeichen erkannt werden kann.

0 0

Kūrėjas

  • Martin Schulz
  • (Frankfurt, Germany)

  •  (V.I.P) 29120 points
  • 100% positive feedback
© 2026 CSOFT International, Ltd.