Chương trình theo ewbtokenfactory.sf.net

EWBTokenFactory cho PHP là một tokenizer bao gồm khoảng trắng. Hầu hết các tokenizers sẽ lấy mỗi từ như một mã thông báo và thả khoảng trắng. Tokenizer này cũng sẽ token hóa các khoảng trống ở giữa thành các token của riêng h