Chương trình theo ctokenizer.sf.net

CTokenizer chấp nhận cú pháp C++ như đầu vào và đầu ra một vector của các đối tượng CToken, trong đó có một chuỗi mã thông báo và một (n liệt kê) loại mã thông báo, mà sau đó có thể được sử dụng để phân tích cú pháp đầu vào.