토큰은 컴파일러에 의미 있는 C++ 프로그램의 가장 작은 요소입니다. C++ 파서는 식별자, 키워드, 리터럴, 연산자, 구두점 및 기타 구분 기호와 같은 종류의 토큰을 인식합니다. 이러한 토큰의 스트림은 번역 단위를 구성합니다. 토큰은 일반적으로 공백으로 구분됩니다.
파서는 키워드, 식별자, 리터럴, 연산자 및 구두점을 인식합니다. 전처리 토큰(예:#include, #define, #if_def 등)은 전처리 단계에서 컴파일러에 전달되는 토큰 스트림을 생성하는 데 사용됩니다. 전처리 토큰 범주는 다른 범주 중 하나와 일치하지 않는 헤더 이름, 식별자, 전처리 숫자, 문자 리터럴, 문자열 리터럴 등입니다. 문자 및 문자열 리터럴은 사용자 정의 리터럴일 수 있습니다. 전처리 토큰은 공백이나 주석으로 구분할 수 있습니다.
파서는 왼쪽에서 오른쪽으로 스캔할 때 입력 문자를 사용하여 가능한 가장 긴 토큰을 만들어 입력 스트림에서 토큰을 분리합니다.