토큰은 컴파일러에 의미 있는 C++ 프로그램의 가장 작은 요소입니다. C++ 파서는 식별자, 키워드, 리터럴, 연산자, 구두점 및 기타 구분 기호와 같은 종류의 토큰을 인식합니다. 이러한 토큰의 스트림은 번역 단위를 구성합니다. 토큰은 일반적으로 공백으로 구분됩니다.
파서는 키워드, 식별자, 리터럴, 연산자 및 구두점을 인식합니다. 전처리 토큰(예:#include, #define, #if_def 등)은 전처리 단계에서 컴파일러에 전달되는 토큰 스트림을 생성하는 데 사용됩니다. 전처리 토큰 범주는 다른 범주 중 하나와 일치하지 않는 헤더 이름, 식별자, 전처리 숫자, 문자 리터럴, 문자열 리터럴 등입니다. 문자 및 문자열 리터럴은 사용자 정의 리터럴일 수 있습니다. 전처리 토큰은 공백이나 주석으로 구분할 수 있습니다.
식별자는 사용자가 이름을 지정하는 모든 것입니다. 예를 들어 메서드 이름, 변수 이름, 구조체 이름, 클래스 이름 등은 모두 식별자입니다. C++에서 키워드는 프로그램에서 변수의 이름으로 사용할 수 없는 예약된 식별자입니다.