C 프로그램에서 토큰(Token)은 프로그램을 구성하는 가장 작고 더 이상 나눌 수 없는 기본 단위를 의미합니다. 컴파일러는 소스 코드를 읽을 때 이 토큰들을 하나씩 식별하며 프로그램을 해석합니다.
토큰의 종류
C 언어에서 사용되는 토큰은 크게 다음과 같이 분류할 수 있습니다.
- 식별자(Identifiers) — 함수, 변수, 배열, 구조체 등에 붙이는 이름을 말합니다. 개발자가 직접 정의하며, 프로그램 내에서 각 요소를 구분하는 역할을 합니다.
- 연산자(Operators) — C 컴파일러에게 논리 연산, 산술 연산, 관계 연산 등 특정 작업을 수행하도록 지시하는 기호입니다. 예를 들어 +, -, *, ==, && 등이 있습니다.
- 특수 문자(Special Characters) — 알파벳과 숫자를 제외한 모든 문자를 의미합니다. 대표적으로 세미콜론(;), 콤마(,), 중괄호({ }), 괄호(( )) 등이 있으며, 문장 구분자(delimiter)로도 사용됩니다.
- 상수(Constants) — 프로그램 실행 도중 값이 변경될 수 없는 고정된 값을 말합니다. 숫자 상수뿐만 아니라 문자열 리터럴도 여기에 포함됩니다.
- 키워드/예약어(Keywords/Reserved Words) — int, char, return처럼 미리 정의되어 특별한 의미를 가지는 단어입니다. 키워드는 변수 이름으로 사용할 수 없습니다.
예제 코드
다음은 C 프로그램에서 토큰이 어떻게 사용되는지 보여주는 간단한 예제입니다.
#include<stdio.h>
int main(){
int p, q, result;
p = 2, q = 3;
result = p + q;
printf("result = %d \n", result);
}예제 코드 분석
위 코드를 토큰 관점에서 살펴보면 다음과 같습니다.
- main — 함수 이름으로서 식별자(identifier)에 해당합니다.
- {}, (, ) — 코드 블록과 함수 인자를 구분하는 구분자(delimiter)입니다.
- int — 자료형을 나타내는 키워드(keyword)입니다.
- p, q, result — 사용자가 선언한 변수 이름, 즉 식별자입니다.
- main, {}, (, ), int, p, q, result — 이 모든 요소를 합쳐서 '토큰'이라고 부릅니다.
정리
토큰은 C 프로그램의 가장 기본적인 구성 요소로, 식별자·연산자·특수 문자·상수·키워드 다섯 가지 유형으로 나뉩니다. 컴파일 과정에서 소스 코드는 먼저 토큰 단위로 분해된 후 해석되기 때문에, 토큰의 개념을 정확히 이해하는 것은 C 언어 학습의 첫걸음이라 할 수 있습니다.