Sözcüksel analiz: Revizyonlar arasındaki fark

'''Jeton''', bir programın [[derleyici]] için anlamlı en küçük parçasıdır. Programın jetonlara ayrılması, [[derleyici]]nin programı kendi diline çevirebilmesi açısından önemlidir. Jetonlar birbirlerinden genellikle boşluk karakteri ile ayrılırlar. bunun dışında, boş satır, yeni satır ya da açıklama gibi öğeler de jetonları birbirinden ayırmaya yarar. ''a=i+j örneğinde jetonlar : a,=,i,+,j''