SebuahToken adalah string karakter, dikategorikan menurut aturan sebagai simbol (misalnya identifier, NOMOR, koma, dll). Proses pembentukan token dari input stream karakter disebut (tokenization) dan lexer yang mengkategorikan mereka sesuai dengan jenis simbol. Sebuah token dapat terlihat seperti apa yang berguna untuk memproses input stream teks atau file teks.
Baca selengkapnya di Visilubai
No comments:
Post a Comment