Scribd
Cargar
171 vistas1 página

Concepto de Token en Programación

Un token es una cadena de caracteres con significado en un lenguaje de programación, como palabras clave, identificadores o números. Los tokens son los elementos básicos sobre los cuales se desarrolla la traducción de un programa y se utilizan en los análisis léxico, sintáctico y semántico antes de perderse en la fase de síntesis. Un token puede compararse a una ruta en un mapa que representa el proceso de un programa.

Cargado por

PaoloCesarArcondoAzurin
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como DOCX, PDF, TXT o lee en línea desde Scribd
171 vistas1 página

Concepto de Token en Programación

Un token es una cadena de caracteres con significado en un lenguaje de programación, como palabras clave, identificadores o números. Los tokens son los elementos básicos sobre los cuales se desarrolla la traducción de un programa y se utilizan en los análisis léxico, sintáctico y semántico antes de perderse en la fase de síntesis. Un token puede compararse a una ruta en un mapa que representa el proceso de un programa.

Cargado por

PaoloCesarArcondoAzurin
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como DOCX, PDF, TXT o lee en línea desde Scribd

CONCEPTO TOKEN:

también llamado componente léxico es una cadena de caracteres que tiene un


significado coherente en cierto lenguaje de programación. Ejemplos de tókenes
podrían ser palabras clave (if, else, while, int, ...), identificadores, números, signos,
o un operador de varios caracteres, (por ejemplo, := "':+"' ).
Son los elementos más básicos sobre los cuales se desarrolla toda traducción de
un programa, surgen en la primera fase, llamada análisis léxico, sin embargo se
siguen utilizando en las siguientes fases (análisis sintáctico y análisis semántico)
antes de perderse en la fase de síntesis.
El Token se puede definir como una construcción teórica que podría compararse
con un mapa carretero o de una ciudad sobre el cual uno pone un auto de juguete
y desplaza este de un lugar a un destino. Si el auto llega a un cruce el chofer tiene
que tomar la decisión qué camino seguir dependiendo de la ruta, el tráfico, etc. es
posible que el auto llegue a un cruce donde debe seguir derecho y además doblar
porque tiene que dejar pasajeros en dos puntos diferentes. En este caso deberá ser
clonado, lo que lógicamente no es real. En la realidad los pasajeros van a tomar otro
vehículo mientras uno sigue a su destino, o bien el vehículo va primero a un lugar,
se vuelve y luego va al otro.

En este ejemplo el mapa representa el modelo de proceso y una ruta representa un


caso de recorrido que puede tomar una instancia.

También podría gustarte