Vista previa pública de la lección
Descubra cómo los modelos de lenguaje dividen el texto en tokens usando BPE y otros algoritmos, y por qué la tokenización influye en todo, desde el costo hasta la capacidad.
Al final de esta lección, comprenderás:
Las redes neuronales funcionan con números. No pueden leer la palabra "hola" como lo haces tú. Antes de que cualquier modelo de lenguaje pueda procesar texto, debe dividirse en pequeñas partes numéricas llamadas tokens . Este paso aparentemente simple tiene profundas consecuencias sobre cómo la IA entiende (y malinterpreta) el lenguaje.
Tokenización: cómo la IA lee el texto forma parte de AI Sprouts
Tokenización: cómo la IA lee el texto forma parte de AI Sprouts. Actualiza para desbloquear la lección completa, los cuestionarios, el seguimiento del progreso y todas las academias.
Gratis durante 7 días. Cancela cuando quieras, sin preguntas.