Cómo un LLM predice la siguiente palabra
Un Large Language Model (LLM) es, en esencia, una máquina de predecir la siguiente palabra (o token) dada una secuencia.
El principio
Dado "La capital de Francia es…", el modelo calcula una distribución de probabilidad sobre el vocabulario: "París" con alta probabilidad, "Londres" con baja.
Por qué funciona tan bien
- Se entrenó con billones de palabras de internet, libros y código.
- Aprendió patrones de lenguaje, lógica y hechos como efecto emergente de predecir palabras.
- La escala (miles de millones de parámetros) mejora drásticamente la calidad.
ANALOGÍA
es un autocompletado ultra avanzado que, entrenado a escala masiva, se comporta como si "entendiera" el lenguaje.
Calificación
No hay comentarios por ahora.
para ser el primero en comentar.