Un juego de palabras necesita algo más que una lista de cadenas válidas. Necesita decir qué significa cada una, y el significado es lo más difícil de almacenar.
Redactado y editado en inglés. Esta versión en español se ha generado mediante traducción automática; cuando la precisión importe, la versión de referencia es el original en inglés. Leer el original en inglés →
WordChess se juega en un tablero de 25×25 con un diccionario inglés de 148.941 palabras 6, con entradas de 8,6 letras de media y algunas de hasta 25. Esa es la parte fácil. Una lista de palabras válidas no es más que un conjunto de cadenas que el juego aceptará. Lo interesante es decirle al jugador qué significa la cadena que hay en el tablero, y hacerlo en veintidós idiomas a la vez.
Los lexicógrafos trazan una línea nítida entre un lema y sus formas flexionadas. El lema es la entrada que se consulta: run, house, be. A su alrededor orbita un paradigma de formas de superficie: runs, ran, running. Todas llevan el mismo sentido central, vestido para un papel gramatical distinto. 3 Un diccionario dedica su prosa al lema y deja que las formas derivadas remitan a él.
Cuántas sombras proyecta una palabra depende del idioma. El inglés es analítico: se apoya en el orden de las palabras y en pequeñas partículas auxiliares, de modo que un verbo rara vez tiene más de un puñado de formas. El finés es aglutinante: construye el significado pegando sufijos a una raíz. Un solo sustantivo finés se flexiona en unos quince casos, en singular y plural, antes de que se apilen encima las terminaciones posesivas y los clíticos; el recuento práctico de formas distintas asciende a millares. 4 El húngaro comprime toda una locución inglesa, in my house, en una sola palabra: házamban. 5
Las definiciones proceden de Wiktionary, el diccionario libre que cualquiera puede editar. Es enorme y multilingüe: el proyecto abarca bastante más de cien ediciones lingüísticas activas y decenas de millones de entradas, escritas en colaboración por voluntarios y no por un consejo editorial remunerado. 1 Para un juego que funciona en 22 idiomas, ningún otro léxico libre se le acerca en cobertura.
Pero la cobertura sobre el papel no es cobertura que puedas mostrar. Wiktionary guarda las formas flexionadas de un modo que evita a los editores humanos escribir diez mil veces la misma glosa. En lugar de redactar una definición, una entrada que no es lema lleva una plantilla de «forma de»: un pequeño puntero que viene a decir «esta es una forma gramatical concreta de aquel lema». 2 La entrada de smoulders no es prosa; es una plantilla que se muestra como «tercera persona del singular del presente simple de smoulder». 1
Estos punteros no son un error de redondeo. En el Wiktionary inglés, de aproximadamente 1,27 millones de definiciones, unas 478.000 —bastante más de un tercio— son definiciones de «forma de» y no sentidos redactados. 1 Los datos están ahí. Solo que están plegados.
Así que el reto que importaba nunca fue «falta la palabra». Fue que el significado de la palabra estaba dentro de una plantilla que un analizador ingenuo habría descartado. Las definiciones de WordChess se construyeron leyendo los volcados en bruto de Wiktionary y expandiendo las plantillas de flexión idioma por idioma, enseñando al analizador qué significa cada puntero y reescribiéndolo como una glosa llana. 6
Cada idioma esconde sus formas tras una maquinaria distinta. El español guarda las formas verbales tras {{forma verbo}}, que se resuelve como «forma verbal de X». El alemán usa {{Grundformverweis Dekl/Konj}} para las formas declinadas y conjugadas. El finés se apoya en {{taivutusmuoto}}. El ruso a menudo no guarda plantilla alguna: la palabra flexionada es una simple redirección (собаки → собака) que hay que seguir para recuperar una glosa de «forma de». 6 Si se atiende a cada convención, la cobertura se dispara.
| Idioma | Antes | Después | Ganancia |
|---|---|---|---|
| Alemán | 45% | 92% | +47 |
| Neerlandés | 58% | 90% | +32 |
| Finés | 54% | 74% | +20 |
| Ruso | 20% | 70% | +50 |
| Griego | 15% | 57% | +42 |
Medido a partir de las notas de diseño y construcción de este proyecto. Los porcentajes son la proporción de entradas del diccionario que llevan una definición utilizable o una glosa de «forma de» ya resuelta.
Los datos nunca faltaron. Estaban plegados dentro de un puntero, y darle la palabra a una máquina consistió en aprender a desplegarlo.
Conviene ser honesto sobre lo que el juego contiene ahora. Cuando WordChess muestra que собаки es una forma de собака, «perro», no ha entendido nada. Ha asociado una cadena con otra cadena, una glosa, siguiendo los mismos punteros que dejó puestos un editor humano. Esto es lematización, el caballo de batalla del procesamiento del lenguaje natural: reducir una forma de superficie a su base para que la máquina tenga menos elementos distintos que seguir. 7
Ese es un modo de saber real y útil. Permite que el juego responda «¿qué es esta palabra?» en Atenas o en Ámsterdam sin tener un lexicógrafo en plantilla. Pero es un saber por consulta, no un saber por significado. La glosa es la promesa de que una persona, al leerla, reconocerá la palabra. La máquina sostiene la promesa; el lector aporta el sentido.
Algunos idiomas chocan con un techo que ningún analizador puede levantar, porque sencillamente no hay datos que desplegar. Las entradas húngaras llevan a menudo solo una etimología y una tabla de traducciones, sin texto de definición alguno, de modo que hasta un lector perfecto se queda con las manos vacías. Los casos más difíciles se concentran allí donde la lingüística es más difícil: lenguas aglutinantes como el finés y el húngaro, que generan paradigmas enormes, y los alfabetos cirílico y griego, donde la cobertura de la comunidad es más escasa de partida. El griego subió del 15 % al 57 %; que se quede muy por debajo del 92 % del alemán es un hecho sobre la fuente, no sobre el código. 6