Un nuevo entrenamiento de IA ahorra espacio sin perder calidad en búsquedas

Comprimir los vectores de los documentos reduce el espacio que ocupan, pero la búsqueda pierde precisión. Entrenar al modelo para que sobreviva a esa compresión conserva el 97,8 % de su calidad, frente al 94,6 % de antes.

Un nuevo entrenamiento de IA ahorra espacio sin perder calidad en búsquedas

Los modelos de búsqueda multivector dan a cada palabra de la consulta la oportunidad de encontrar su coincidencia dentro de un documento. Eso los hace muy precisos, pero también muy voluminosos: una colección de millones de documentos puede acabar con cientos de millones de vectores que hay que guardar. Un nuevo método busca reducir ese peso sin sacrificar calidad.

Para entender el problema hay que saber cómo funcionan. Los modelos tradicionales comprimen un documento entero en un único vector. Los multivector, en cambio, guardan una colección de vectores, uno por cada fragmento de texto. Así, una consulta sobre un portátil con mucha autonomía puede encontrar una parte del documento que habla del equipo y otra que habla de la batería. Cada vector de la consulta busca su mejor coincidencia y las puntuaciones se suman.

El coste de almacenamiento es el gran obstáculo. Con 200 vectores de 128 dimensiones por documento y una precisión de 4 bits, cada documento ocupa unos 12,8 KB, es decir, unos 12,8 GB por cada millón de documentos. Reducir cada documento a 50 vectores lo deja en 3,2 GB.

Cómo se reduce el número de vectores

La técnica se llama agrupación de tokens, o «token pooling». La herramienta HierarchicalTokenPooling, de la biblioteca Sentence Transformers, reúne vectores parecidos usando un método de agrupación jerárquica llamado Ward. Empieza con un grupo por cada vector y une, paso a paso, los dos grupos que menos aumentan la dispersión interna, es decir, la distancia media de sus vectores a su centro. Así prefiere grupos compactos de vectores similares.

Cada grupo se sustituye por la media de sus vectores, que luego se vuelve a normalizar para poder compararlo. El resultado es una jerarquía de grupos de distintos tamaños, lo que permite elegir cuánta compresión aplicar.

La opción más sencilla es fijar un factor, por ejemplo pool_factor=4. Con ella, cada documento conserva aproximadamente una cuarta parte de sus vectores, de modo que los documentos largos mantienen más capacidad que los cortos. Por defecto, el primer token no se fusiona nunca y la agrupación solo se aplica a los documentos, no a las consultas.

También existe una agrupación adaptativa, basada en un umbral de distancia común para todos los documentos. Ese umbral puede calibrarse con una muestra de la colección para que el promedio de vectores por documento sea un objetivo, como 16. Es solo una media: cada documento recibirá más o menos, y en otra colección el promedio puede cambiar.

Entrenar al modelo para sobrevivir a la compresión

El problema aparece cuando un detalle importante de un documento se pierde al fusionar sus vectores. Hasta ahora, el entrenamiento original de estos modelos nunca les exigía trabajar con representaciones comprimidas. El nuevo enfoque, llamado entrenamiento consciente de la agrupación, sí lo hace.

La idea se parece a Matryoshka, una técnica que entrena un modelo para que siga funcionando con distintos tamaños de representación. Aquí se aplica a representaciones con menos vectores. Cada lote de entrenamiento aporta dos medidas de error: una con los documentos completos y otra tras comprimirlos a aproximadamente una cuarta parte. Después se promedian. La primera enseña a buscar con la representación completa; la segunda, a colocar los vectores de forma que las coincidencias útiles sobrevivan a la fusión.

Como Ward toma decisiones discretas sobre qué tokens se agrupan, no se puede derivar el aprendizaje de la forma habitual. Para ello se usa un estimador «straight-through», que pasa el aprendizaje de los vectores agrupados a los tokens originales sin calcular las asignaciones de los grupos. Así, el modelo aprende de sus propios errores con las representaciones comprimidas.

Cómo se aplica en la práctica

En Sentence Transformers, la clase MultiVectorTokenPoolingLoss envuelve una función de pérdida de recuperación ya existente y la aplica con los agrupadores que se elijan. El ejemplo parte de ModernBERT-base, un modelo base, y usa como objetivo principal CachedMultiVectorMultipleNegativesRankingLoss: cada consulta debe puntuar más alto su documento relevante que los documentos negativos del lote.

La caché permite procesar mini-lotes de 64 ejemplos mientras se mantienen lotes de entrenamiento de 256, lo que da más ejemplos negativos sin disparar la memoria. Las variantes de agrupación reutilizan los vectores ya calculados, así que añadir un agrupador supone trabajo de agrupación y puntuación, no una segunda pasada completa por el modelo.

El resultado es una pérdida conjunta en la que la versión completa y la comprimida pesan lo mismo. El método también permite usar agrupadores propios, siempre que dejen pasar el aprendizaje hacia los vectores de entrada, de modo que el entrenamiento puede adaptarse a la representación que se quiera desplegar.

Qué cambian los resultados

Los números son el argumento principal. Con pool_factor=4, el modelo normal conserva el 94,6 % de su calidad de búsqueda en NanoBEIR, un conjunto de pruebas, medida con nDCG@10, que valora la calidad de los diez primeros resultados. Eso ocurre con cuatro veces menos vectores. Con el entrenamiento consciente de la agrupación, la retención sube al 97,8 % con el mismo presupuesto de almacenamiento.

El trabajo se apoya en investigaciones previas, como Learn to Pool, de Stefan Josef, y un estudio de regularización de LightOn, que también exploran entrenamientos orientados a la compresión y presupuestos adaptativos. La aportación aquí está en explicar el método y ofrecer un ejemplo reproducible con Sentence Transformers.

Conviene leer las cifras con prudencia. Son resultados sobre unas pruebas concretas, con un modelo y una colección determinados. Que la mejora de casi tres puntos se mantenga en otros conjuntos de datos está por comprobar, y la versión adaptativa puede usarse con cualquier modelo, incluso sin este entrenamiento específico.

Para quien gestiona grandes colecciones de texto, la promesa es clara: buscar con más calidad dentro del mismo espacio de almacenamiento. El siguiente paso será comprobar si esa ventaja aguanta fuera de los laboratorios y con datos reales.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.