Luminal ya procesa 45 billones de tokens al mes y levanta 25 millones

La ronda, liderada por Standard Capital, eleva la financiación total a más de 28 millones. La compañía quiere que las empresas ejecuten sus modelos en chips de distintos fabricantes sin reescribir su código y reducir así su dependencia de Nvidia.

Luminal ya procesa 45 billones de tokens al mes y levanta 25 millones

Luminal, una startup de San Francisco, ha cerrado una ronda de 25 millones de dólares liderada por Standard Capital. Es una ronda Serie A, la que suelen levantar las empresas cuando ya tienen producto y quieren crecer. Su propuesta apunta a uno de los grandes cuellos de botella de la IA: el coste de hacer funcionar los modelos, más que el de crearlos.

Para entenderlo hay que distinguir dos fases. Entrenar un modelo es enseñarle; ejecutarlo para que responda a cada petición se llama inferencia, y es la parte que más dinero consume a diario. En inferencia manda Nvidia, cuyas tarjetas gráficas son las más usadas y cuyo valor en bolsa ronda los 5 billones de dólares. Pero su ventaja no está solo en el hardware, sino en el software CUDA, que desde hace casi dos décadas ata a los desarrolladores a sus chips.

La razón es sencilla. Casi todos los modelos de IA están escritos para CUDA, así que pasarlos a chips de AMD, Google o Amazon implica reescribir buena parte del código: un trabajo lento y costoso. Luminal intenta evitarlo con un compilador, un programa que traduce el modelo al lenguaje que entiende cada chip.

Un compilador que busca el camino más rápido

Según explica su cofundador y consejero delegado, Joe Fioti, el compilador prueba distintas formas de ejecutar la red neuronal sobre el chip de destino, mide cada variante y se queda con la más eficiente. Después genera el código automáticamente y guarda el resultado para reutilizarlo en cargas de trabajo que se repiten.

La empresa vende dos productos. Por un lado, una nube de inferencia: un servicio gestionado en el que el cliente paga por lo que usa y no tiene que montar nada. Por otro, licencias del compilador para empresas que ya tienen sus propios servidores y quieren exprimirlos. En estas licencias, el precio se fija como una fracción de la mejora medida. Fioti pone un ejemplo: si duplicar el rendimiento de una GPU que cuesta 1,50 dólares ahorra 75 céntimos, Luminal cobra 25 y el cliente se queda con 50 de ahorro.

Luminal empezó como un proyecto paralelo de Fioti para ejecutar modelos en un portátil. Lo publicó en abierto en GitHub, la plataforma donde los programadores comparten código, y allí creció una comunidad que añadió soporte para chips de Nvidia. Los fundadores, Fioti, Jake Stevens y Matthew Gunton, decidieron mantener el compilador como código abierto y cobrar por el alojamiento y las licencias, un modelo que comparan con el de Vercel.

En cuanto a tracción, la empresa lanzó su compilador y su nube hace cuatro meses y asegura que ya procesa más de 45 billones de tokens al mes. Un token es un fragmento de texto, la unidad en la que los modelos trocean lo que leen y escriben. Según la compañía, esa cifra equivale a cerca del 10% de todos los tokens que ha consumido hasta ahora Together AI, una empresa valorada en 8.000 millones de dólares que lleva más de cuatro años en el mercado. Luminal también tiene un acuerdo con AWS, la división de nube de Amazon, y ejecuta buena parte de su carga en los procesadores Trainium de esa compañía.

Clientes, cifras y rivales

Entre sus clientes está AutoHDR, una empresa de imágenes inmobiliarias que procesa unos 5 millones de fotos al mes; Luminal gestiona casi todo ese trabajo y traslada una parte creciente a chips de AMD. Otro cliente, Freebuff, envía a la plataforma billones de tokens cada semana. Sus peticiones de programación pueden llegar a 100.000 tokens de entrada, así que el coste depende mucho de reutilizar lo que el modelo ya calculó.

En rendimiento, la compañía afirma que su sistema alcanza 36.000 tokens por segundo con el modelo GPT-OSS 120B sobre ocho GPU H100 de Nvidia, frente a 28.000 de TensorRT-LLM y 26.000 de vLLM, dos herramientas muy usadas para esta tarea. Son cifras de su propia comparación, así que conviene esperar a verlas en pruebas independientes.

La competencia es numerosa. Google y AWS han lanzado marcos de IA alternativos a PyTorch para que sus propios chips sean más fáciles de usar. Otras startups, como Spectral Compute, ofrecen herramientas para ejecutar código CUDA en cualquier chip acelerador, y existen proyectos abiertos como OneAPI, de la UXL Foundation, que buscan el mismo objetivo.

Qué falta por demostrar

Standard Capital defiende la inversión. Su socio Dalton Caldwell sostiene que la inferencia es el mercado de IA que más crece en el mundo y destaca la capacidad técnica del equipo: «La capacidad de Luminal para exprimir las GPU que ya se han comprado es enormemente valiosa».

La ronda se suma a los 5,3 millones de dólares de la semilla, liderada por Felicis Ventures hace un año, y eleva la financiación total a más de 28 millones. Con el dinero, la empresa quiere ampliar su equipo de ingeniería, crecer en ventas y adaptar su compilador a más chips y modelos. Ahora busca ingenieros de compiladores y a su primer responsable de crecimiento, su primer perfil no técnico. Hasta ahora la plantilla era solo de ingeniería y trabaja en persona en el centro de San Francisco.

El reto de fondo es si esa ventaja de costes se mantiene cuando la inferencia se reparta entre chips diseñados para fases distintas de una petición, como leer el texto de entrada y generar la respuesta. Los fundadores creen que ese reparto será cada vez mayor y que coordinar hardware distinto será un desafío de software aún más grande. Para una startup que todavía tiene que demostrar su modelo de cobro a gran escala, ese es el terreno decisivo.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.