El apetito por las nubes alternativas nunca ha sido mayor.
Un ejemplo claro: CoreWeave, el proveedor de infraestructura GPU que comenzó como una operación de minería de criptomonedas, esta semana recaudó $1.1 mil millones en nuevas inversiones de inversores como Coatue, Fidelity y Altimeter Capital. Reportadamente valorando la startup en $19 mil millones post-money, la nueva financiación eleva el total recaudado por CoreWeave a $5 mil millones en deuda y capital - una cifra notable para una empresa de menos de una década.
No es solo CoreWeave.
Lambda Labs, que también ofrece una variedad de instancias de GPU alojadas en la nube, en abril aseguró un "vehículo de financiamiento especial" de hasta $500 millones meses después de cerrar una ronda de la Serie C de $320 millones. El centro de datos sin fines de lucro Voltage Park, respaldado por el multimillonario de la criptografía Jed McCaleb, anunció el pasado octubre que está invirtiendo $500 millones en centros de datos respaldados por GPU. Y Together AI, un anfitrión de GPU en la nube que también realiza investigaciones de IA generativa, en marzo obtuvo $106 millones en una ronda liderada por Salesforce.
Entonces, ¿por qué tanta entusiasmo y dinero fluyendo hacia el espacio de la nube alternativa? En tres palabras, inteligencia artificial generativa.
A medida que continúan los tiempos de auge de la IA generativa, también lo hace la demanda de hardware para ejecutar y entrenar modelos de IA generativa a escala. Las GPU, arquitectónicamente, son la elección lógica para entrenar, ajustar y ejecutar modelos porque contienen miles de núcleos que pueden trabajar en paralelo para realizar las ecuaciones de álgebra lineal que conforman los modelos generativos.
Pero instalar GPUs es caro. Por lo tanto, la nube es lo que la mayoría de los desarrolladores y organizaciones optan por adoptar en su lugar.
Los incumbentes en el espacio de la computación en la nube - Amazon Web Services (AWS), Google Cloud y Microsoft Azure - ofrecen una amplia variedad de instancias de GPU y hardware especializado optimizado para cargas de trabajo de IA generativa. Pero para al menos algunos modelos y proyectos, las nubes alternativas pueden terminar siendo más económicas y ofrecer una mejor disponibilidad.
En CoreWeave, alquilar un Nvidia A100 40GB - una opción popular para el entrenamiento y la inferencia de modelos - cuesta $2.39 por hora, lo que equivale a $1,200 por mes. En Azure, la misma GPU cuesta $3.40 por hora, o $2,482 por mes; en Google Cloud, cuesta $3.67 por hora, o $2,682 por mes.
Dado que las cargas de trabajo de IA generativa generalmente se realizan en clústeres de GPUs, las diferencias de costos crecen rápidamente.
"Empresas como CoreWeave participan en un mercado que llamamos proveedores de nube de servicios especializados de 'GPU'," dijo Sid Nag, VP de servicios y tecnologías en la nube en Gartner, a TechCrunch. "Dada la alta demanda de GPUs, ofrecen una alternativa a los hiperescalers, donde han tomado GPUs de Nvidia y brindado otra vía al mercado y acceso a esas GPUs."
Nag señala que incluso algunas grandes empresas de tecnología han comenzado a depender de proveedores de nubes alternativas al encontrarse con desafíos de capacidad de computación.
El año pasado, CNBC informó que Microsoft había firmado un acuerdo de varios miles de millones de dólares con CoreWeave para garantizar que OpenAI, el fabricante de ChatGPT y socio cercano de Microsoft, tendría la potencia de cálculo adecuada para entrenar sus modelos de IA generativa. Nvidia, el proveedor de la mayoría de los chips de CoreWeave, ve esto como una tendencia deseable, quizás por razones de influencia; se dice que ha dado a algunos proveedores de nubes alternativas acceso preferencial a sus GPUs.
Lee Sustar, analista principal en Forrester, ve que los proveedores de nubes como CoreWeave tienen éxito en parte porque no tienen la "carga" de infraestructura con la que los proveedores incumbentes tienen que lidiar.
"Dada la dominancia de los hiperescaladores en el mercado general de nube pública, que demanda vastas inversiones en infraestructura y una gama de servicios que generan poco o ningún ingreso, los desafiantes como CoreWeave tienen la oportunidad de tener éxito con un enfoque en servicios de IA premium sin la carga de inversiones a nivel de hiperescalador en general," dijo.
¿Pero es este crecimiento sostenible?
Sustar tiene sus dudas. Él cree que la expansión de los proveedores de nubes alternativas estará condicionada tanto por (1) si pueden continuar poniendo en línea GPUs en gran volumen y (2) ofrecerlos a precios competitivamente bajos.
Competir en precios podría volverse desafiante a medida que los incumbentes como Google, Microsoft y AWS aumentan sus inversiones en hardware personalizado para ejecutar y entrenar modelos. Google ofrece sus TPUs; Microsoft recientemente presentó dos chips personalizados, Azure Maia y Azure Cobalt; y AWS tiene Trainium, Inferentia y Graviton.
"Los hiperescaladores aprovecharán su silicio personalizado para mitigar sus dependencias en Nvidia, mientras que Nvidia buscará a CoreWeave y a otras nubes centradas en GPU para la IA," dijo Sustar.
Luego está el hecho de que, si bien muchas cargas de trabajo de IA generativa se ejecutan mejor en GPUs, no todas las cargas de trabajo necesitan de ellas, especialmente si no tienen restricciones de tiempo. Las CPUs pueden ejecutar los cálculos necesarios, pero típicamente más lentamente que las GPUs y el hardware personalizado.
En el ámbito de las preocupaciones existenciales para los proveedores de nubes alternativas está la amenaza de que la burbuja de la IA generativa estalle, lo que dejaría a los proveedores con montones de GPUs y no lo suficiente clientes demandándolos. Pero el futuro se ve brillante a corto plazo, según Sustar y Nag, ambos esperan un flujo constante de nubes emergentes.
"Las startups de nube orientadas a GPUs darán a los incumbentes mucha competencia, especialmente entre los clientes que ya utilizan múltiples nubes y pueden manejar la complejidad de la gestión, seguridad, riesgo y cumplimiento en múltiples nubes," dijo Sustar. "Esos tipos de clientes de nube se sienten cómodos probando una nueva nube de IA si tiene un liderazgo creíble, un respaldo financiero sólido y GPUs sin tiempo de espera."