La rápida startup de ingeniería Vellum.ai recauda 5 millones de dólares a medida que aumenta la demanda de servicios de IA generativa

Esta mañana, Vellum.ai dijo que había cerrado una ronda inicial de 5 millones de dólares. La compañía se negó a compartir quién era su inversor principal para la ronda, aparte de señalar que era una empresa de varias etapas, pero le dijo a TechCrunch que Rebel Fund, Eastlink Capital, Pioneer Fund, Y Combinator y varios ángeles participaron en la ronda.

La startup llamó la atención de TechCrunch por primera vez durante el día de demostración más reciente de Y Combinator (invierno de 2023) gracias a su enfoque en ayudar a las empresas a mejorar sus indicaciones generativas de IA. Dada la cantidad de modelos generativos de IA, la rapidez con la que progresan y la cantidad de categorías comerciales que parecen listas para aprovechar los grandes modelos de lenguaje (LLM), nos gustó su enfoque.

Según las métricas que Vellum compartió con TechCrunch, al mercado también le gusta lo que está construyendo la startup. Según Akash Sharma, director ejecutivo y cofundador de Vellum, la startup tiene hoy 40 clientes de pago y sus ingresos aumentan entre un 25% y un 30% por mes.

Para una empresa nacida en enero de este año, eso es impresionante.

Normalmente, en una breve actualización de financiación de este tipo, dedicaría un poco de tiempo a detallar la empresa y su producto, me centraría en el crecimiento y seguiría adelante. Sin embargo, como estamos discutiendo algo un poco incipiente, tomemos nuestro tiempo para hablar sobre ingeniería rápida de manera más general.

vitela de construcción

Sharma me dijo que él y sus cofundadores (Noa Flaherty y Sidd Seethepalli) eran empleados de Dover, otra empresa de Y Combinator de la era 2019, que trabajaban con GPT 3 a principios de 2020, cuando se lanzó su versión beta.

Mientras estaban en Dover, crearon aplicaciones de IA generativa para escribir correos electrónicos de reclutamiento, descripciones de trabajo y similares, pero notaron que dedicaban demasiado tiempo a sus indicaciones y no podían versionar las indicaciones en producción, ni medir su calidad. Por lo tanto, también necesitaban crear herramientas para el ajuste y la búsqueda semántica. La gran cantidad de trabajo manual se estaba acumulando, dijo Sharma.

Eso significaba que el equipo dedicaba tiempo de ingeniería a herramientas internas en lugar de construirlas para el usuario final. Gracias a esa experiencia y a la experiencia en operaciones de aprendizaje automático de sus dos cofundadores, cuando se lanzó ChatGPT el año pasado, se dieron cuenta de que la demanda del mercado de herramientas para mejorar la IA generativa iba a «crecer exponencialmente». Por lo tanto, vitela.

Ver que un mercado abre nuevas oportunidades para crear herramientas no es novedoso, pero los LLM modernos no sólo pueden cambiar el mercado de la IA en sí, sino que también podrían hacerlo más grande. Sharma me dijo que hasta el lanzamiento de los LLM publicados recientemente “nunca fue posible utilizar lenguaje natural [prompts] para obtener resultados de un modelo de IA”. El cambio hacia la aceptación de entradas de lenguaje natural “hace que [AI] El mercado es mucho más grande porque puedes tener un gerente de producto o un ingeniero de software. […] literalmente cualquiera puede ser un ingeniero rápido”.

Más potencia en más manos significa una mayor demanda de herramientas. Sobre ese tema, Vellum ofrece una forma para que los indicadores de IA comparen los resultados del modelo uno al lado del otro, la capacidad de buscar datos específicos de la empresa para agregar contexto a indicaciones particulares y otras herramientas como pruebas y control de versiones que a las empresas les pueden gustar. para asegurarse de que sus indicaciones indiquen lo correcto.

Pero, ¿qué tan difícil puede ser impulsar un LLM? Sharma dijo: “Es sencillo poner en marcha un prototipo impulsado por un LLM y lanzarlo, pero cuando las empresas terminan adoptando algo como [that] Cuando llegan a producción, se dan cuenta de que surgen muchos casos extremos que tienden a proporcionar resultados extraños”. En resumen, si las empresas quieren que sus LLM sean buenos de manera consistente, necesitarán hacer más trabajo que simplemente ocultar los resultados de GPT obtenidos de las consultas de los usuarios.

Aún así, eso es un poco general. ¿Cómo utilizan las empresas indicaciones refinadas en aplicaciones que requieren ingeniería rápida para garantizar que sus resultados estén bien ajustados?

Para explicarlo, Sharma se refirió a una empresa de software de venta de entradas de soporte dirigida a hoteles. Esta empresa quería crear una especie de agente de LLM que pudiera responder preguntas como: «¿Pueden hacer una reserva por mí?»

Primero necesitaba un mensaje que funcionara como clasificador de escalada para decidir si la pregunta debía ser respondida por una persona o por el LLM. Si el LLM iba a responder la consulta, el modelo debería (estamos ampliando el ejemplo aquí por nuestra cuenta) poder hacerlo correctamente sin alucinar o descarrilarse.

Por lo tanto, los LLM se pueden encadenar para crear una especie de lógica que fluya a través de ellos. La ingeniería rápida, entonces, no es simplemente jugar con los LLM para intentar que hagan algo caprichoso. En nuestra opinión, es algo más parecido a la programación en lenguaje natural. Necesitará su propio marco de herramientas, similar a otras formas de programación.

¿Qué tan grande es el mercado?

TechCrunch+ ha explorado por qué las empresas esperan que el mercado de IA generativa empresarial crezca hasta alcanzar proporciones inmensas. Debería haber muchos mineros (clientes) que necesitarán picos y palas (herramientas de ingeniería rápidas) para aprovechar al máximo la IA generativa.

Vellum se negó a compartir su esquema de precios, pero sí señaló que sus servicios cuestan entre tres y cuatro cifras por mes. Cruzado con más de tres docenas de clientes, eso le da a Vellum una tasa de ejecución bastante saludable para una empresa en etapa inicial. Un rápido repunte de la demanda tiende a correlacionarse con el tamaño del mercado, por lo que es justo decir que realmente existe una fuerte demanda empresarial de LLM.

Esas son buenas noticias para la gran cantidad de empresas que crean, implementan o respaldan LLM. Dada la cantidad de startups que hay en esa mezcla, nos aguardan días brillantes y soleados por delante.