Con Firefly, Adobe entra en el juego de la IA generativa

por admin

Adobe se lanza al juego de la IA generativa con el lanzamiento de una nueva familia de modelos de IA llamada Firefly.

Centrado en incorporar la IA al conjunto de aplicaciones y servicios de Adobe, específicamente IA para generar contenido multimedia, Firefly se compondrá de múltiples modelos de IA «que funcionarán en una variedad de casos de uso diferentes», dijo a TechCrunch el vicepresidente de IA generativa de Adobe, Alexandru Costin. entrevista por correo electrónico.

Es una expansión de las herramientas de inteligencia artificial generativa que Adobe presentó en Photoshop, Express y Lightroom durante su conferencia anual Max el año pasado, que permiten a los usuarios crear y editar objetos, composiciones y efectos simplemente describiéndolos. A medida que crece el fervor en torno a la tecnología, Adobe se ha apresurado a mantener el ritmo, permitiendo, por ejemplo, a los contribuyentes vender obras de arte generadas por IA en su mercado de contenidos.

«Firefly es el siguiente paso en nuestro viaje hacia la IA: reúne nuestros nuevos modelos ‘gentech’ con décadas de inversión en imágenes, tipografía, ilustración y más para producir activos», dijo Costin. “Aportaremos este valor a los flujos de trabajo de nuestros clientes donde se crea contenido en Creative Cloud, Experience Cloud y Document Cloud”.

Firefly tal como existe hoy, en versión beta y sin precio firme (Adobe dice que está por llegar), ofrece un solo modelo diseñado para generar imágenes y efectos de texto a partir de descripciones. Desarrollado con cientos de millones de fotografías, el modelo pronto podrá crear contenido en aplicaciones de Adobe, incluidas Express, Photoshop, Illustrator y Adobe Experience Manager, con un mensaje de texto. (Por ahora, tendrás que visitar un sitio web para usarlo).

Créditos de imagen: Adobe

Más allá de la generación básica de texto a imagen, el primer modelo Firefly de Adobe puede «transferir» diferentes estilos a imágenes existentes al estilo Prisma. Basándose en descripciones proporcionadas por el usuario, también puede aplicar estilos o texturas a letras y fuentes.

Adobe dice que las obras de arte creadas con modelos de Firefly contendrán metadatos que indiquen que están parcial o totalmente generados por IA. Ésta es una consideración práctica además de legal; artistas en plataformas como ArtStation han organizado protestas para expresar su descontento con el torrente de nuevo arte generado por IA, mientras que China se convirtió recientemente en el primer país en prohibir los medios generados por IA sin marcas de agua.

«Con Firefly, todos los que crean contenido, independientemente de su experiencia o talento, podrán usar sus propias palabras para generar contenido de la forma en que lo imaginan». Dijo Costín.

Edificio para creadores

A nivel técnico, el primer modelo de Firefly no es diferente a la IA de texto a imagen como DALL-E 2 y Stable Diffusion de OpenAI. Ambos pueden transferir el estilo de una imagen a otra y generar nuevas imágenes a partir de descripciones de texto.

Pero Adobe afirma que Firefly evitará los obstáculos éticos y logísticos de los que han sido víctimas muchos de sus rivales. Esa es una tarea difícil.

La IA, como el primer modelo de Firefly, “aprende” a generar nuevas imágenes a partir de mensajes de texto “entrenando” en imágenes existentes, que a menudo provienen de conjuntos de datos que se reunieron rastreando sitios web públicos de alojamiento de imágenes. Algunos expertos sugieren que los modelos de entrenamiento que utilizan imágenes públicas, incluso las protegidas por derechos de autor, estarán cubiertos por la doctrina de uso legítimo en los EE. UU. Pero es un asunto que es poco probable que se resuelva pronto, particularmente a la luz de las leyes contrastantes que se proponen en el extranjero.

Es decir, dos empresas detrás de las populares herramientas artísticas de IA, Midjourney y Stability AI, están en la mira de un caso legal que alega que infringieron los derechos de millones de artistas al entrenar sus herramientas con imágenes extraídas de la web. El proveedor de imágenes de archivo Getty Images ha llevado a Stability AI a los tribunales, por separado, por según se informa usar millones de imágenes de su sitio sin permiso para entrenar el modelo de generación de arte Difusión estable.

Más allá de las cuestiones no resueltas sobre la compensación de los artistas y las plataformas, uno de los problemas más apremiantes de la IA generativa es su tendencia a replicar imágenes, texto y más (incluido contenido protegido por derechos de autor) a partir de los datos que se utilizaron para entrenarla. Algunas plataformas de alojamiento de imágenes han prohibido el contenido generado por IA por temor a consecuencias legales, y los expertos han advertido que las herramientas de IA generativa podrían poner en riesgo a las empresas si, sin saberlo, incorporaran contenido protegido por derechos de autor generado por las herramientas en cualquiera de los productos que venden.

Adobe luciérnaga

Créditos de imagen: Adobe

La solución de Adobe, por así decirlo, es entrenar modelos de Firefly exclusivamente en contenido de Adobe Stock, la biblioteca multimedia libre de derechos de autor de la empresa, junto con contenido de dominio público y con licencia abierta cuyos derechos de autor han expirado. En el futuro, los usuarios podrán entrenar y ajustar los modelos Firefly usando su propio contenido, dice Adobe, dirigiendo los resultados de los modelos hacia estilos y lenguajes de diseño específicos.

Adobe también dice que está explorando un modelo de compensación para los contribuyentes de Stock que les permitirá «monetizar sus talentos» y beneficiarse de cualquier ingreso que genere Firefly. Podría parecerse al recientemente lanzado Fondo de Colaboradores de Shutterstock, que reembolsa a los creadores cuyo trabajo se utiliza para entrenar modelos artísticos de IA.

Pero los creadores de contenido que elijan podrán optar por no recibir capacitación, dice Adobe, adjuntando una etiqueta de credenciales de «no capacitar» a su trabajo.

«Entendemos que hay dudas sobre el impacto que tendrá la IA generativa en la capacidad de los creadores para beneficiarse de sus habilidades, mantener el crédito y el control sobre su trabajo, así como preguntas sobre la viabilidad del contenido generado en entornos comerciales». Dijo Costín. “Estamos diseñando IA generativa para ayudar a los creadores a beneficiarse de sus habilidades y creatividad”.

Los artistas tienen sus razones, como las obras de arte generadas por IA en su estilo que creen que no les acredita adecuadamente. También temen ser asociados con un modelo que pueda usarse para generar contenido objetable, como imágenes ultraviolentas, representaciones sesgadas de género, etnia y sexualidad y deepfakes no consensuados.

Sobre el segundo punto, Costin dice que los modelos de Firefly se entrenaron utilizando conjuntos de datos de imágenes «cuidadosamente seleccionados» e «inclusivos» y que Adobe emplea una variedad de técnicas para detectar y bloquear contenido tóxico, incluida la moderación y los filtros automatizados y humanos. La historia ha demostrado que este tipo de medidas se pueden eludir, pero Costin sugiere que será un proceso de aprendizaje cuidadosamente guiado, aunque imperfecto.

Adobe luciérnaga

Créditos de imagen: Adobe

“Hemos hecho una gran inversión en modelos para ayudar a prevenir sesgos y daños en el contenido que genera Firefly. Esos modelos analizan tanto las indicaciones como el contenido para garantizar que Firefly genere una amplia variedad de imágenes que representen un equilibrio de culturas y etnias, además de garantizar que Firefly no genere imágenes dañinas.» Dijo Costín. “Actualizaremos Firefly periódicamente para mejorar su rendimiento y mitigar los daños y sesgos en su producción. También proporcionamos mecanismos de retroalimentación para que nuestros usuarios informen resultados potencialmente sesgados o brinden sugerencias sobre nuestros procesos de prueba y desarrollo”.

El mecanismo de exclusión antes mencionado, que surge después de las críticas de la comunidad creativa con respecto a las políticas de inteligencia artificial de Adobe, será orquestado a través de Content Authenticity Initiative (CAI) y Coalition for Content Provenance and Authenticity, dos asociaciones fundadas para promover los metadatos de procedencia estándar de la industria para los medios. . (Adobe es miembro de ambos.) Adobe dice que está presionando para que la industria adopte la etiqueta «no entrenar» para que siga el contenido dondequiera que se use, publique o almacene, asegurando que los modelos no estén entrenados en contenido fuera de los límites. independientemente de dónde termine el contenido.

El de Adobe es sólo uno de varios esfuerzos para brindar a los artistas más control sobre el papel de su arte en la capacitación del modelo generativo. En noviembre, DeviantArt lanzó una nueva protección que se basa en una etiqueta HTML para prohibir que los robots de software que rastrean páginas en busca de imágenes las descarguen para conjuntos de entrenamiento. Y la startup de IA Spawning, que tiene asociaciones con plataformas como ArtStation y Shutterstock, ofrece una herramienta que permite a los artistas eliminar sus imágenes de los conjuntos de datos utilizados para entrenar modelos de IA.

El tamaño del CAI (aproximadamente 900 miembros) hace que sea más probable que las propuestas de Adobe ganen algún tipo de tracción. Pero no hay garantía. Los artistas podrían encontrarse en una situación en la que se vean obligados a utilizar múltiples herramientas de exclusión voluntaria para evitar que se entrene en su obra de arte.

Desafíos de derechos de autor

Los clientes de Adobe tendrán que lidiar con un dolor de cabeza diferente: averiguar si realmente poseen los derechos de las obras de arte generadas por Firefly.

En Estados Unidos, las últimas directrices federales no son especialmente claras sobre el estado de los derechos de autor del arte de IA. Después de rechazar inicialmente los derechos de autor de las imágenes generadas por IA creadas por Midjourney, la Oficina de Derechos de Autor de EE. UU. dijo que la protección de los derechos de autor «dependerá de las circunstancias», en particular «de cómo funciona la herramienta de IA y cómo se utilizó para crear el trabajo final».

Costin admite que La ley sobre la propiedad del arte generado por IA está un poco en el aire en este momento. Pero Adobe cree, afirma, que usando es Las herramientas para agregar “aportes creativos” a una imagen generada deberían ser suficientes para permitir que un creador obtenga derechos de autor.

“Como siempre, los creadores tendrán que buscar ellos mismos los derechos de autor y hacer lo que sea necesario o requerido para obtener esa propiedad”, dijo Costin, cubriendo un poco sus apuestas.

Adobe luciérnaga

Créditos de imagen: Adobe

Salvo un revés importante en materia de derechos de autor o licencias, Adobe planea seguir adelante con Firefly, introduciendo eventualmente modelos que no sólo generan imágenes y texto, sino también ilustraciones, diseños gráficos, modelos 3D y más. Costin insistió en que se trata de un área importante de inversión para Adobe, cuya última gran apuesta (la adquisición de la startup Figma por 20.000 millones de dólares) está a punto de ser bloqueada por una demanda del Departamento de Justicia, según se informa.

Con la IA generativa, Adobe sigue jugando. Firefly no es más que ambicioso, aunque llega un poco tarde a la fiesta. Por supuesto, Adobe tiene el beneficio de una enorme base de clientes integrada; Creative Cloud tiene 600 millones de usuarios activos mensuales, mientras que Experience Cloud tiene 12.000 clientes, incluido el 87% de las empresas Fortune 100.

Son muchas licencias potenciales de Firefly para vender. Y si las proyecciones son correctas, sería una nueva línea de ingresos muy lucrativa desde una perspectiva por cliente. Acumen Research and Consulting estima que el mercado de la IA generativa tendrá un valor de más de 110 mil millones de dólares para 2030.

Pero sólo el tiempo dirá si Adobe es capaz de superar los muchos obstáculos (y competidores) que se interponen en su camino, entre ellos el mantenimiento de la costosa computación necesaria para continuar desarrollando y ejecutando nuevos modelos de Firefly. Dejando de lado los obstáculos legales y éticos, Adobe tiene que recuperar el tiempo perdido y la mentalidad compartida, lo que nunca es una tarea fácil en un campo hipercompetitivo.

Costin, todo optimismo, dice que la empresa está preparada para el desafío.

“Los modelos futuros de Firefly aprovecharán una variedad de activos, tecnología y datos de capacitación de Adobe y otros”, añadió. “Estamos diseñando IA generativa para ayudar a los creadores a beneficiarse de sus habilidades y creatividad. Al integrar Firefly directamente en los flujos de trabajo de nuestros clientes, podemos ayudar a los profesionales creativos a trabajar de manera más eficiente y dedicar su tiempo al trabajo de mayor valor que aman”.

Pcenter.es – #Con #Firefly #Adobe #entra #juego #generativa

Síguenos en YouTube: @PCenterES

También le puede interesar

Deja un comentario

Por favor, permite que se muestren anuncios en nuestro sitio web

Parece que estás usando un bloqueador de anuncios. Dependemos de la publicidad para financiar nuestro sitio web.