En febrero, el fundador de Sogou, Wang Xiaochuan, dijo en Weibo que «China necesita su propia OpenAI». El empresario chino ahora se está acercando cada vez más a su sueño cuando su naciente startup Baichuan Intelligence lanzó hoy su modelo de lenguaje grande de próxima generación Baichuan-13B.
Baichuan está siendo promocionado como uno de los desarrolladores de LLM más prometedores de China, gracias al pasado histórico de su fundador como un prodigio de las ciencias informáticas de la Universidad de Tsinghua y a la fundación del proveedor de motores de búsqueda Sogou, que luego fue adquirido por Tencent.
Wang dejó Sogou a finales de 2021. Cuando ChatGPT arrasó en el mundo, el empresario lanzó Baichuan en abril y rápidamente se embolsó 50 millones de dólares en financiación de un grupo de inversores ángeles.
Al igual que otros LLM locales de China, Baichuan, un modelo de 13 mil millones de parámetros basado en la arquitectura Transformer (que también sustenta a GPT), está entrenado en datos chinos e ingleses. (Los parámetros se refieren a variables que el modelo utiliza para generar y analizar texto). El modelo es de código abierto y está optimizado para aplicaciones comerciales, según su página de GitHub.
Baichuan-13 está entrenado con 1,4 billones de tokens. En comparación, Meta Llama utiliza 1 billón de tokens en su modelo de 13 mil millones de parámetros. Wang dijo anteriormente en un entrevista que su startup estaba en camino de lanzar un modelo a gran escala comparable al GPT-3.5 de OpenAI para finales de este año.
Habiendo comenzado hace sólo tres meses, Baichuan ya ha alcanzado una velocidad de desarrollo notable. A finales de abril, el equipo había aumentado a 50 personas y, en junio, lanzó su primer LLM, el modelo de preentrenamiento Baichuan-7B que cuenta con 7 mil millones de parámetros.
Ahora, el modelo fundamental Baichuan-13B está disponible de forma gratuita para académicos y desarrolladores que hayan recibido la aprobación oficial para utilizarlo con fines comerciales. Es importante destacar que, en la era de las sanciones estadounidenses contra China sobre chips de IA, el modelo ofrece variaciones que pueden ejecutarse en hardware de consumo, incluidas las tarjetas gráficas 3090 de Nvidia.
Otras empresas chinas que han invertido mucho en grandes modelos lingüísticos incluyen al gigante de los motores de búsqueda Baidu; Zhipu.ai, una filial de la Universidad de Tsinghua dirigida por el profesor Tang Jie; así como el instituto de investigación IDEA dirigido por Harry Shum, cofundador de Microsoft Research Asia.
Los grandes modelos lingüísticos de China están surgiendo rápidamente a medida que el país se prepara para implementar algunas de las regulaciones de IA más estrictas del mundo. Como informó el Financial Times, se espera que China elabore regulaciones para la IA generativa con un enfoque particular en el contenido, lo que indica un control más reforzado que las reglas introducidas en abril. Es posible que las empresas también necesiten obtener una licencia antes de lanzar grandes modelos lingüísticos, lo que podría frenar los esfuerzos de China por competir con Estados Unidos en la naciente industria.
Pcenter.es – #pionero #del #motor #búsqueda #China #presenta #modelo #lenguaje #grande #código #abierto #para #rivalizar #con #OpenAI
Síguenos en YouTube: @PCenterES