Alibaba progresse dans le développement de ses propres modèles de langage (LLM) alors que les entreprises chinoises de la tech continuent d’investir dans l’intelligence artificielle (IA) pour rivaliser avec ChatGPT d’OpenAI. Les chercheurs de DAMO Academy ont présenté un nouveau modèle de langage audiovisuel appelé Video-LLaMA, qui permet au système de comprendre le contenu visuel et auditif des vidéos. Les codes ont été publiés sur GitHub. Les LLM, qui sont entraînés par l’apprentissage automatique, sont la base des chatbots alimentés par l’IA comme ChatGPT. Les nouveaux modèles de DAMO Academy peuvent relever deux défis dans la compréhension des vidéos : capturer les changements temporels dans les scènes visuelles et intégrer les signaux audiovisuels.
Les chercheurs ont démontré que le modèle pouvait décrire en texte le son de fond des applaudissements et le contenu visuel d’une vidéo d’un homme jouant du saxophone sur scène. Les modèles précédents se concentraient principalement sur la compréhension d’images statiques. Cependant, le modèle de DAMO Academy est encore un prototype à un stade précoce avec quelques limitations, notamment sa capacité limitée à gérer les longues vidéos telles que les films et les émissions de télévision.
Alibaba poursuit ses efforts pour doubler ses investissements dans le développement et l’application des LLM. En avril, sa filiale cloud a présenté sa propre alternative à ChatGPT, Tongyi Qianwen, basée sur les LLM de DAMO. DAMO a présenté son premier LLM, AliceMind, en septembre dernier. Alibaba travaille également avec des partenaires pour développer des modèles d’IA spécifiques à l’industrie et prévoit de lancer des produits cloud et des solutions d’entreprise basés sur son modèle d’IA, ainsi que d’intégrer des capacités d’IA dans divers produits, y compris son outil de collaboration en milieu de travail, DingTalk.
