Une start-up chinoise fondée par l’informaticien Kai-fu Lee est devenue une licorne en moins de huit mois grâce à un nouveau modèle d’intelligence artificielle open source qui surpasse les meilleurs de la Silicon Valley, au moins sur certains paramètres.
La société, 01.AI, a atteint une valorisation de plus d’un milliard de dollars après un cycle de financement incluant l’unité cloud d’Alibaba Group Holding, a déclaré Lee dans une interview. (Alibaba possède le South China Morning Post).
Le PDG de la société de capital-risque Sinovation Ventures sera également PDG de la nouvelle start-up. Il a commencé à constituer l’équipe de 01.AI en mars et a démarré les opérations en juin.
Alibaba et Tencent sont à la tête d’un investissement total de 342 millions de dollars cette année dans Zhipu AI
Alibaba et Tencent sont à la tête d’un investissement total de 342 millions de dollars cette année dans Zhipu AI
Le grand modèle linguistique fondamental et open source de la start-up de Pékin, Yi-34B, est désormais disponible pour les développeurs du monde entier en chinois et en anglais. Les grands modèles de langage, ou LLM, sont des algorithmes informatiques entraînés sur de grandes quantités de données pour lire, comprendre et produire du texte, des images et du code de type humain.
Sur des indicateurs clés, Yi-34B surpasse les principaux modèles open source déjà sur le marché, y compris le très apprécié Llama 2 de Meta Platform. Hugging Face, qui gère des classements pour les LLM les plus performants dans diverses catégories, a publié des évaluations au cours du week-end classant les meilleurs LLM. Modèle chinois d’abord pour ce que l’on appelle les LLM de base pré-entraînés.
« Llama 2 a été la référence et une grande contribution à la communauté open source », a déclaré Lee, 61 ans, dans une interview sur Zoom. « Nous voulons offrir une alternative supérieure, non seulement à la Chine mais aussi au marché mondial. »
OpenAI, basé à San Francisco, a déclenché une frénésie d’intérêt pour l’IA après avoir dévoilé son chatbot ChatGPT l’année dernière. Alphabet, Microsoft et Meta ont investi des milliards dans la recherche et le développement, cherchant à prendre la tête du domaine émergent de l’IA générative et au-delà. Elon Musk vient de dévoiler un chatbot appelé Grok.
En Chine, les géants de la technologie et les entrepreneurs se sont également lancés dans le domaine, le leader de la recherche Baidu présentant une version de son Ernie LLM qui, selon lui, était à égalité avec la technologie d’OpenAI. Alibaba a soutenu au moins trois entreprises dans le domaine, dont 01.AI. Les sociétés d’IA des deux pays ne se font généralement pas concurrence car les technologies américaines ne sont pas disponibles en Chine.
Sequoia visé par une enquête américaine sur les investissements technologiques en Chine
Sequoia visé par une enquête américaine sur les investissements technologiques en Chine
Pourtant, les tensions politiques croissantes entre les États-Unis et la Chine ont compliqué le développement de l’IA. L’administration du président américain Joe Biden a interdit l’année dernière la vente des semi-conducteurs d’IA les plus avancés de Nvidia aux clients chinois, invoquant des préoccupations en matière de sécurité nationale selon lesquelles cette technologie pourrait être utilisée pour former des modèles d’IA pour des applications militaires. Le mois dernier, les États-Unis ont encore renforcé ces contraintes, interdisant à Nvidia de vendre des puces légèrement moins avancées qu’elle avait conçues spécifiquement pour la Chine.
Lee a qualifié la situation de « regrettable », mais a déclaré que 01.AI avait stocké les puces dont elle avait besoin dans un avenir prévisible. La start-up a commencé à rassembler les semi-conducteurs plus tôt cette année, allant jusqu’à emprunter de l’argent à Sinovation Ventures pour les achats.
« En gros, nous avons parié sur la ferme et avons dépensé trop d’argent sur notre compte bancaire initial », a-t-il déclaré. « Nous avons senti que nous devions le faire. »
Lee, qui a travaillé chez Google, Microsoft et Apple avant de se lancer dans le capital-risque, a constitué une équipe de plus de 100 personnes chez 01.AI, rassemblant d’anciens collègues d’entreprises américaines et des ressortissants chinois qui ont travaillé à l’étranger. Le groupe comprend non seulement des spécialistes de l’IA, a-t-il déclaré, mais aussi des hommes d’affaires expérimentés qui peuvent apporter leur aide dans tous les domaines, des fusions et acquisitions jusqu’à l’introduction en bourse.
L’accord sur l’IA montre que la Chine et les États-Unis peuvent coopérer sur les règles technologiques malgré leur rivalité (analystes)
L’accord sur l’IA montre que la Chine et les États-Unis peuvent coopérer sur les règles technologiques malgré leur rivalité (analystes)
01.AI élabore déjà sa stratégie commerciale au-delà du modèle open source qui vient d’être introduit. La start-up travaillera avec ses clients sur des alternatives propriétaires, adaptées à un secteur particulier ou à une situation concurrentielle. Par exemple, Yi-34B doit son nom aux 34 milliards de paramètres utilisés en formation, mais la start-up travaille déjà sur un modèle de plus de 100 milliards de paramètres.
« Notre modèle propriétaire sera comparé à GPT-4 », a déclaré Lee, faisant référence au LLM d’OpenAI.
Proposer un système en anglais et en chinois constituera un avantage pour les entreprises mondiales telles que les banques, les assureurs et les sociétés commerciales, a-t-il déclaré. La start-up prévoit d’ajouter d’autres langues à l’avenir.
Les travaux de Lee sur l’IA remontent à plusieurs décennies. Dans sa candidature en 1982 aux études supérieures de l’Université Carnegie Mellon, il a écrit qu’il voulait consacrer sa vie à la recherche sur l’IA parce que la technologie aiderait les humains à mieux se comprendre. Il a ensuite écrit deux livres à succès, AI Superpowers : China, Silicon Valley and the New World Order et AI 2041 : Ten Visions for Our Future.
« C’est la plus grande avancée pour l’humanité », a déclaré Lee. « C’est aussi la dernière étape pour nous comprendre. »
Il a déclaré qu’il se demandait souvent si les promesses de la technologie se réaliseraient de son vivant – jusqu’à ce qu’il découvre la puissance de la dernière génération de LLM. Il a décidé de s’éloigner de son rôle habituel de capital-risqueur et de devenir PDG d’une start-up en raison de la promesse de la technologie et de la possibilité de relier les points de ses rôles d’informaticien, d’auteur et de dirigeant.
01.AI a choisi de créer un modèle open source car la grande majorité des développeurs d’IA ne peuvent pas se permettre ou n’ont pas besoin des modèles les plus grands et les plus chers. Les systèmes d’IA open source sont comme des logiciels open source, dont le code source peut être modifié et amélioré.
La taille du système d’IA qui vient d’être lancé, soit 34 milliards de paramètres, a été soigneusement choisie afin qu’il puisse fonctionner sur des ordinateurs dont le coût n’est pas prohibitif. La société lance également un modèle 6B pour attirer un plus grand nombre de développeurs. « C’est une décision hautement calculée », a déclaré Lee. « Le monde n’a pas besoin d’un autre modèle arbitraire, le monde a besoin de nous. »
Lee a déclaré qu’il avait reçu quelques questions de la part des commanditaires de sa société de capital-risque sur la manière dont il allait équilibrer ses doubles rôles de PDG. Il souligne que s’il passe 40 heures par semaine sur Sinovation, il lui reste 128 heures supplémentaires par semaine. « J’ai 86 heures supplémentaires pour travailler sur 01.AI sans négliger mes tâches Sinovation », a-t-il déclaré, suggérant qu’il pourrait consacrer six heures par jour au sommeil et à tout le reste de sa vie.
