Source : Shen Ran, Auteurs : Jin Yufan, He Shulong, Éditeur : He Shulong
Source de l'image : générée par l'outil d'IA illimitée
Six mois après le lancement de ChatGPT, une chasse aux modèles à grande échelle a continué d'être organisée des deux côtés de l'océan Pacifique.
L'alliance formée par OpenAI, Microsoft et Nvidia se déchaîne sur la côte est de l'océan Pacifique. Depuis mars de cette année, les entreprises technologiques chinoises ont suivi de toute urgence. Baidu, Ali, SenseTime et iFLYTEK ont lancé successivement des produits "de type ChatGPT", Tencent, Huawei et JD. Les temps sont également des opportunités "dix fois plus grandes".
Au moment de la "guerre des cent modèles", Xiaomi, en tant que grande entreprise de technologie domestique, semble être extraordinairement calme.
Lei Jun, le chef de Xiaomi, a déclaré que Xiaomi développait des technologies et des produits et les présenterait à tout le monde une fois qu'ils seraient polis. Lu Weibing, président du groupe Xiaomi, a déclaré que Xiaomi dispose actuellement d'une équipe d'IA de plus de 1 200 personnes et adoptera activement des modèles à grande échelle et les intégrera à la profondeur de l'entreprise, mais ne créera pas de modèles à grande échelle à usage général comme OpenAI. .
Ces informations ont approfondi les doutes du monde extérieur : Xiaomi rejoindra-t-elle la « guerre des cent modèles » ?
Le Dr Wang Bin, directeur du laboratoire d'intelligence artificielle du groupe Xiaomi, a déclaré à Shenran que ** Xiaomi développera un grand modèle à usage général par lui-même, mais ne publiera pas seul un produit de type ChatGPT, "ni ne publiera un PPT, ni ne démontrera quelques exemples, Disons que nous avons un grand modèle"**, mais le grand modèle auto-développé finira par être mis en évidence par le produit.
C'est la première fois que l'itinéraire et les progrès du grand modèle sont divulgués au monde extérieur après que Xiaomi a officiellement annoncé la grande équipe de modèles. Le 14 avril de cette année, Xiaomi a annoncé que la grande équipe de mannequins serait dirigée par Luan Jian et ferait rapport à Wang Bin. Wang Bin est engagé dans la recherche et le développement liés au NLP (Natural Language Processing) à l'Académie chinoise des sciences depuis plus de 20. Il a rejoint Xiaomi en 2018 et est responsable du laboratoire d'IA depuis 2019. AI Lab est le département central de la stratégie d'IA de Xiaomi.
Xiaomi, qui a créé un modèle de dialogue à grande échelle, est un rationaliste rare dans le modèle de langage à grande échelle pré-formé à usage général. Wang Bin a révélé qu'il y a actuellement plus de 30 équipes de modèles à grande échelle à plein temps, et qu'elles ne se développeront pas rapidement dans l'immédiat ; l'objectif de cette équipe est toujours un modèle de langage à grande échelle, et les paramètres du modèle de base cible de la première étape sont des dizaines de milliards ** , puis en fonction des résultats d'escalade précédents, la prochaine étape sera décidée.
"Il y a encore un long chemin à parcourir entre le développement de modèles à grande échelle et l'atterrissage. Qu'ils puissent trouver des scènes importantes appropriées est un point douloureux pour de nombreuses entreprises de modèles à grande échelle. " Selon Wang Bin, l'avantage de Xiaomi est que il a suffisamment de grands modèles prêts à l'emploi.Scénarios d'atterrissage, y compris Xiao Ai, loT, conduite autonome, robots, etc., des scénarios d'application riches peuvent également alimenter la capacité des grands modèles.
Xiaomi ne manque pas de scénarios, mais pour former un grand modèle, l'accumulation de données, de puissance de calcul et de talents est indispensable. Wang Bin a déclaré que Xiaomi dispose d'une certaine réserve de talents et que les défis en termes de puissance de calcul et de volume de données sont relativement importants. D'une part, la puissance de calcul doit surmonter les défis au niveau du système et le coût de la formation doit être contrôlable ; d'autre part, il faut beaucoup de temps et d'argent pour obtenir et nettoyer des données de haute qualité.
Dans la nouvelle vague de grands modèles d'IA, pourquoi l'équipe Xiaomi AI ne publie-t-elle pas des "produits de type ChatGPT" ? Comment Xiaomi juge-t-il le parcours technique et la difficulté technique du grand modèle ? Il y a quelques jours, He Shulong, rédacteur en chef de Shenran, a eu un dialogue avec Wang Bin, directeur du laboratoire d'IA du comité technique de Xiaomi. Voici le contenu principal :
Xiaomi grand modèle : 30 personnes dans l'équipe, pas de "ChatGPT-like"
** Shen Ran : Le 14 avril, Xiaomi a nommé Luan Jian à la tête de la grande équipe de modèles pour vous faire rapport. Pouvez-vous nous dire comment est née l'équipe des grands modèles Xiaomi ? **
**Wang Bin :**La grande équipe de modèles a été annoncée en avril, mais elle avait déjà commencé à fonctionner avant cela.
Le 30 novembre de l'année dernière, après la sortie d'OpenAI de ChatGPT, un groupe d'entre nous a rapidement créé un compte et commencé à jouer dessus. ChatGPT est en effet subversif. Nous travaillons sur l'IA depuis tant d'années, et nombre de ses capacités ont dépassé les attentes de nos développeurs.
Bientôt, nous avons organisé un certain nombre de groupes internes de communication sur les modèles à grande échelle pour discuter de la technologie des modèles à grande échelle et de son impact perturbateur sur la traduction automatique, le dialogue homme-machine, la réponse intelligente aux questions et le service client. **Beaucoup de personnes qui ont participé aux premiers ateliers sont ensuite devenues des membres clés de l'équipe de maquette à temps plein. **
**Shen Ran : L'équipe de modèles à grande échelle de Xiaomi arrivera-t-elle un peu en retard ? **
Wang Bin : Pour les grands modèles, nous appartenons à l'école rationnelle.
Avant la naissance de ChatGPT, Xiaomi avait fait de la recherche et du développement internes et de l'application de grands modèles, principalement sous la forme de pré-formation + supervision de tâches en aval et de mise au point pour le dialogue homme-machine, et les paramètres du modèle étaient dans le des milliards. Bien sûr, ce type de modèle n'est pas un modèle à grande échelle à usage général comme on l'appelle maintenant.
Nous sommes très clairs sur le fait que le développement et l'application du grand modèle général est un travail de longue haleine, pas une question de temps. Nous marchions selon notre propre horaire et nos propres étapes. À ce moment-là, nous avons senti que le temps était écoulé, alors nous avons fait une libération d'équipe.
**Shen Ran : Combien y a-t-il de personnes dans la grande équipe de mannequins ? Est-il prévu de continuer à se développer ? **
Wang Bin : L'équipe principale compte actuellement plus de 30 personnes. Nous nous préparons actuellement en fonction des aspects des talents, des données, des modèles, de la puissance de calcul, de l'évaluation et des produits, puis nous nous adaptons ou nous développons progressivement après une certaine étape.
Nous n'augmenterons pas immédiatement le nombre de personnes, comme le recrutement de 100 personnes à la fois. Parce qu'au stade de l'escalade de la capacité d'accumulation, recruter autant de personnes ne sait peut-être pas comment s'organiser, mais c'est un gaspillage.
Avec la divulgation continue d'informations sur les grands modèles et l'afflux continu de capitaux et de talents, le domaine des grands modèles s'est développé très rapidement et les points de vue de chacun ont considérablement changé. Lorsque ChatGPT est sorti pour la première fois il n'y a pas longtemps, tout le monde pensait qu'il était fondamentalement impossible de réaliser un modèle similaire à grande échelle, mais lentement, beaucoup de gens ont estimé que la possibilité était très élevée, et certaines personnes pensaient que de nombreux produits pourraient être satisfaits sans un tel un modèle à grande échelle. L'intensité d'investissement de chacun est également très différente. Certaines personnes peuvent penser que l'équipe a besoin d'au moins quelques centaines de personnes, et certaines personnes pensent que ce n'est pas nécessaire.
**Shenran : Existe-t-il des plans progressifs pour l'avenir, quand sera-t-il testé en interne et publié en externe ? **
Wang Bin : Contrairement à d'autres entreprises, Xiaomi est né avec les attributs des produits. Je crois que lorsque le grand modèle de Xiaomi sort, il est mis en valeur par le produit.
Nous pouvons tester en interne avant Q3. Cependant, ce n'est pas un nœud inévitable.
**Shen Ran : En d'autres termes, Xiaomi ne publiera pas un produit de type ChatGPT ? **
Wang Bin : Oui, nous ne publierons pas de PPT, ni ne démontrerons que nous avons un grand modèle. Les scénarios d'application riches sont notre plus grand avantage. **Le grand modèle Xiaomi sera plus étroitement intégré à la scène, et le plan de sortie correspondant doit être fait autour du rythme du produit. **
**Shenran : En plus de la main d'œuvre, quel est le coût de la puissance de calcul pour que Xiaomi réalise un grand modèle ? **
Wang Bin : Nous sommes un investissement à moyenne échelle, et nous déciderons de la prochaine étape d'investissement en fonction des résultats de la montée précédente.
Notre jugement de base est que le modèle adapté aux produits et aux entreprises de Xiaomi peut avoir des paramètres dans les dizaines de milliards**, qui seront inférieurs à l'échelle de 100 milliards, et l'investissement dans les machines de formation est d'environ des dizaines de millions de RMB.
**Shen Ran : Comment était le modèle avec des milliards de paramètres fait par Xiaomi avant ? **
**Wang Bin : **ChatGPT publié l'année dernière est une sorte de modèle à grande échelle, appelé un grand modèle de langage pré-formé à usage général. Mais le grand modèle lui-même est apparu très tôt, et chacun a des parcours et des méthodes différents.
Nous avons commencé à suivre le grand modèle plus tôt. À ce moment-là, nous avons créé un modèle spécifique au dialogue avec environ 2,8 à 3 milliards de paramètres. Il est réalisé en affinant les données de dialogue sur la base du modèle de base pré-entraîné.Ce n'est pas le grand modèle généraliste actuel, mais il est dédié au dialogue homme-machine.Sex, let it go on. Plus tard, ce modèle a été lancé à Xiaoai et un test en ligne à petite échelle a été effectué.
Par conséquent, AIGC a déjà été utilisé dans Xiao Ai, mais au niveau du produit, nous n'utilisons pas entièrement ce grand modèle, mais utilisons la complémentarité du modèle traditionnel et du grand modèle de dialogue pour utiliser les deux ensemble.
Le grand modèle à usage général de Xiaomi sera probablement ce modèle hybride lorsqu'il sera lancé dans le produit. Les problèmes que le modèle traditionnel gère très bien sont remis au modèle traditionnel. Le grand modèle résout les problèmes pour lesquels il est doué, comme certains petits événements de probabilité ou les dialogues à longue traîne.
Le niveau de dialogue du grand modèle à usage général qui est maintenant sorti est nettement supérieur à celui du grand modèle spécifique au dialogue précédent, de sorte que cette partie de l'équipe est également passée au grand modèle à usage général. Cette équipe a parcouru tout le processus de formation du grand modèle de dialogue, a escaladé certaines fosses et, avec l'accumulation de données, elle présente certains avantages.
Millet grand modèle : la scène est dominante, et les données posent problème
**Shenran : Au cours de cette période, les progrès technologiques ont été très rapides et des modèles nationaux à grande échelle sont lancés de manière intensive. Serez-vous inquiet à cause de la lenteur des progrès ? **
Wang Bin : J'étais assez anxieux pendant un certain temps, parce que j'étais un peu paniqué si je ne finissais pas par le faire tout le temps, et vous penseriez : "Comment les autres peuvent-ils progresser aussi rapidement et faire tout d'un coup?” Maintenant, nous descendons pour le faire Plus de soucis.
** On dit que la Chine est maintenant une "guerre des cent modèles", et plus de 80 grands modèles ont été publiés **, dont certains fournissent des tests internes, et certains ne sont publiés que par PPT. L'effet de certains modèles est toujours bon. À en juger par le niveau de sortie, le niveau de nos grands modèles auto-développés existants ne semble pas être pire que de nombreux modèles. Mais nous ne sommes pas pressés de faire une sortie externe. Premièrement, pour une entreprise comme Xiaomi, cela n'a pas beaucoup de sens. Deuxièmement, nous espérons toujours améliorer le modèle auto-développé autour du produit, puis le publier ensemble.
**Shenran : Pensez-vous que les grands modèles d'entreprises nationales ont une chance de rattraper OpenAI ? Quelle est la taille de l'écart? Ils aiment utiliser trois mois, six mois pour décrire. **
Wang Bin : À l'heure actuelle, OpenAI doit être très avancé. Il a investi très tôt et a une très forte accumulation de talents, de données, de puissance de calcul, d'ingénierie et de produits. D'après la situation nationale, j'ai l'impression qu'il y a encore un certain écart entre OpenAI et OpenAI. Certains disent que c'est trois mois ou six mois, tandis que d'autres disent que c'est un an ou deux ans. En termes de temps, c'est difficile à dire.
Parce que comment évaluer un grand modèle est un problème très difficile en soi. Il existe maintenant des classements de différents grands modèles, mais aucun d'entre eux n'a été unanimement reconnu par tout le monde. ** Il n'y a pas de véritable norme d'évaluation, donc parler de rattrapage dans trois mois ou six mois n'est qu'une gifle. **
Quant à savoir s'il est possible pour la Chine de rattraper OpenAI, j'étais pessimiste au début et pensais que c'était presque impossible, mais avec l'afflux de diverses solutions open source, diverses équipes et capitaux, mon jugement est plus optimiste. Je pense que la Chine a la possibilité de réduire la distance avec OpenAI, de l'approcher ou même de la dépasser dans de nombreux scénarios.
**Les grands modèles ne semblent pas avoir un seuil aussi élevé pour les puces.Par l'accumulation et l'optimisation continue des talents, des données, de la puissance de calcul, etc., il est possible de réduire en permanence l'écart. **
**Shenran : Quels types d'entreprises nationales ont le plus d'avantages dans les modèles à grande échelle ? Où est l'opportunité pour Xiaomi ? **
Wang Bin : Qu'il s'agisse de grandes entreprises ou de petites et moyennes entreprises en démarrage, chacune a son propre espace de vie. Le grand modèle est une écologie, et pas un seul grand ne peut tout prendre. Toutes les entreprises de l'écologie, y compris la puissance de calcul, les données, les applications et les entreprises qui fabriquent vraiment de grands modèles, ont leurs propres opportunités.
Les modèles à grande échelle comme Xiaomi ont l'avantage des scénarios d'application. Nous pensons que la combinaison de grands modèles et de scènes sera une énorme opportunité.
Parce que si vous venez de sortir un grand modèle et que personne ne l'utilise, il se peut qu'il ne puisse pas se développer rapidement grâce au roulement. Et nous pouvons immédiatement atterrir sur la scène, et grâce à une itération continue, nous pouvons faire jouer pleinement la puissance du grand modèle dans ces scènes.
Bien que nous n'intégrions actuellement qu'une équipe principale de plus de 30 personnes, il y a en réalité beaucoup de monde en périphérie. Dans tout le laboratoire d'IA, il y a plus de 100 personnes qui ont une formation en PNL et font des applications spécifiques, y compris le graphe de connaissances, la traduction automatique, le dialogue homme-machine, le service client intelligent et la réponse intelligente aux questions. Ce sont tous des gens qui ont la pensée de base des grands modèles et des technologies connexes, et qui promeuvent l'exploration des grands modèles du point de vue de leurs applications respectives.
Wang Bin
** Shen Ran : Quelle est la valeur de l'accumulation de Xiaomi dans la recherche en PNL pour les grands modèles ? **
Wang Bin : Il existe deux opinions dans l'industrie. Une façon de dire est que ceux d'entre nous n'ont peut-être pas d'emploi, et l'IA nous a tués, en particulier ceux qui pratiquent la PNL peuvent n'avoir aucun emploi. Il y a aussi un dicton qui dit qu'après tout, le grand modèle est fabriqué à partir de la PNL, et ceux qui pratiquent la PNL ont des avantages inhérents.
Ces deux déclarations ont une part de vérité, mais après tout, cela implique mon travail, je suis plus enclin à cette dernière affirmation.
Les grands modèles ont été explorés à l'origine dans divers domaines, notamment la vision, la parole et la PNL. Mais pourquoi c'est la première percée dans le domaine de la PNL, je crois qu'il y a des raisons essentielles à cela. Je comprends au moins deux points : le premier est la richesse et la facilité d'accès aux données linguistiques, et le second est qu'il existe une connaissance très riche reflétant le processus de pensée humaine cachée derrière les données linguistiques.
Je crois donc que les personnes qui se sont accumulées dans le domaine de la PNL pendant de nombreuses années ont certains avantages innés dans la compréhension et la transformation de grands modèles. De nombreux membres de l'équipe de modèles à grande échelle de Xiaomi travaillaient à l'origine dans le sens de la PNL. Plusieurs start-up qui sont très douées pour fabriquer des modèles à grande échelle en Chine sont également sorties du domaine de la PNL.
**Shen Ran : Quelles sont les difficultés actuelles de Xiaomi pour venir à bout du grand modèle ? Comment le surmonter ? **
**Wang Bin :**Tout d'abord, je veux encore dire que le grand modèle lui-même a de très grands défis.
Un énorme défi est l'incertitude de la technologie. Nous avons vu certains rapports, et même l'équipe OpenAI elle-même n'est pas très claire sur les véritables principes derrière le grand modèle, et si elle recommence, elle ne sait pas si les mêmes résultats "émergents" se produiront. Je pense qu'OpenAI dit vrai sur ce point, en raison de la grande incertitude technologique, l'investissement ne peut garantir qu'un grand modèle répondant aux attentes puisse être formé.
L'accumulation de données de haute qualité est également un défi. On pense généralement que les grands modèles nécessitent des données de formation extrêmement volumineuses et de haute qualité. La qualité des données accessibles au public sur Internet est relativement médiocre en général, de sorte que l'acquisition et le nettoyage des données ** sont des défis relativement importants. **
Un autre défi est bien sûr la puissance de calcul. Tout d'abord, cela ne signifie pas qu'il y a autant de cartes qui peuvent être entraînées. La façon de faire bon usage de ces cartes est en soi un défi au niveau du système. Deuxièmement, parce que des erreurs peuvent être commises pendant le processus de formation, l'argent peut être brûlé, et rien ne peut être brûlé, donc cela dépend si vous avez la capacité de former un grand modèle à un coût contrôlable.
Concrètement, les enjeux actuels des ** données et de la puissance de calcul sont encore relativement importants, en particulier des données de haute qualité à grande échelle **. Après la période d'escalade précédente, nous sommes maintenant fondamentalement sûrs que tant que les données sont en place et en utilisant la puissance de calcul existante, nous pouvons probablement savoir combien de jours il faudra pour former un bon modèle de base.
**Shenran : Le coût de la formation des grands modèles a-t-il été réduit ? **
Wang Bin : D'une part, le coût des essais et des erreurs est plus faible qu'auparavant. Parce que la formation de grands modèles peut prendre des détours et échouer, mais avec la divulgation de diverses informations, il est possible de trouver rapidement la bonne direction de formation. D'autre part, de nombreuses entreprises de cloud computing, de puces et autres, ainsi que de nombreuses start-up, fournissent des services de formation et d'inférence de grands modèles à moindre coût. Avec la poursuite du développement de l'ensemble de l'écologie, je pense que le coût de la formation continuera à diminuer.
Comment le grand modèle affecte-t-il les activités de Xiaomi ?
**Shen Ran : Pouvez-vous présenter en détail le Xiaomi AI Lab dont vous êtes responsable ? **
Wang Bin : Après la naissance de "AlphaGo" en 2016, M. Lei a immédiatement promu la construction de l'équipe AI. Le AI Lab a été officiellement créé en 2016, et j'en suis le responsable depuis 2019.
Il s'avère que le AI Lab fait partie du Ministère de l'Intelligence Artificielle. Plus tard, le département d'intelligence artificielle a été fusionné avec le comité technique du groupe, et maintenant le laboratoire d'intelligence artificielle relève directement du comité technique.
La taille actuelle de l'équipe du AI Lab est d'environ 350 personnes, et il a six directions, à savoir l'apprentissage automatique, le traitement du langage naturel (NLP), la vision par ordinateur, l'acoustique, la parole et les graphes de connaissances.
Après la sortie du grand modèle, l'AI Lab a mis en place une équipe de grands modèles à plein temps. Nous nous concentrons maintenant sur le grand modèle de langage, mais nous prêtons également attention au grand modèle intermodal.
** Shen Ran : M. Lu (président du groupe Xiaomi Lu Weibing) a déclaré que l'équipe Xiaomi AI compte actuellement plus de 1 200 personnes. En plus du laboratoire d'IA, quels autres départements de Xiaomi sont fortement liés à l'IA ? **
Wang Bin : En plus du laboratoire d'IA, il y a aussi l'équipe de Xiao Ai, tous deux sous le comité technique.
En plus du comité technique, il existe de nombreux départements avec des équipes d'IA relativement importantes, notamment le département du pilote automatique du département automobile, le département de la caméra du téléphone mobile et le département des logiciels.En outre, la croissance des utilisateurs et les recommandations publicitaires dans le Les départements commerciaux Internet sont tous liés à l'IA.
En bref, certaines équipes liées à l'IA se trouvent dans le département commercial et d'autres dans le comité technique. Le nombre total est d'environ 1 200. Si vous considérez certaines petites équipes, je pense personnellement que ce nombre est encore plus important.
**Shen Ran : Quel est le rôle du Xiaomi AI Lab dans la stratégie d'IA de Xiaomi ? **
**Wang Bin :**AI Lab est le département de recherche et développement et de sortie de la technologie AI au niveau du groupe. En termes simples, nous exportons la technologie de l'IA à l'ensemble de l'entreprise.
Nous avons une fois comparé le laboratoire d'IA au "terrain expérimental" et au "dépôt de munitions" de la technologie de l'IA au niveau du groupe. En raison du développement rapide de l'IA, le laboratoire d'IA développera certaines technologies de pointe à moyen et long terme, fera des réserves autour de l'activité de Xiaomi et sortira des "munitions" lorsque le groupe en aura besoin.
En termes de technologie d'IA, nous devons avoir les réserves les plus complètes de l'entreprise, et nous sommes également très puissants dans l'industrie.
**Shen Ran : Quelles sont les réalisations de recherche importantes du Xiaomi AI Lab ? **
Wang Bin : Le concept de notre laboratoire d'IA met l'accent sur la combinaison de la technologie et des scénarios. Actuellement, les articles publiés ne sont pas considérés comme des OKR. Par conséquent, après mon arrivée à Xiaomi de l'Académie chinoise des sciences (Académie chinoise des sciences), je pense que la plus grande réussite n'est pas le progrès d'un seul point de technologie, mais l'intégration ingénieuse de la technologie et des produits.
Xiaomi est une entreprise To C. Notre production de capacités d'IA n'est pas exportée directement vers le monde extérieur pour le moment, mais via les produits de l'entreprise. Nous avons réalisé de nombreuses réalisations, notamment de nombreux algorithmes de traitement d'appareils photo et d'albums photo dans les téléphones mobiles Xiaomi, des algorithmes vocaux et NLP impliqués dans Xiao Ai, et des algorithmes d'IA dans les systèmes de recommandation, de recherche et de service client de Xiaomi Mall.
Permettez-moi de vous donner un exemple. Nous avons développé une fonction de traduction hors ligne sur notre téléphone mobile. Par exemple, après être allé à l'étranger, le réseau n'est pas très bon dans de nombreux cas. À ce moment, activez la fonction de traduction du téléphone mobile Xiaomi sans utiliser le cloud. Dans l'état hors ligne, en temps réel, la confidentialité et l'effet de traduction sont meilleurs. La mise en place et l'application de cette fonction n'est pas aisée, nous avons fait un gros travail d'optimisation sur les effets de translation et les performances.
** Chez Xiaomi, ce n'est pas notre propre technologie qui sera utilisée en premier. La technologie interne doit également concurrencer la technologie externe de manière équitable. Seul le gagnant peut survivre et être appliqué aux produits. **
**Shenran : Quelles entreprises de Xiaomi seront affectées par la technologie de modélisation à grande échelle représentée par ChatGPT ? **
**Wang Bin :**La capacité la plus forte du grand modèle, en termes simples, est qu'il comprend mieux les gens et qu'il peut évidemment optimiser le mode d'interaction homme-ordinateur. Le camarade de classe Xiao Ai de Xiaomi, le système d'exploitation de téléphone mobile MIUI, le cockpit de voiture, l'IoT et les robots sont tous des scénarios typiques où de grands modèles sont appliqués.
**Shen Ran : Pourriez-vous utiliser Xiao Ai comme exemple ? **
Wang Bin : Appliqué à Xiao Ai, il peut faire deux choses en même temps. L'une consiste à rendre possible l'impossible, ce qui équivaut à avoir de nouvelles fonctions. Par exemple, j'ai demandé à Xiao Ai de faire un plan de voyage ou de commander des repas, etc. La capacité technique d'origine n'a pas été atteinte, et si l'utilisateur le dit autrement, ce sera gâché. Mais Avec le support de grands modèles, il a une compréhension plus profonde de la parole humaine, de sorte que des tâches complexes peuvent être accomplies, et ce type d'application est faisable.
Une autre catégorie est l'amélioration de la fonction d'origine, qui équivaut à la cerise sur le gâteau. En raison de la nervosité et de la diversité des expressions humaines, dans le processus d'interaction homme-ordinateur de Xiaoai, le plus gros problème est de rencontrer de petits événements de probabilité. Nous l'appelons Corner Case, et adoptons généralement une stratégie conservatrice pour laisser Xiaoai dire : "Je peux". t réponse", "J'apprends encore"**. Ce type de réponse sous-jacente peut également poursuivre la conversation, mais l'expérience n'est pas bonne. Mais la technologie des grands modèles peut poursuivre le dialogue plus longtemps et améliorer considérablement la satisfaction de l'utilisateur.
**Shenran : Le grand modèle a-t-il un impact important sur la maison intelligente ? **
Wang Bin : Selon ma compréhension personnelle, le grand modèle peut au moins améliorer l'expérience utilisateur de la maison intelligente en termes de capacités interactives.
Bien qu'il existe de nombreux appareils qui prétendent être "intelligents", ils se comportent souvent comme des "déficients mentaux" et le taux d'utilisation n'est pas élevé. Par exemple, en allumant le climatiseur ou en ajustant la température du climatiseur, si la déclaration est différente de la commande standard, il peut ne pas être possible de contrôler l'appareil IoT.
Mais après l'arrivée du grand modèle, il a une compréhension plus profonde du langage humain. Dans de nombreux cas, il existe différentes expressions. Le grand modèle peut traduire l'expression de l'utilisateur en instructions que la machine peut comprendre. Cela incitera davantage de personnes à utiliser des appareils intelligents et permettra à l'ensemble de l'écosystème de se développer plus rapidement.
**Shenran : En plus de l'amélioration des affaires existantes, y a-t-il d'autres choses que Xiaomi ne pouvait pas faire avant, mais qu'il est possible de faire après avoir un grand modèle ? **
Wang Bin : Nous établirons une collaboration approfondie entre le grand modèle et ces entreprises. Bien sûr, en plus de cela, nous recherchons également plus de possibilités.
Notre équipe a écrit de nombreux articles pour promouvoir les grands modèles au sein de l'entreprise, y compris le concept et le développement technologique des grands modèles, et pour enseigner à chacun comment utiliser ChatGPT pour résoudre des problèmes commerciaux. M. Lei a demandé à chaque département d'apprendre des modèles à grande échelle et demande à chacun d'avoir une réflexion de base sur les modèles à grande échelle et de réfléchir à la manière de s'intégrer à l'entreprise.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Xiaomi grand modèle, ne vous engagez pas dans "ChatGPT"
Source : Shen Ran, Auteurs : Jin Yufan, He Shulong, Éditeur : He Shulong
Six mois après le lancement de ChatGPT, une chasse aux modèles à grande échelle a continué d'être organisée des deux côtés de l'océan Pacifique.
L'alliance formée par OpenAI, Microsoft et Nvidia se déchaîne sur la côte est de l'océan Pacifique. Depuis mars de cette année, les entreprises technologiques chinoises ont suivi de toute urgence. Baidu, Ali, SenseTime et iFLYTEK ont lancé successivement des produits "de type ChatGPT", Tencent, Huawei et JD. Les temps sont également des opportunités "dix fois plus grandes".
Au moment de la "guerre des cent modèles", Xiaomi, en tant que grande entreprise de technologie domestique, semble être extraordinairement calme.
Lei Jun, le chef de Xiaomi, a déclaré que Xiaomi développait des technologies et des produits et les présenterait à tout le monde une fois qu'ils seraient polis. Lu Weibing, président du groupe Xiaomi, a déclaré que Xiaomi dispose actuellement d'une équipe d'IA de plus de 1 200 personnes et adoptera activement des modèles à grande échelle et les intégrera à la profondeur de l'entreprise, mais ne créera pas de modèles à grande échelle à usage général comme OpenAI. .
Ces informations ont approfondi les doutes du monde extérieur : Xiaomi rejoindra-t-elle la « guerre des cent modèles » ?
Le Dr Wang Bin, directeur du laboratoire d'intelligence artificielle du groupe Xiaomi, a déclaré à Shenran que ** Xiaomi développera un grand modèle à usage général par lui-même, mais ne publiera pas seul un produit de type ChatGPT, "ni ne publiera un PPT, ni ne démontrera quelques exemples, Disons que nous avons un grand modèle"**, mais le grand modèle auto-développé finira par être mis en évidence par le produit.
C'est la première fois que l'itinéraire et les progrès du grand modèle sont divulgués au monde extérieur après que Xiaomi a officiellement annoncé la grande équipe de modèles. Le 14 avril de cette année, Xiaomi a annoncé que la grande équipe de mannequins serait dirigée par Luan Jian et ferait rapport à Wang Bin. Wang Bin est engagé dans la recherche et le développement liés au NLP (Natural Language Processing) à l'Académie chinoise des sciences depuis plus de 20. Il a rejoint Xiaomi en 2018 et est responsable du laboratoire d'IA depuis 2019. AI Lab est le département central de la stratégie d'IA de Xiaomi.
Xiaomi, qui a créé un modèle de dialogue à grande échelle, est un rationaliste rare dans le modèle de langage à grande échelle pré-formé à usage général. Wang Bin a révélé qu'il y a actuellement plus de 30 équipes de modèles à grande échelle à plein temps, et qu'elles ne se développeront pas rapidement dans l'immédiat ; l'objectif de cette équipe est toujours un modèle de langage à grande échelle, et les paramètres du modèle de base cible de la première étape sont des dizaines de milliards ** , puis en fonction des résultats d'escalade précédents, la prochaine étape sera décidée.
"Il y a encore un long chemin à parcourir entre le développement de modèles à grande échelle et l'atterrissage. Qu'ils puissent trouver des scènes importantes appropriées est un point douloureux pour de nombreuses entreprises de modèles à grande échelle. " Selon Wang Bin, l'avantage de Xiaomi est que il a suffisamment de grands modèles prêts à l'emploi.Scénarios d'atterrissage, y compris Xiao Ai, loT, conduite autonome, robots, etc., des scénarios d'application riches peuvent également alimenter la capacité des grands modèles.
Xiaomi ne manque pas de scénarios, mais pour former un grand modèle, l'accumulation de données, de puissance de calcul et de talents est indispensable. Wang Bin a déclaré que Xiaomi dispose d'une certaine réserve de talents et que les défis en termes de puissance de calcul et de volume de données sont relativement importants. D'une part, la puissance de calcul doit surmonter les défis au niveau du système et le coût de la formation doit être contrôlable ; d'autre part, il faut beaucoup de temps et d'argent pour obtenir et nettoyer des données de haute qualité.
Dans la nouvelle vague de grands modèles d'IA, pourquoi l'équipe Xiaomi AI ne publie-t-elle pas des "produits de type ChatGPT" ? Comment Xiaomi juge-t-il le parcours technique et la difficulté technique du grand modèle ? Il y a quelques jours, He Shulong, rédacteur en chef de Shenran, a eu un dialogue avec Wang Bin, directeur du laboratoire d'IA du comité technique de Xiaomi. Voici le contenu principal :
Xiaomi grand modèle : 30 personnes dans l'équipe, pas de "ChatGPT-like"
** Shen Ran : Le 14 avril, Xiaomi a nommé Luan Jian à la tête de la grande équipe de modèles pour vous faire rapport. Pouvez-vous nous dire comment est née l'équipe des grands modèles Xiaomi ? **
**Wang Bin :**La grande équipe de modèles a été annoncée en avril, mais elle avait déjà commencé à fonctionner avant cela.
Le 30 novembre de l'année dernière, après la sortie d'OpenAI de ChatGPT, un groupe d'entre nous a rapidement créé un compte et commencé à jouer dessus. ChatGPT est en effet subversif. Nous travaillons sur l'IA depuis tant d'années, et nombre de ses capacités ont dépassé les attentes de nos développeurs.
Bientôt, nous avons organisé un certain nombre de groupes internes de communication sur les modèles à grande échelle pour discuter de la technologie des modèles à grande échelle et de son impact perturbateur sur la traduction automatique, le dialogue homme-machine, la réponse intelligente aux questions et le service client. **Beaucoup de personnes qui ont participé aux premiers ateliers sont ensuite devenues des membres clés de l'équipe de maquette à temps plein. **
**Shen Ran : L'équipe de modèles à grande échelle de Xiaomi arrivera-t-elle un peu en retard ? **
Wang Bin : Pour les grands modèles, nous appartenons à l'école rationnelle.
Avant la naissance de ChatGPT, Xiaomi avait fait de la recherche et du développement internes et de l'application de grands modèles, principalement sous la forme de pré-formation + supervision de tâches en aval et de mise au point pour le dialogue homme-machine, et les paramètres du modèle étaient dans le des milliards. Bien sûr, ce type de modèle n'est pas un modèle à grande échelle à usage général comme on l'appelle maintenant.
Nous sommes très clairs sur le fait que le développement et l'application du grand modèle général est un travail de longue haleine, pas une question de temps. Nous marchions selon notre propre horaire et nos propres étapes. À ce moment-là, nous avons senti que le temps était écoulé, alors nous avons fait une libération d'équipe.
**Shen Ran : Combien y a-t-il de personnes dans la grande équipe de mannequins ? Est-il prévu de continuer à se développer ? **
Wang Bin : L'équipe principale compte actuellement plus de 30 personnes. Nous nous préparons actuellement en fonction des aspects des talents, des données, des modèles, de la puissance de calcul, de l'évaluation et des produits, puis nous nous adaptons ou nous développons progressivement après une certaine étape.
Nous n'augmenterons pas immédiatement le nombre de personnes, comme le recrutement de 100 personnes à la fois. Parce qu'au stade de l'escalade de la capacité d'accumulation, recruter autant de personnes ne sait peut-être pas comment s'organiser, mais c'est un gaspillage.
Avec la divulgation continue d'informations sur les grands modèles et l'afflux continu de capitaux et de talents, le domaine des grands modèles s'est développé très rapidement et les points de vue de chacun ont considérablement changé. Lorsque ChatGPT est sorti pour la première fois il n'y a pas longtemps, tout le monde pensait qu'il était fondamentalement impossible de réaliser un modèle similaire à grande échelle, mais lentement, beaucoup de gens ont estimé que la possibilité était très élevée, et certaines personnes pensaient que de nombreux produits pourraient être satisfaits sans un tel un modèle à grande échelle. L'intensité d'investissement de chacun est également très différente. Certaines personnes peuvent penser que l'équipe a besoin d'au moins quelques centaines de personnes, et certaines personnes pensent que ce n'est pas nécessaire.
**Shenran : Existe-t-il des plans progressifs pour l'avenir, quand sera-t-il testé en interne et publié en externe ? **
Wang Bin : Contrairement à d'autres entreprises, Xiaomi est né avec les attributs des produits. Je crois que lorsque le grand modèle de Xiaomi sort, il est mis en valeur par le produit.
Nous pouvons tester en interne avant Q3. Cependant, ce n'est pas un nœud inévitable.
**Shen Ran : En d'autres termes, Xiaomi ne publiera pas un produit de type ChatGPT ? **
Wang Bin : Oui, nous ne publierons pas de PPT, ni ne démontrerons que nous avons un grand modèle. Les scénarios d'application riches sont notre plus grand avantage. **Le grand modèle Xiaomi sera plus étroitement intégré à la scène, et le plan de sortie correspondant doit être fait autour du rythme du produit. **
**Shenran : En plus de la main d'œuvre, quel est le coût de la puissance de calcul pour que Xiaomi réalise un grand modèle ? **
Wang Bin : Nous sommes un investissement à moyenne échelle, et nous déciderons de la prochaine étape d'investissement en fonction des résultats de la montée précédente.
Notre jugement de base est que le modèle adapté aux produits et aux entreprises de Xiaomi peut avoir des paramètres dans les dizaines de milliards**, qui seront inférieurs à l'échelle de 100 milliards, et l'investissement dans les machines de formation est d'environ des dizaines de millions de RMB.
**Shen Ran : Comment était le modèle avec des milliards de paramètres fait par Xiaomi avant ? **
**Wang Bin : **ChatGPT publié l'année dernière est une sorte de modèle à grande échelle, appelé un grand modèle de langage pré-formé à usage général. Mais le grand modèle lui-même est apparu très tôt, et chacun a des parcours et des méthodes différents.
Nous avons commencé à suivre le grand modèle plus tôt. À ce moment-là, nous avons créé un modèle spécifique au dialogue avec environ 2,8 à 3 milliards de paramètres. Il est réalisé en affinant les données de dialogue sur la base du modèle de base pré-entraîné.Ce n'est pas le grand modèle généraliste actuel, mais il est dédié au dialogue homme-machine.Sex, let it go on. Plus tard, ce modèle a été lancé à Xiaoai et un test en ligne à petite échelle a été effectué.
Par conséquent, AIGC a déjà été utilisé dans Xiao Ai, mais au niveau du produit, nous n'utilisons pas entièrement ce grand modèle, mais utilisons la complémentarité du modèle traditionnel et du grand modèle de dialogue pour utiliser les deux ensemble.
Le grand modèle à usage général de Xiaomi sera probablement ce modèle hybride lorsqu'il sera lancé dans le produit. Les problèmes que le modèle traditionnel gère très bien sont remis au modèle traditionnel. Le grand modèle résout les problèmes pour lesquels il est doué, comme certains petits événements de probabilité ou les dialogues à longue traîne.
Le niveau de dialogue du grand modèle à usage général qui est maintenant sorti est nettement supérieur à celui du grand modèle spécifique au dialogue précédent, de sorte que cette partie de l'équipe est également passée au grand modèle à usage général. Cette équipe a parcouru tout le processus de formation du grand modèle de dialogue, a escaladé certaines fosses et, avec l'accumulation de données, elle présente certains avantages.
Millet grand modèle : la scène est dominante, et les données posent problème
**Shenran : Au cours de cette période, les progrès technologiques ont été très rapides et des modèles nationaux à grande échelle sont lancés de manière intensive. Serez-vous inquiet à cause de la lenteur des progrès ? **
Wang Bin : J'étais assez anxieux pendant un certain temps, parce que j'étais un peu paniqué si je ne finissais pas par le faire tout le temps, et vous penseriez : "Comment les autres peuvent-ils progresser aussi rapidement et faire tout d'un coup?” Maintenant, nous descendons pour le faire Plus de soucis.
** On dit que la Chine est maintenant une "guerre des cent modèles", et plus de 80 grands modèles ont été publiés **, dont certains fournissent des tests internes, et certains ne sont publiés que par PPT. L'effet de certains modèles est toujours bon. À en juger par le niveau de sortie, le niveau de nos grands modèles auto-développés existants ne semble pas être pire que de nombreux modèles. Mais nous ne sommes pas pressés de faire une sortie externe. Premièrement, pour une entreprise comme Xiaomi, cela n'a pas beaucoup de sens. Deuxièmement, nous espérons toujours améliorer le modèle auto-développé autour du produit, puis le publier ensemble.
**Shenran : Pensez-vous que les grands modèles d'entreprises nationales ont une chance de rattraper OpenAI ? Quelle est la taille de l'écart? Ils aiment utiliser trois mois, six mois pour décrire. **
Wang Bin : À l'heure actuelle, OpenAI doit être très avancé. Il a investi très tôt et a une très forte accumulation de talents, de données, de puissance de calcul, d'ingénierie et de produits. D'après la situation nationale, j'ai l'impression qu'il y a encore un certain écart entre OpenAI et OpenAI. Certains disent que c'est trois mois ou six mois, tandis que d'autres disent que c'est un an ou deux ans. En termes de temps, c'est difficile à dire.
Parce que comment évaluer un grand modèle est un problème très difficile en soi. Il existe maintenant des classements de différents grands modèles, mais aucun d'entre eux n'a été unanimement reconnu par tout le monde. ** Il n'y a pas de véritable norme d'évaluation, donc parler de rattrapage dans trois mois ou six mois n'est qu'une gifle. **
Quant à savoir s'il est possible pour la Chine de rattraper OpenAI, j'étais pessimiste au début et pensais que c'était presque impossible, mais avec l'afflux de diverses solutions open source, diverses équipes et capitaux, mon jugement est plus optimiste. Je pense que la Chine a la possibilité de réduire la distance avec OpenAI, de l'approcher ou même de la dépasser dans de nombreux scénarios.
**Les grands modèles ne semblent pas avoir un seuil aussi élevé pour les puces.Par l'accumulation et l'optimisation continue des talents, des données, de la puissance de calcul, etc., il est possible de réduire en permanence l'écart. **
**Shenran : Quels types d'entreprises nationales ont le plus d'avantages dans les modèles à grande échelle ? Où est l'opportunité pour Xiaomi ? **
Wang Bin : Qu'il s'agisse de grandes entreprises ou de petites et moyennes entreprises en démarrage, chacune a son propre espace de vie. Le grand modèle est une écologie, et pas un seul grand ne peut tout prendre. Toutes les entreprises de l'écologie, y compris la puissance de calcul, les données, les applications et les entreprises qui fabriquent vraiment de grands modèles, ont leurs propres opportunités.
Les modèles à grande échelle comme Xiaomi ont l'avantage des scénarios d'application. Nous pensons que la combinaison de grands modèles et de scènes sera une énorme opportunité.
Parce que si vous venez de sortir un grand modèle et que personne ne l'utilise, il se peut qu'il ne puisse pas se développer rapidement grâce au roulement. Et nous pouvons immédiatement atterrir sur la scène, et grâce à une itération continue, nous pouvons faire jouer pleinement la puissance du grand modèle dans ces scènes.
Bien que nous n'intégrions actuellement qu'une équipe principale de plus de 30 personnes, il y a en réalité beaucoup de monde en périphérie. Dans tout le laboratoire d'IA, il y a plus de 100 personnes qui ont une formation en PNL et font des applications spécifiques, y compris le graphe de connaissances, la traduction automatique, le dialogue homme-machine, le service client intelligent et la réponse intelligente aux questions. Ce sont tous des gens qui ont la pensée de base des grands modèles et des technologies connexes, et qui promeuvent l'exploration des grands modèles du point de vue de leurs applications respectives.
** Shen Ran : Quelle est la valeur de l'accumulation de Xiaomi dans la recherche en PNL pour les grands modèles ? **
Wang Bin : Il existe deux opinions dans l'industrie. Une façon de dire est que ceux d'entre nous n'ont peut-être pas d'emploi, et l'IA nous a tués, en particulier ceux qui pratiquent la PNL peuvent n'avoir aucun emploi. Il y a aussi un dicton qui dit qu'après tout, le grand modèle est fabriqué à partir de la PNL, et ceux qui pratiquent la PNL ont des avantages inhérents.
Ces deux déclarations ont une part de vérité, mais après tout, cela implique mon travail, je suis plus enclin à cette dernière affirmation.
Les grands modèles ont été explorés à l'origine dans divers domaines, notamment la vision, la parole et la PNL. Mais pourquoi c'est la première percée dans le domaine de la PNL, je crois qu'il y a des raisons essentielles à cela. Je comprends au moins deux points : le premier est la richesse et la facilité d'accès aux données linguistiques, et le second est qu'il existe une connaissance très riche reflétant le processus de pensée humaine cachée derrière les données linguistiques.
Je crois donc que les personnes qui se sont accumulées dans le domaine de la PNL pendant de nombreuses années ont certains avantages innés dans la compréhension et la transformation de grands modèles. De nombreux membres de l'équipe de modèles à grande échelle de Xiaomi travaillaient à l'origine dans le sens de la PNL. Plusieurs start-up qui sont très douées pour fabriquer des modèles à grande échelle en Chine sont également sorties du domaine de la PNL.
**Shen Ran : Quelles sont les difficultés actuelles de Xiaomi pour venir à bout du grand modèle ? Comment le surmonter ? **
**Wang Bin :**Tout d'abord, je veux encore dire que le grand modèle lui-même a de très grands défis.
Un énorme défi est l'incertitude de la technologie. Nous avons vu certains rapports, et même l'équipe OpenAI elle-même n'est pas très claire sur les véritables principes derrière le grand modèle, et si elle recommence, elle ne sait pas si les mêmes résultats "émergents" se produiront. Je pense qu'OpenAI dit vrai sur ce point, en raison de la grande incertitude technologique, l'investissement ne peut garantir qu'un grand modèle répondant aux attentes puisse être formé.
L'accumulation de données de haute qualité est également un défi. On pense généralement que les grands modèles nécessitent des données de formation extrêmement volumineuses et de haute qualité. La qualité des données accessibles au public sur Internet est relativement médiocre en général, de sorte que l'acquisition et le nettoyage des données ** sont des défis relativement importants. **
Un autre défi est bien sûr la puissance de calcul. Tout d'abord, cela ne signifie pas qu'il y a autant de cartes qui peuvent être entraînées. La façon de faire bon usage de ces cartes est en soi un défi au niveau du système. Deuxièmement, parce que des erreurs peuvent être commises pendant le processus de formation, l'argent peut être brûlé, et rien ne peut être brûlé, donc cela dépend si vous avez la capacité de former un grand modèle à un coût contrôlable.
Concrètement, les enjeux actuels des ** données et de la puissance de calcul sont encore relativement importants, en particulier des données de haute qualité à grande échelle **. Après la période d'escalade précédente, nous sommes maintenant fondamentalement sûrs que tant que les données sont en place et en utilisant la puissance de calcul existante, nous pouvons probablement savoir combien de jours il faudra pour former un bon modèle de base.
**Shenran : Le coût de la formation des grands modèles a-t-il été réduit ? **
Wang Bin : D'une part, le coût des essais et des erreurs est plus faible qu'auparavant. Parce que la formation de grands modèles peut prendre des détours et échouer, mais avec la divulgation de diverses informations, il est possible de trouver rapidement la bonne direction de formation. D'autre part, de nombreuses entreprises de cloud computing, de puces et autres, ainsi que de nombreuses start-up, fournissent des services de formation et d'inférence de grands modèles à moindre coût. Avec la poursuite du développement de l'ensemble de l'écologie, je pense que le coût de la formation continuera à diminuer.
Comment le grand modèle affecte-t-il les activités de Xiaomi ?
**Shen Ran : Pouvez-vous présenter en détail le Xiaomi AI Lab dont vous êtes responsable ? **
Wang Bin : Après la naissance de "AlphaGo" en 2016, M. Lei a immédiatement promu la construction de l'équipe AI. Le AI Lab a été officiellement créé en 2016, et j'en suis le responsable depuis 2019.
Il s'avère que le AI Lab fait partie du Ministère de l'Intelligence Artificielle. Plus tard, le département d'intelligence artificielle a été fusionné avec le comité technique du groupe, et maintenant le laboratoire d'intelligence artificielle relève directement du comité technique.
La taille actuelle de l'équipe du AI Lab est d'environ 350 personnes, et il a six directions, à savoir l'apprentissage automatique, le traitement du langage naturel (NLP), la vision par ordinateur, l'acoustique, la parole et les graphes de connaissances.
Après la sortie du grand modèle, l'AI Lab a mis en place une équipe de grands modèles à plein temps. Nous nous concentrons maintenant sur le grand modèle de langage, mais nous prêtons également attention au grand modèle intermodal.
** Shen Ran : M. Lu (président du groupe Xiaomi Lu Weibing) a déclaré que l'équipe Xiaomi AI compte actuellement plus de 1 200 personnes. En plus du laboratoire d'IA, quels autres départements de Xiaomi sont fortement liés à l'IA ? **
Wang Bin : En plus du laboratoire d'IA, il y a aussi l'équipe de Xiao Ai, tous deux sous le comité technique.
En plus du comité technique, il existe de nombreux départements avec des équipes d'IA relativement importantes, notamment le département du pilote automatique du département automobile, le département de la caméra du téléphone mobile et le département des logiciels.En outre, la croissance des utilisateurs et les recommandations publicitaires dans le Les départements commerciaux Internet sont tous liés à l'IA.
En bref, certaines équipes liées à l'IA se trouvent dans le département commercial et d'autres dans le comité technique. Le nombre total est d'environ 1 200. Si vous considérez certaines petites équipes, je pense personnellement que ce nombre est encore plus important.
**Shen Ran : Quel est le rôle du Xiaomi AI Lab dans la stratégie d'IA de Xiaomi ? **
**Wang Bin :**AI Lab est le département de recherche et développement et de sortie de la technologie AI au niveau du groupe. En termes simples, nous exportons la technologie de l'IA à l'ensemble de l'entreprise.
Nous avons une fois comparé le laboratoire d'IA au "terrain expérimental" et au "dépôt de munitions" de la technologie de l'IA au niveau du groupe. En raison du développement rapide de l'IA, le laboratoire d'IA développera certaines technologies de pointe à moyen et long terme, fera des réserves autour de l'activité de Xiaomi et sortira des "munitions" lorsque le groupe en aura besoin.
En termes de technologie d'IA, nous devons avoir les réserves les plus complètes de l'entreprise, et nous sommes également très puissants dans l'industrie.
**Shen Ran : Quelles sont les réalisations de recherche importantes du Xiaomi AI Lab ? **
Wang Bin : Le concept de notre laboratoire d'IA met l'accent sur la combinaison de la technologie et des scénarios. Actuellement, les articles publiés ne sont pas considérés comme des OKR. Par conséquent, après mon arrivée à Xiaomi de l'Académie chinoise des sciences (Académie chinoise des sciences), je pense que la plus grande réussite n'est pas le progrès d'un seul point de technologie, mais l'intégration ingénieuse de la technologie et des produits.
Xiaomi est une entreprise To C. Notre production de capacités d'IA n'est pas exportée directement vers le monde extérieur pour le moment, mais via les produits de l'entreprise. Nous avons réalisé de nombreuses réalisations, notamment de nombreux algorithmes de traitement d'appareils photo et d'albums photo dans les téléphones mobiles Xiaomi, des algorithmes vocaux et NLP impliqués dans Xiao Ai, et des algorithmes d'IA dans les systèmes de recommandation, de recherche et de service client de Xiaomi Mall.
Permettez-moi de vous donner un exemple. Nous avons développé une fonction de traduction hors ligne sur notre téléphone mobile. Par exemple, après être allé à l'étranger, le réseau n'est pas très bon dans de nombreux cas. À ce moment, activez la fonction de traduction du téléphone mobile Xiaomi sans utiliser le cloud. Dans l'état hors ligne, en temps réel, la confidentialité et l'effet de traduction sont meilleurs. La mise en place et l'application de cette fonction n'est pas aisée, nous avons fait un gros travail d'optimisation sur les effets de translation et les performances.
** Chez Xiaomi, ce n'est pas notre propre technologie qui sera utilisée en premier. La technologie interne doit également concurrencer la technologie externe de manière équitable. Seul le gagnant peut survivre et être appliqué aux produits. **
**Wang Bin :**La capacité la plus forte du grand modèle, en termes simples, est qu'il comprend mieux les gens et qu'il peut évidemment optimiser le mode d'interaction homme-ordinateur. Le camarade de classe Xiao Ai de Xiaomi, le système d'exploitation de téléphone mobile MIUI, le cockpit de voiture, l'IoT et les robots sont tous des scénarios typiques où de grands modèles sont appliqués.
**Shen Ran : Pourriez-vous utiliser Xiao Ai comme exemple ? **
Wang Bin : Appliqué à Xiao Ai, il peut faire deux choses en même temps. L'une consiste à rendre possible l'impossible, ce qui équivaut à avoir de nouvelles fonctions. Par exemple, j'ai demandé à Xiao Ai de faire un plan de voyage ou de commander des repas, etc. La capacité technique d'origine n'a pas été atteinte, et si l'utilisateur le dit autrement, ce sera gâché. Mais Avec le support de grands modèles, il a une compréhension plus profonde de la parole humaine, de sorte que des tâches complexes peuvent être accomplies, et ce type d'application est faisable.
Une autre catégorie est l'amélioration de la fonction d'origine, qui équivaut à la cerise sur le gâteau. En raison de la nervosité et de la diversité des expressions humaines, dans le processus d'interaction homme-ordinateur de Xiaoai, le plus gros problème est de rencontrer de petits événements de probabilité. Nous l'appelons Corner Case, et adoptons généralement une stratégie conservatrice pour laisser Xiaoai dire : "Je peux". t réponse", "J'apprends encore"**. Ce type de réponse sous-jacente peut également poursuivre la conversation, mais l'expérience n'est pas bonne. Mais la technologie des grands modèles peut poursuivre le dialogue plus longtemps et améliorer considérablement la satisfaction de l'utilisateur.
**Shenran : Le grand modèle a-t-il un impact important sur la maison intelligente ? **
Wang Bin : Selon ma compréhension personnelle, le grand modèle peut au moins améliorer l'expérience utilisateur de la maison intelligente en termes de capacités interactives.
Bien qu'il existe de nombreux appareils qui prétendent être "intelligents", ils se comportent souvent comme des "déficients mentaux" et le taux d'utilisation n'est pas élevé. Par exemple, en allumant le climatiseur ou en ajustant la température du climatiseur, si la déclaration est différente de la commande standard, il peut ne pas être possible de contrôler l'appareil IoT.
Mais après l'arrivée du grand modèle, il a une compréhension plus profonde du langage humain. Dans de nombreux cas, il existe différentes expressions. Le grand modèle peut traduire l'expression de l'utilisateur en instructions que la machine peut comprendre. Cela incitera davantage de personnes à utiliser des appareils intelligents et permettra à l'ensemble de l'écosystème de se développer plus rapidement.
**Shenran : En plus de l'amélioration des affaires existantes, y a-t-il d'autres choses que Xiaomi ne pouvait pas faire avant, mais qu'il est possible de faire après avoir un grand modèle ? **
Wang Bin : Nous établirons une collaboration approfondie entre le grand modèle et ces entreprises. Bien sûr, en plus de cela, nous recherchons également plus de possibilités.
Notre équipe a écrit de nombreux articles pour promouvoir les grands modèles au sein de l'entreprise, y compris le concept et le développement technologique des grands modèles, et pour enseigner à chacun comment utiliser ChatGPT pour résoudre des problèmes commerciaux. M. Lei a demandé à chaque département d'apprendre des modèles à grande échelle et demande à chacun d'avoir une réflexion de base sur les modèles à grande échelle et de réfléchir à la manière de s'intégrer à l'entreprise.