Fuente: Shen Ran, Autores: Jin Yufan, He Shulong, Editor: He Shulong
Fuente de la imagen: Generada por la herramienta de IA Unbounded
Medio año después del lanzamiento de ChatGPT, se siguió organizando una persecución de modelos a gran escala a ambos lados del Océano Pacífico.
La alianza formada por OpenAI, Microsoft y Nvidia se está volviendo loca en la costa este del Océano Pacífico. Desde marzo de este año, las empresas de tecnología chinas han hecho un seguimiento urgente. Baidu, Ali, SenseTime e iFLYTEK han lanzado sucesivamente productos "similares a ChatGPT". Tencent, Huawei y JD. Los tiempos también son oportunidades "diez veces mayores".
En el momento de la "Guerra de los Cien Modelos", Xiaomi, como una gran empresa de tecnología doméstica, parece estar extraordinariamente tranquila.
Lei Jun, el jefe de Xiaomi, dijo que Xiaomi está desarrollando algunas tecnologías y productos, y se los demostrará a todos después de que estén pulidos. Lu Weibing, presidente de Xiaomi Group, dijo que Xiaomi actualmente tiene un equipo de IA de más de 1200 personas, y adoptará activamente modelos a gran escala y los integrará con profundidad comercial, pero no fabricará modelos a gran escala de uso general como OpenAI. .
Estas informaciones han profundizado las dudas del mundo exterior: ¿Se unirá Xiaomi a la "Guerra de los Cien Modelos"?
El Dr. Wang Bin, director de AI Lab de Xiaomi Group, le dijo a Shenran que Xiaomi desarrollará su propio modelo de propósito general, pero no lanzará un producto similar a ChatGPT solo, "ni lanzará un PPT, ni demostrará un algunos ejemplos, digamos que tenemos un modelo grande”, pero el modelo grande de desarrollo propio eventualmente será sacado a la luz por el producto.
Esta es la primera vez que la ruta y el progreso del modelo grande se revelan al mundo exterior después de que Xiaomi anunciara oficialmente el equipo del modelo grande. El 14 de abril de este año, Xiaomi anunció que el gran equipo de modelos estaría dirigido por Luan Jian e informaría a Wang Bin. Wang Bin se ha dedicado a la investigación y el desarrollo relacionados con la PNL (procesamiento del lenguaje natural) en la Academia de Ciencias de China durante más de 20 años. Se unió a Xiaomi en 2018 y ha estado a cargo del laboratorio de IA desde 2019. AI Lab es el departamento central de la estrategia de IA de Xiaomi.
Xiaomi, que ha creado un modelo de diálogo a gran escala, es un racionalista raro en el modelo de lenguaje a gran escala preentrenado de propósito general. Wang Bin reveló que actualmente hay más de 30 equipos de modelos a gran escala de tiempo completo, y no se expandirán rápidamente de inmediato; el objetivo de este equipo sigue siendo un modelo de lenguaje a gran escala y los parámetros del modelo base de destino del primer paso son decenas de miles de millones**, y luego, dependiendo de los resultados de escalada anteriores, se decidirá el siguiente paso.
"Todavía hay un largo camino por recorrer desde el desarrollo de modelos a gran escala hasta el aterrizaje. Si pueden encontrar escenas importantes adecuadas es un punto doloroso para muchas empresas de modelos a gran escala". En opinión de Wang Bin, la ventaja de Xiaomi es que tiene suficientes modelos grandes listos para usar. Los escenarios de aterrizaje, incluidos Xiao Ai, loT, conducción autónoma, robots, etc., los escenarios de aplicaciones ricas también pueden retroalimentar la capacidad de los modelos grandes.
A Xiaomi no le faltan escenarios, pero para entrenar a un modelo grande, la acumulación de datos, poder de cómputo y talentos es indispensable. Wang Bin dijo que Xiaomi tiene una cierta reserva de talentos y que los desafíos en términos de potencia informática y volumen de datos son relativamente grandes. Por un lado, la potencia informática debe superar los desafíos a nivel del sistema y el costo de capacitación debe ser controlable; por otro lado, se necesita mucho tiempo y dinero para obtener y limpiar datos de alta calidad.
En la nueva ola de modelos grandes de IA, ¿por qué el equipo de IA de Xiaomi no lanza "productos similares a ChatGPT"? ¿Cómo juzga Xiaomi la ruta técnica y la dificultad técnica del modelo grande? Hace unos días, He Shulong, editor en jefe de Shenran, dialogó con Wang Bin, director del Laboratorio de IA del Comité Técnico de Xiaomi. El siguiente es el contenido principal:
Modelo grande de Xiaomi: 30 personas en el equipo, sin "ChatGPT-like"
**Shen Ran: el 14 de abril, Xiaomi nombró a Luan Jian como jefe del gran equipo de modelos para informarle. ¿Puedes contarnos cómo nació el equipo de modelos grandes de Xiaomi? **
**Wang Bin:**El gran equipo de modelos se anunció en abril, pero ya había comenzado a operar antes de eso.
El 30 de noviembre del año pasado, después de que OpenAI lanzara ChatGPT, algunos de nosotros rápidamente registramos una cuenta y comenzamos a jugar en ella. ChatGPT es realmente subversivo. Llevamos muchos años trabajando en IA y muchas de sus capacidades han superado las expectativas de nuestros desarrolladores.
Pronto, organizamos una serie de grupos internos de comunicación de modelos a gran escala para discutir la tecnología de modelos a gran escala y su impacto disruptivo en la traducción automática, el diálogo hombre-máquina, la respuesta inteligente a preguntas y el servicio al cliente. **Muchas de las personas que participaron en los primeros talleres luego se convirtieron en miembros clave del equipo de maquetas de tiempo completo. **
**Shen Ran: ¿Llegará un poco tarde el equipo de modelos a gran escala de Xiaomi? **
Wang Bin: Para modelos grandes, pertenecemos a la escuela racional.
Antes del nacimiento de ChatGPT, Xiaomi había realizado investigación y desarrollo internos y la aplicación de modelos grandes, principalmente en forma de capacitación previa + supervisión de tareas posteriores y ajuste fino para el diálogo hombre-máquina, y los parámetros del modelo estaban en el miles de millones Por supuesto, este tipo de modelo no es un modelo a gran escala de propósito general como se le llama ahora.
Tenemos muy claro que el desarrollo y aplicación del gran modelo general es un trabajo a largo plazo, no una cuestión de tiempo. Caminábamos de acuerdo con nuestro propio plan de tiempo y pasos, en ese momento sentimos que se había acabado el tiempo, por lo que hicimos un lanzamiento en equipo.
**Shen Ran: ¿Cuántas personas hay en el gran equipo de modelos? ¿Hay planes para seguir expandiéndose? **
**Wang Bin:**El equipo principal actualmente tiene más de 30 personas. Actualmente nos estamos preparando de acuerdo con los aspectos de talentos, datos, modelos, poder de cómputo, evaluación y productos, y luego nos ajustamos o expandimos gradualmente después de cierta etapa.
No ampliaremos inmediatamente la cantidad de personas, como reclutar 100 personas a la vez. Porque en la etapa de escalada de acumulación de capacidad, reclutar a tanta gente quizás no sepa cómo arreglarlo, pero es un desperdicio.
Con la divulgación continua de información sobre modelos grandes y la afluencia continua de capital y talentos, el campo de los modelos grandes se ha desarrollado muy rápido y las opiniones de todos han cambiado mucho. Cuando ChatGPT apareció por primera vez no hace mucho, todos sintieron que era básicamente imposible realizar un modelo similar a gran escala, pero lentamente, muchas personas sintieron que la posibilidad era muy alta, y algunas personas creyeron que muchos productos podrían satisfacerse sin tal un modelo a gran escala demanda. La intensidad de inversión de cada uno también es muy diferente. Algunas personas pueden pensar que el equipo necesita al menos unos cientos de personas, y algunas personas piensan que no es necesario.
**Shenran: ¿Hay algún plan por etapas para el futuro? ¿Cuándo se probará internamente y se lanzará externamente? **
Wang Bin: A diferencia de otras empresas, Xiaomi nace con los atributos de los productos, yo creo que cuando sale el modelo grande de Xiaomi, lo saca el producto.
Es posible que realicemos pruebas internas antes del tercer trimestre. Sin embargo, este no es un nodo inevitable.
**Shen Ran: En otras palabras, ¿Xiaomi no lanzará un producto similar a ChatGPT? **
Wang Bin: Sí, no lanzaremos un PPT ni demostraremos que tenemos un modelo grande. Los escenarios de aplicaciones enriquecidos son nuestra mayor ventaja. **El modelo grande de Xiaomi se integrará más estrechamente con la escena, y el plan de lanzamiento correspondiente debe hacerse en torno al ritmo del producto. **
**Shenran: Además de la mano de obra, ¿cuál es el costo de la potencia informática para que Xiaomi fabrique un modelo grande? **
Wang Bin: Somos una inversión de mediana escala y decidiremos el próximo paso de inversión en función de los resultados de la escalada anterior.
Nuestro juicio básico es que el modelo adecuado para los productos y negocios de Xiaomi puede tener parámetros de decenas de miles de millones**, que serán inferiores a la escala de 100 mil millones, y la inversión en máquinas de entrenamiento es de decenas de millones de RMB.
**Shen Ran: ¿Cómo es el modelo con miles de millones de parámetros creado por Xiaomi antes? **
**Wang Bin: **ChatGPT lanzado el año pasado es una especie de modelo a gran escala, llamado modelo grande de lenguaje preentrenado de uso general. Pero el gran modelo en sí apareció muy temprano, y todos tienen diferentes rutas y métodos.
Comenzamos a hacer un seguimiento del modelo grande antes. En ese momento, creamos un modelo específico de diálogo con alrededor de 2.800 millones a 3.000 millones de parámetros. Se realiza ajustando los datos del diálogo sobre la base del modelo base preentrenado. No es el modelo grande de uso general actual, pero está dedicado al diálogo hombre-máquina. Sexo, déjalo continuar. Más tarde, este modelo se lanzó a Xiaoai y se llevó a cabo una prueba en línea a pequeña escala.
Por lo tanto, AIGC ya se usó en Xiao Ai, pero a nivel de producto, no usamos este modelo grande por completo, sino que usamos la complementariedad del modelo tradicional y el modelo de diálogo grande para usar los dos juntos.
Es probable que el modelo grande de propósito general de Xiaomi sea este modelo híbrido cuando se lance al producto. Los problemas que el modelo tradicional maneja muy bien se transfieren al modelo tradicional. El modelo grande resuelve los problemas en los que es bueno, como algunos eventos de pequeña probabilidad o diálogos de cola larga.
El nivel de diálogo del modelo grande de propósito general que ha aparecido ahora es significativamente más alto que el del modelo grande específico de diálogo anterior, por lo que esta parte del equipo también se ha transferido al modelo grande de propósito general. Este equipo realizó todo el proceso de entrenamiento del modelo de diálogo grande, trepó por algunos pozos y, con la acumulación de datos, tiene ciertas ventajas.
Modelo grande de mijo: la escena es dominante y los datos son un problema
** Shenran: Durante este período de tiempo, el progreso tecnológico ha sido muy rápido y los modelos domésticos a gran escala se están lanzando intensamente. ¿Estarás ansioso por el lento progreso? **
Wang Bin: Solía estar bastante ansioso por un tiempo, porque me entraba un poco de pánico si no terminaba haciéndolo todo el tiempo, y uno pensaba: "¿Cómo pueden los demás progresar tan rápido y ¿Hacerlo todo de una vez?” Ahora bajamos para hacerlo No más preocupaciones.
Se dice que China es ahora una "guerra de los cien modelos", y se han lanzado más de 80 modelos grandes, algunos de los cuales brindan pruebas internas y otros solo se lanzan mediante PPT. El efecto de algunos modelos sigue siendo bueno. A juzgar por el nivel de lanzamiento, el nivel de nuestros modelos grandes desarrollados por nosotros mismos no parece ser peor que muchos modelos. Pero no tenemos prisa por hacer un lanzamiento externo. Primero, para una empresa como Xiaomi, no tiene mucho sentido. En segundo lugar, todavía esperamos mejorar el modelo de desarrollo propio en torno al producto y luego lanzarlo juntos.
**Shenran: ¿Crees que los grandes modelos de las empresas nacionales tienen la oportunidad de ponerse al día con OpenAI? ¿Qué tan grande es la brecha? Les gusta usar tres meses, seis meses para describir. **
Wang Bin: En la actualidad, OpenAI debe estar muy avanzado. Invirtió temprano y tiene una acumulación muy fuerte en talentos, datos, poder de cómputo, ingeniería y productos. Desde la situación interna, siento que todavía hay una cierta brecha entre OpenAI y OpenAI, algunas personas dicen que son tres meses o seis meses, mientras que otras dicen que es un año o dos años. En términos de tiempo, es difícil de decir.
Porque cómo evaluar un modelo grande es un problema muy difícil en sí mismo. Ahora hay rankings de varios modelos grandes, pero ninguno de ellos ha sido reconocido unánimemente por todos. **No existe un estándar de evaluación real, por lo que hablar de ponerse al día en tres meses o seis meses es solo una bofetada. **
En cuanto a si es posible que China se ponga al día con OpenAI, era pesimista en los primeros días y pensé que era casi imposible, pero con la afluencia de varias soluciones de código abierto, varios equipos y capital, mi juicio es más optimista. Creo que China tiene la oportunidad de acortar la distancia con OpenAI, de acercarse o incluso superarlo en muchos escenarios.
**Los modelos grandes no parecen tener un umbral tan alto para los chips. A través de la acumulación y optimización continuas de talentos, datos, poder de cómputo, etc., es posible reducir la brecha continuamente. **
**Shenran: ¿Qué tipos de empresas nacionales tienen más ventajas en los modelos a gran escala? ¿Dónde está la oportunidad para Xiaomi? **
Wang Bin: Independientemente de las grandes empresas o las pequeñas y medianas empresas emergentes, cada una tiene su propio espacio vital. El gran modelo es una ecología, y ni uno solo grande puede tomarlo todo.Todas las empresas en la ecología, incluida la potencia informática, los datos, las aplicaciones y las empresas que realmente hacen grandes modelos, tienen sus propias oportunidades.
Los modelos a gran escala como Xiaomi tienen la ventaja de los escenarios de aplicación. Creemos que la combinación de grandes modelos y escenarios será una gran oportunidad.
Porque si solo lanza un modelo grande y nadie lo usa, es posible que no pueda desarrollarse rápidamente mediante el rodamiento. Y podemos aterrizar inmediatamente en la escena, y a través de la iteración continua, podemos aprovechar al máximo el poder del modelo grande en estas escenas.
Aunque actualmente solo integramos un equipo principal de más de 30 personas, en realidad hay mucha gente en la periferia. En todo el laboratorio de IA, hay más de 100 personas que tienen experiencia en PNL y están haciendo aplicaciones específicas, que incluyen gráficos de conocimiento, traducción automática, diálogo hombre-máquina, servicio al cliente inteligente y respuesta inteligente a preguntas. Todos son personas con el pensamiento básico de modelos grandes y tecnologías relacionadas, y están promoviendo la exploración de modelos grandes desde la perspectiva de sus respectivas aplicaciones.
cubo de wang
**Shen Ran: ¿Qué tan valiosa es la acumulación de Xiaomi en la investigación de PNL para modelos grandes? **
Wang Bin: Hay dos opiniones en la industria. Una forma de decirlo es que es posible que algunos de nosotros no tengamos trabajo, y la IA nos ha matado, especialmente aquellos que hacen PNL pueden no tener trabajo. También hay un dicho que, después de todo, el gran modelo está hecho de PNL, y quienes practican PNL tienen ventajas inherentes.
Ambas afirmaciones tienen algo de verdad, pero después de todo, se trata de mi trabajo, me inclino más por la última afirmación.
Los modelos grandes se exploraron originalmente en varios campos, incluidos la visión, el habla y la PNL. Pero por qué es el primer avance en el campo de la PNL, creo que hay razones esenciales para ello. Entiendo al menos dos puntos: el primero es la riqueza y la fácil disponibilidad de los datos lingüísticos, y el segundo es que hay un conocimiento muy rico que refleja el proceso de pensamiento humano escondido detrás de los datos lingüísticos.
Entonces, creo que las personas que se han acumulado en el campo de la PNL durante muchos años tienen ciertas ventajas innatas para comprender y transformar modelos grandes. Muchos miembros del equipo de modelos a gran escala de Xiaomi trabajaron originalmente en la dirección de NLP. Varias empresas emergentes que son muy buenas para hacer modelos a gran escala en China también salieron del campo de la PNL.
**Shen Ran: ¿Cuáles son las dificultades actuales de Xiaomi para superar el modelo grande? ¿Cómo superarlo? **
**Wang Bin:**En primer lugar, todavía quiero decir que el modelo grande en sí tiene desafíos muy grandes.
Un gran desafío es la incertidumbre de la tecnología. Hemos visto algunos informes, e incluso el propio equipo de OpenAI no tiene muy claros los principios reales detrás del modelo grande, y si lo vuelven a hacer, no están seguros de si se producirán los mismos resultados "emergentes". Creo que OpenAI está diciendo la verdad en este punto, debido a la gran incertidumbre en la tecnología, la inversión no puede garantizar que se pueda entrenar un modelo grande que cumpla con las expectativas.
La acumulación de datos de alta calidad también es un desafío. En general, se cree que los modelos grandes requieren datos de entrenamiento extremadamente grandes y de alta calidad. La calidad de los datos disponibles públicamente en Internet es relativamente mala en general, por lo que la adquisición y limpieza de ** datos son desafíos relativamente grandes. **
Otro desafío es, por supuesto, la potencia informática. En primer lugar, no significa que haya tantas cartas que se puedan entrenar, cómo hacer un buen uso de estas cartas es un desafío a nivel de sistema en sí mismo. En segundo lugar, debido a que se pueden cometer errores durante el proceso de capacitación, se puede quemar el dinero y no se puede quemar nada, por lo que depende de si tiene la capacidad de entrenar un modelo grande a un costo controlable.
En términos prácticos, los desafíos actuales de ** datos y poder de cómputo aún son relativamente grandes, especialmente datos de alta calidad a gran escala **. Después del período anterior de escalada, ahora estamos básicamente seguros de que, siempre que los datos estén en su lugar y utilicen la potencia informática existente, probablemente podamos saber cuántos días llevará entrenar un buen modelo base.
**Shenran: ¿Se ha reducido ahora el costo del entrenamiento de modelos grandes? **
Wang Bin: Por un lado, el costo de prueba y error es más bajo que antes. Debido a que el entrenamiento de modelos grandes puede tomar desvíos y fallar, pero con la divulgación de información diversa, es posible encontrar rápidamente la dirección correcta del entrenamiento. Por otro lado, muchas empresas de computación en la nube, chips y otras empresas, así como muchas empresas de nueva creación, están brindando servicios de inferencia y capacitación de modelos grandes de bajo costo. Con el mayor desarrollo de toda la ecología, creo que el costo de la capacitación seguirá disminuyendo.
¿Cómo afecta el modelo grande al negocio de Xiaomi?
**Shen Ran: ¿Puede presentar en detalle el Xiaomi AI Lab del que es responsable? **
Wang Bin: Después del nacimiento de "AlphaGo" en 2016, el Sr. Lei promovió de inmediato la construcción del equipo de IA. El AI Lab se estableció formalmente en 2016 y estoy a cargo desde 2019.
Resulta que el AI Lab es parte del Ministerio de Inteligencia Artificial. Más tarde, el Departamento de Inteligencia Artificial se fusionó con el Comité Técnico del Grupo, y ahora el Laboratorio de IA está directamente bajo el Comité Técnico.
El tamaño actual del equipo del Laboratorio de IA es de unas 350 personas y tiene seis direcciones, a saber, aprendizaje automático, procesamiento de lenguaje natural (NLP), visión por computadora, acústica, habla y gráficos de conocimiento.
Después de que salió el modelo grande, AI Lab creó un equipo de modelo grande de tiempo completo. Ahora nos estamos enfocando en el modelo grande de lenguaje, pero también estamos prestando atención al modelo grande multimodal.
**Shen Ran: el Sr. Lu (presidente de Xiaomi Group Lu Weibing) dijo que el equipo de IA de Xiaomi cuenta actualmente con más de 1200 personas. Además del laboratorio de IA, ¿qué otros departamentos dentro de Xiaomi están fuertemente relacionados con la IA? **
**Wang Bin:**Además del laboratorio de IA, también está el equipo de Xiao Ai, ambos bajo el comité técnico.
Además del comité técnico, hay muchos departamentos con equipos de IA relativamente grandes, incluido el departamento de piloto automático del departamento automotriz, el departamento de cámaras del teléfono móvil y el departamento de software. Además, el crecimiento de usuarios y las recomendaciones publicitarias en el El departamento comercial de Internet está relacionado con la IA.
En resumen, algunos equipos relacionados con la IA están en el departamento comercial y otros en el comité técnico. El número total es de aproximadamente 1200. Si considera algunos equipos pequeños, personalmente creo que este número es aún mayor.
**Shen Ran: ¿Cuál es el papel de Xiaomi AI Lab en la estrategia de IA de Xiaomi? **
**Wang Bin:**AI Lab es el departamento de investigación, desarrollo y producción de tecnología de IA a nivel de grupo. En términos sencillos, estamos exportando tecnología de IA a toda la empresa.
Una vez comparamos el laboratorio de IA con el "campo experimental" y el "depósito de municiones" de la tecnología de IA a nivel de grupo. Debido al rápido desarrollo de la IA, el laboratorio de IA desarrollará algunas tecnologías de vanguardia a mediano y largo plazo, hará reservas en torno al negocio de Xiaomi y generará "municiones" cuando el grupo las necesite.
En términos de tecnología de IA, debemos tener las reservas más completas en la empresa, y también somos muy poderosos en la industria.
**Shen Ran: ¿Cuáles son los logros de investigación importantes de Xiaomi AI Lab? **
Wang Bin: El concepto de nuestro laboratorio de IA enfatiza la combinación de tecnología y escenarios. Actualmente, los artículos publicados no se consideran OKR. Por lo tanto, después de que llegué a Xiaomi de la Academia de Ciencias de China (Academia de Ciencias de China), siento que el mayor logro no es el progreso de un solo punto de tecnología, sino la ingeniosa integración de tecnología y productos.
Xiaomi es una empresa To C. Nuestra producción de capacidad de IA no se exporta directamente al mundo exterior por el momento, sino a través de los productos de la empresa. Hemos logrado muchos logros, incluidos muchos algoritmos de procesamiento de álbumes de fotos y cámaras en teléfonos móviles Xiaomi, algoritmos de voz y NLP involucrados en Xiao Ai, y algoritmos de IA en los sistemas de recomendación, búsqueda y servicio al cliente de Xiaomi Mall.
Déjame darte un ejemplo. Hemos desarrollado una función de traducción fuera de línea en nuestro teléfono móvil. Por ejemplo, después de ir al extranjero, la red no es tan buena en muchos casos. En este momento, encienda la función de traducción del teléfono móvil Xiaomi sin usar la nube En el estado fuera de línea, en tiempo real, privacidad y El efecto de traducción es mejor. La implementación y aplicación de esta función no es fácil. Hemos realizado un gran trabajo de optimización en los efectos de traducción y el rendimiento.
**En Xiaomi, no es nuestra propia tecnología la que se usará primero. La tecnología interna también debe competir con la tecnología externa de manera justa. Solo el ganador puede sobrevivir y aplicarse a los productos. **
**Shenran: ¿Qué negocios de Xiaomi se verán afectados por la tecnología de modelo a gran escala representada por ChatGPT? **
**Wang Bin:**La capacidad más fuerte del modelo grande, en términos simples, es que comprende mejor a las personas y, obviamente, puede optimizar la forma de interacción humano-computadora. El compañero de clase Xiao Ai de Xiaomi, el sistema operativo de teléfono móvil MIUI, la cabina del automóvil, IoT y los robots son escenarios típicos en los que se aplican modelos grandes.
**Shen Ran: ¿Podrías usar a Xiao Ai como ejemplo? **
Wang Bin: Aplicado a Xiao Ai, puede hacer dos cosas al mismo tiempo. Una es hacer posible lo imposible, lo que equivale a tener nuevas funciones. Por ejemplo, le pedí a Xiao Ai que hiciera un plan de viaje o que ordenara comidas, etc. No se ha logrado la capacidad técnica original, y si el usuario lo expresa de otra manera, se estropeará. Pero Con el apoyo de modelos grandes, tiene una comprensión más profunda del habla humana, por lo que se pueden completar tareas complejas, y este tipo de aplicación es factible.
Otra categoría es la mejora de la función original, que es equivalente a la guinda del pastel. Debido al nerviosismo y la diversidad de las expresiones humanas, en el proceso de interacción humano-computadora de Xiaoai, el mayor problema es encontrar pequeños eventos de probabilidad. Lo llamamos Caso de la esquina y, por lo general, adoptamos una estrategia conservadora para permitir que Xiaoai diga: "Yo puedo". t respondo", "todavía estoy aprendiendo"**. Este tipo de respuesta de apoyo también puede continuar la conversación, pero la experiencia no es buena. Pero la tecnología de modelo grande puede continuar el diálogo durante más tiempo y mejorar en gran medida la satisfacción del usuario.
**Shenran: ¿El modelo grande tiene un gran impacto en el hogar inteligente? **
**Wang Bin:**Según mi entendimiento personal, el modelo grande puede al menos mejorar la experiencia del usuario del hogar inteligente en términos de capacidades interactivas.
Aunque hay muchos dispositivos que dicen ser "inteligentes", a menudo se comportan como "retrasados mentales" y la tasa de uso no es alta. Por ejemplo, encender el aire acondicionado o ajustar la temperatura del aire acondicionado, si la declaración es diferente del comando estándar, es posible que no sea posible controlar el dispositivo IoT.
Pero después de la llegada del modelo grande, tiene una comprensión más profunda del lenguaje humano. En muchos casos, hay varias expresiones. El modelo grande puede traducir la expresión del usuario en instrucciones que la máquina puede entender. Esto impulsará a más personas a usar dispositivos inteligentes y permitirá que todo el ecosistema crezca más rápido.
**Shenran: Además de la mejora de los negocios existentes, ¿hay otras cosas que Xiaomi no podía hacer antes, pero que es posible hacer después de tener un modelo grande? **
Wang Bin: Haremos una colaboración profunda entre el modelo grande y estas empresas. Por supuesto, además de esto, también estamos buscando más posibilidades.
Nuestro equipo ha escrito muchos artículos para promover modelos grandes dentro de la empresa, incluido el concepto y el desarrollo tecnológico de modelos grandes, y para enseñar a todos cómo usar ChatGPT para resolver problemas comerciales. El Sr. Lei ha pedido a todos los departamentos que aprendan modelos a gran escala y requiere que todos tengan un pensamiento básico sobre modelos a gran escala y que piensen en cómo integrarse con el negocio.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Modelo grande de Xiaomi, no participes en "ChatGPT"
Fuente: Shen Ran, Autores: Jin Yufan, He Shulong, Editor: He Shulong
Medio año después del lanzamiento de ChatGPT, se siguió organizando una persecución de modelos a gran escala a ambos lados del Océano Pacífico.
La alianza formada por OpenAI, Microsoft y Nvidia se está volviendo loca en la costa este del Océano Pacífico. Desde marzo de este año, las empresas de tecnología chinas han hecho un seguimiento urgente. Baidu, Ali, SenseTime e iFLYTEK han lanzado sucesivamente productos "similares a ChatGPT". Tencent, Huawei y JD. Los tiempos también son oportunidades "diez veces mayores".
En el momento de la "Guerra de los Cien Modelos", Xiaomi, como una gran empresa de tecnología doméstica, parece estar extraordinariamente tranquila.
Lei Jun, el jefe de Xiaomi, dijo que Xiaomi está desarrollando algunas tecnologías y productos, y se los demostrará a todos después de que estén pulidos. Lu Weibing, presidente de Xiaomi Group, dijo que Xiaomi actualmente tiene un equipo de IA de más de 1200 personas, y adoptará activamente modelos a gran escala y los integrará con profundidad comercial, pero no fabricará modelos a gran escala de uso general como OpenAI. .
Estas informaciones han profundizado las dudas del mundo exterior: ¿Se unirá Xiaomi a la "Guerra de los Cien Modelos"?
El Dr. Wang Bin, director de AI Lab de Xiaomi Group, le dijo a Shenran que Xiaomi desarrollará su propio modelo de propósito general, pero no lanzará un producto similar a ChatGPT solo, "ni lanzará un PPT, ni demostrará un algunos ejemplos, digamos que tenemos un modelo grande”, pero el modelo grande de desarrollo propio eventualmente será sacado a la luz por el producto.
Esta es la primera vez que la ruta y el progreso del modelo grande se revelan al mundo exterior después de que Xiaomi anunciara oficialmente el equipo del modelo grande. El 14 de abril de este año, Xiaomi anunció que el gran equipo de modelos estaría dirigido por Luan Jian e informaría a Wang Bin. Wang Bin se ha dedicado a la investigación y el desarrollo relacionados con la PNL (procesamiento del lenguaje natural) en la Academia de Ciencias de China durante más de 20 años. Se unió a Xiaomi en 2018 y ha estado a cargo del laboratorio de IA desde 2019. AI Lab es el departamento central de la estrategia de IA de Xiaomi.
Xiaomi, que ha creado un modelo de diálogo a gran escala, es un racionalista raro en el modelo de lenguaje a gran escala preentrenado de propósito general. Wang Bin reveló que actualmente hay más de 30 equipos de modelos a gran escala de tiempo completo, y no se expandirán rápidamente de inmediato; el objetivo de este equipo sigue siendo un modelo de lenguaje a gran escala y los parámetros del modelo base de destino del primer paso son decenas de miles de millones**, y luego, dependiendo de los resultados de escalada anteriores, se decidirá el siguiente paso.
"Todavía hay un largo camino por recorrer desde el desarrollo de modelos a gran escala hasta el aterrizaje. Si pueden encontrar escenas importantes adecuadas es un punto doloroso para muchas empresas de modelos a gran escala". En opinión de Wang Bin, la ventaja de Xiaomi es que tiene suficientes modelos grandes listos para usar. Los escenarios de aterrizaje, incluidos Xiao Ai, loT, conducción autónoma, robots, etc., los escenarios de aplicaciones ricas también pueden retroalimentar la capacidad de los modelos grandes.
A Xiaomi no le faltan escenarios, pero para entrenar a un modelo grande, la acumulación de datos, poder de cómputo y talentos es indispensable. Wang Bin dijo que Xiaomi tiene una cierta reserva de talentos y que los desafíos en términos de potencia informática y volumen de datos son relativamente grandes. Por un lado, la potencia informática debe superar los desafíos a nivel del sistema y el costo de capacitación debe ser controlable; por otro lado, se necesita mucho tiempo y dinero para obtener y limpiar datos de alta calidad.
En la nueva ola de modelos grandes de IA, ¿por qué el equipo de IA de Xiaomi no lanza "productos similares a ChatGPT"? ¿Cómo juzga Xiaomi la ruta técnica y la dificultad técnica del modelo grande? Hace unos días, He Shulong, editor en jefe de Shenran, dialogó con Wang Bin, director del Laboratorio de IA del Comité Técnico de Xiaomi. El siguiente es el contenido principal:
Modelo grande de Xiaomi: 30 personas en el equipo, sin "ChatGPT-like"
**Shen Ran: el 14 de abril, Xiaomi nombró a Luan Jian como jefe del gran equipo de modelos para informarle. ¿Puedes contarnos cómo nació el equipo de modelos grandes de Xiaomi? **
**Wang Bin:**El gran equipo de modelos se anunció en abril, pero ya había comenzado a operar antes de eso.
El 30 de noviembre del año pasado, después de que OpenAI lanzara ChatGPT, algunos de nosotros rápidamente registramos una cuenta y comenzamos a jugar en ella. ChatGPT es realmente subversivo. Llevamos muchos años trabajando en IA y muchas de sus capacidades han superado las expectativas de nuestros desarrolladores.
Pronto, organizamos una serie de grupos internos de comunicación de modelos a gran escala para discutir la tecnología de modelos a gran escala y su impacto disruptivo en la traducción automática, el diálogo hombre-máquina, la respuesta inteligente a preguntas y el servicio al cliente. **Muchas de las personas que participaron en los primeros talleres luego se convirtieron en miembros clave del equipo de maquetas de tiempo completo. **
**Shen Ran: ¿Llegará un poco tarde el equipo de modelos a gran escala de Xiaomi? **
Wang Bin: Para modelos grandes, pertenecemos a la escuela racional.
Antes del nacimiento de ChatGPT, Xiaomi había realizado investigación y desarrollo internos y la aplicación de modelos grandes, principalmente en forma de capacitación previa + supervisión de tareas posteriores y ajuste fino para el diálogo hombre-máquina, y los parámetros del modelo estaban en el miles de millones Por supuesto, este tipo de modelo no es un modelo a gran escala de propósito general como se le llama ahora.
Tenemos muy claro que el desarrollo y aplicación del gran modelo general es un trabajo a largo plazo, no una cuestión de tiempo. Caminábamos de acuerdo con nuestro propio plan de tiempo y pasos, en ese momento sentimos que se había acabado el tiempo, por lo que hicimos un lanzamiento en equipo.
**Shen Ran: ¿Cuántas personas hay en el gran equipo de modelos? ¿Hay planes para seguir expandiéndose? **
**Wang Bin:**El equipo principal actualmente tiene más de 30 personas. Actualmente nos estamos preparando de acuerdo con los aspectos de talentos, datos, modelos, poder de cómputo, evaluación y productos, y luego nos ajustamos o expandimos gradualmente después de cierta etapa.
No ampliaremos inmediatamente la cantidad de personas, como reclutar 100 personas a la vez. Porque en la etapa de escalada de acumulación de capacidad, reclutar a tanta gente quizás no sepa cómo arreglarlo, pero es un desperdicio.
Con la divulgación continua de información sobre modelos grandes y la afluencia continua de capital y talentos, el campo de los modelos grandes se ha desarrollado muy rápido y las opiniones de todos han cambiado mucho. Cuando ChatGPT apareció por primera vez no hace mucho, todos sintieron que era básicamente imposible realizar un modelo similar a gran escala, pero lentamente, muchas personas sintieron que la posibilidad era muy alta, y algunas personas creyeron que muchos productos podrían satisfacerse sin tal un modelo a gran escala demanda. La intensidad de inversión de cada uno también es muy diferente. Algunas personas pueden pensar que el equipo necesita al menos unos cientos de personas, y algunas personas piensan que no es necesario.
**Shenran: ¿Hay algún plan por etapas para el futuro? ¿Cuándo se probará internamente y se lanzará externamente? **
Wang Bin: A diferencia de otras empresas, Xiaomi nace con los atributos de los productos, yo creo que cuando sale el modelo grande de Xiaomi, lo saca el producto.
Es posible que realicemos pruebas internas antes del tercer trimestre. Sin embargo, este no es un nodo inevitable.
**Shen Ran: En otras palabras, ¿Xiaomi no lanzará un producto similar a ChatGPT? **
Wang Bin: Sí, no lanzaremos un PPT ni demostraremos que tenemos un modelo grande. Los escenarios de aplicaciones enriquecidos son nuestra mayor ventaja. **El modelo grande de Xiaomi se integrará más estrechamente con la escena, y el plan de lanzamiento correspondiente debe hacerse en torno al ritmo del producto. **
**Shenran: Además de la mano de obra, ¿cuál es el costo de la potencia informática para que Xiaomi fabrique un modelo grande? **
Wang Bin: Somos una inversión de mediana escala y decidiremos el próximo paso de inversión en función de los resultados de la escalada anterior.
Nuestro juicio básico es que el modelo adecuado para los productos y negocios de Xiaomi puede tener parámetros de decenas de miles de millones**, que serán inferiores a la escala de 100 mil millones, y la inversión en máquinas de entrenamiento es de decenas de millones de RMB.
**Shen Ran: ¿Cómo es el modelo con miles de millones de parámetros creado por Xiaomi antes? **
**Wang Bin: **ChatGPT lanzado el año pasado es una especie de modelo a gran escala, llamado modelo grande de lenguaje preentrenado de uso general. Pero el gran modelo en sí apareció muy temprano, y todos tienen diferentes rutas y métodos.
Comenzamos a hacer un seguimiento del modelo grande antes. En ese momento, creamos un modelo específico de diálogo con alrededor de 2.800 millones a 3.000 millones de parámetros. Se realiza ajustando los datos del diálogo sobre la base del modelo base preentrenado. No es el modelo grande de uso general actual, pero está dedicado al diálogo hombre-máquina. Sexo, déjalo continuar. Más tarde, este modelo se lanzó a Xiaoai y se llevó a cabo una prueba en línea a pequeña escala.
Por lo tanto, AIGC ya se usó en Xiao Ai, pero a nivel de producto, no usamos este modelo grande por completo, sino que usamos la complementariedad del modelo tradicional y el modelo de diálogo grande para usar los dos juntos.
Es probable que el modelo grande de propósito general de Xiaomi sea este modelo híbrido cuando se lance al producto. Los problemas que el modelo tradicional maneja muy bien se transfieren al modelo tradicional. El modelo grande resuelve los problemas en los que es bueno, como algunos eventos de pequeña probabilidad o diálogos de cola larga.
El nivel de diálogo del modelo grande de propósito general que ha aparecido ahora es significativamente más alto que el del modelo grande específico de diálogo anterior, por lo que esta parte del equipo también se ha transferido al modelo grande de propósito general. Este equipo realizó todo el proceso de entrenamiento del modelo de diálogo grande, trepó por algunos pozos y, con la acumulación de datos, tiene ciertas ventajas.
Modelo grande de mijo: la escena es dominante y los datos son un problema
** Shenran: Durante este período de tiempo, el progreso tecnológico ha sido muy rápido y los modelos domésticos a gran escala se están lanzando intensamente. ¿Estarás ansioso por el lento progreso? **
Wang Bin: Solía estar bastante ansioso por un tiempo, porque me entraba un poco de pánico si no terminaba haciéndolo todo el tiempo, y uno pensaba: "¿Cómo pueden los demás progresar tan rápido y ¿Hacerlo todo de una vez?” Ahora bajamos para hacerlo No más preocupaciones.
Se dice que China es ahora una "guerra de los cien modelos", y se han lanzado más de 80 modelos grandes, algunos de los cuales brindan pruebas internas y otros solo se lanzan mediante PPT. El efecto de algunos modelos sigue siendo bueno. A juzgar por el nivel de lanzamiento, el nivel de nuestros modelos grandes desarrollados por nosotros mismos no parece ser peor que muchos modelos. Pero no tenemos prisa por hacer un lanzamiento externo. Primero, para una empresa como Xiaomi, no tiene mucho sentido. En segundo lugar, todavía esperamos mejorar el modelo de desarrollo propio en torno al producto y luego lanzarlo juntos.
**Shenran: ¿Crees que los grandes modelos de las empresas nacionales tienen la oportunidad de ponerse al día con OpenAI? ¿Qué tan grande es la brecha? Les gusta usar tres meses, seis meses para describir. **
Wang Bin: En la actualidad, OpenAI debe estar muy avanzado. Invirtió temprano y tiene una acumulación muy fuerte en talentos, datos, poder de cómputo, ingeniería y productos. Desde la situación interna, siento que todavía hay una cierta brecha entre OpenAI y OpenAI, algunas personas dicen que son tres meses o seis meses, mientras que otras dicen que es un año o dos años. En términos de tiempo, es difícil de decir.
Porque cómo evaluar un modelo grande es un problema muy difícil en sí mismo. Ahora hay rankings de varios modelos grandes, pero ninguno de ellos ha sido reconocido unánimemente por todos. **No existe un estándar de evaluación real, por lo que hablar de ponerse al día en tres meses o seis meses es solo una bofetada. **
En cuanto a si es posible que China se ponga al día con OpenAI, era pesimista en los primeros días y pensé que era casi imposible, pero con la afluencia de varias soluciones de código abierto, varios equipos y capital, mi juicio es más optimista. Creo que China tiene la oportunidad de acortar la distancia con OpenAI, de acercarse o incluso superarlo en muchos escenarios.
**Los modelos grandes no parecen tener un umbral tan alto para los chips. A través de la acumulación y optimización continuas de talentos, datos, poder de cómputo, etc., es posible reducir la brecha continuamente. **
**Shenran: ¿Qué tipos de empresas nacionales tienen más ventajas en los modelos a gran escala? ¿Dónde está la oportunidad para Xiaomi? **
Wang Bin: Independientemente de las grandes empresas o las pequeñas y medianas empresas emergentes, cada una tiene su propio espacio vital. El gran modelo es una ecología, y ni uno solo grande puede tomarlo todo.Todas las empresas en la ecología, incluida la potencia informática, los datos, las aplicaciones y las empresas que realmente hacen grandes modelos, tienen sus propias oportunidades.
Los modelos a gran escala como Xiaomi tienen la ventaja de los escenarios de aplicación. Creemos que la combinación de grandes modelos y escenarios será una gran oportunidad.
Porque si solo lanza un modelo grande y nadie lo usa, es posible que no pueda desarrollarse rápidamente mediante el rodamiento. Y podemos aterrizar inmediatamente en la escena, y a través de la iteración continua, podemos aprovechar al máximo el poder del modelo grande en estas escenas.
Aunque actualmente solo integramos un equipo principal de más de 30 personas, en realidad hay mucha gente en la periferia. En todo el laboratorio de IA, hay más de 100 personas que tienen experiencia en PNL y están haciendo aplicaciones específicas, que incluyen gráficos de conocimiento, traducción automática, diálogo hombre-máquina, servicio al cliente inteligente y respuesta inteligente a preguntas. Todos son personas con el pensamiento básico de modelos grandes y tecnologías relacionadas, y están promoviendo la exploración de modelos grandes desde la perspectiva de sus respectivas aplicaciones.
**Shen Ran: ¿Qué tan valiosa es la acumulación de Xiaomi en la investigación de PNL para modelos grandes? **
Wang Bin: Hay dos opiniones en la industria. Una forma de decirlo es que es posible que algunos de nosotros no tengamos trabajo, y la IA nos ha matado, especialmente aquellos que hacen PNL pueden no tener trabajo. También hay un dicho que, después de todo, el gran modelo está hecho de PNL, y quienes practican PNL tienen ventajas inherentes.
Ambas afirmaciones tienen algo de verdad, pero después de todo, se trata de mi trabajo, me inclino más por la última afirmación.
Los modelos grandes se exploraron originalmente en varios campos, incluidos la visión, el habla y la PNL. Pero por qué es el primer avance en el campo de la PNL, creo que hay razones esenciales para ello. Entiendo al menos dos puntos: el primero es la riqueza y la fácil disponibilidad de los datos lingüísticos, y el segundo es que hay un conocimiento muy rico que refleja el proceso de pensamiento humano escondido detrás de los datos lingüísticos.
Entonces, creo que las personas que se han acumulado en el campo de la PNL durante muchos años tienen ciertas ventajas innatas para comprender y transformar modelos grandes. Muchos miembros del equipo de modelos a gran escala de Xiaomi trabajaron originalmente en la dirección de NLP. Varias empresas emergentes que son muy buenas para hacer modelos a gran escala en China también salieron del campo de la PNL.
**Shen Ran: ¿Cuáles son las dificultades actuales de Xiaomi para superar el modelo grande? ¿Cómo superarlo? **
**Wang Bin:**En primer lugar, todavía quiero decir que el modelo grande en sí tiene desafíos muy grandes.
Un gran desafío es la incertidumbre de la tecnología. Hemos visto algunos informes, e incluso el propio equipo de OpenAI no tiene muy claros los principios reales detrás del modelo grande, y si lo vuelven a hacer, no están seguros de si se producirán los mismos resultados "emergentes". Creo que OpenAI está diciendo la verdad en este punto, debido a la gran incertidumbre en la tecnología, la inversión no puede garantizar que se pueda entrenar un modelo grande que cumpla con las expectativas.
La acumulación de datos de alta calidad también es un desafío. En general, se cree que los modelos grandes requieren datos de entrenamiento extremadamente grandes y de alta calidad. La calidad de los datos disponibles públicamente en Internet es relativamente mala en general, por lo que la adquisición y limpieza de ** datos son desafíos relativamente grandes. **
Otro desafío es, por supuesto, la potencia informática. En primer lugar, no significa que haya tantas cartas que se puedan entrenar, cómo hacer un buen uso de estas cartas es un desafío a nivel de sistema en sí mismo. En segundo lugar, debido a que se pueden cometer errores durante el proceso de capacitación, se puede quemar el dinero y no se puede quemar nada, por lo que depende de si tiene la capacidad de entrenar un modelo grande a un costo controlable.
En términos prácticos, los desafíos actuales de ** datos y poder de cómputo aún son relativamente grandes, especialmente datos de alta calidad a gran escala **. Después del período anterior de escalada, ahora estamos básicamente seguros de que, siempre que los datos estén en su lugar y utilicen la potencia informática existente, probablemente podamos saber cuántos días llevará entrenar un buen modelo base.
**Shenran: ¿Se ha reducido ahora el costo del entrenamiento de modelos grandes? **
Wang Bin: Por un lado, el costo de prueba y error es más bajo que antes. Debido a que el entrenamiento de modelos grandes puede tomar desvíos y fallar, pero con la divulgación de información diversa, es posible encontrar rápidamente la dirección correcta del entrenamiento. Por otro lado, muchas empresas de computación en la nube, chips y otras empresas, así como muchas empresas de nueva creación, están brindando servicios de inferencia y capacitación de modelos grandes de bajo costo. Con el mayor desarrollo de toda la ecología, creo que el costo de la capacitación seguirá disminuyendo.
¿Cómo afecta el modelo grande al negocio de Xiaomi?
**Shen Ran: ¿Puede presentar en detalle el Xiaomi AI Lab del que es responsable? **
Wang Bin: Después del nacimiento de "AlphaGo" en 2016, el Sr. Lei promovió de inmediato la construcción del equipo de IA. El AI Lab se estableció formalmente en 2016 y estoy a cargo desde 2019.
Resulta que el AI Lab es parte del Ministerio de Inteligencia Artificial. Más tarde, el Departamento de Inteligencia Artificial se fusionó con el Comité Técnico del Grupo, y ahora el Laboratorio de IA está directamente bajo el Comité Técnico.
El tamaño actual del equipo del Laboratorio de IA es de unas 350 personas y tiene seis direcciones, a saber, aprendizaje automático, procesamiento de lenguaje natural (NLP), visión por computadora, acústica, habla y gráficos de conocimiento.
Después de que salió el modelo grande, AI Lab creó un equipo de modelo grande de tiempo completo. Ahora nos estamos enfocando en el modelo grande de lenguaje, pero también estamos prestando atención al modelo grande multimodal.
**Shen Ran: el Sr. Lu (presidente de Xiaomi Group Lu Weibing) dijo que el equipo de IA de Xiaomi cuenta actualmente con más de 1200 personas. Además del laboratorio de IA, ¿qué otros departamentos dentro de Xiaomi están fuertemente relacionados con la IA? **
**Wang Bin:**Además del laboratorio de IA, también está el equipo de Xiao Ai, ambos bajo el comité técnico.
Además del comité técnico, hay muchos departamentos con equipos de IA relativamente grandes, incluido el departamento de piloto automático del departamento automotriz, el departamento de cámaras del teléfono móvil y el departamento de software. Además, el crecimiento de usuarios y las recomendaciones publicitarias en el El departamento comercial de Internet está relacionado con la IA.
En resumen, algunos equipos relacionados con la IA están en el departamento comercial y otros en el comité técnico. El número total es de aproximadamente 1200. Si considera algunos equipos pequeños, personalmente creo que este número es aún mayor.
**Shen Ran: ¿Cuál es el papel de Xiaomi AI Lab en la estrategia de IA de Xiaomi? **
**Wang Bin:**AI Lab es el departamento de investigación, desarrollo y producción de tecnología de IA a nivel de grupo. En términos sencillos, estamos exportando tecnología de IA a toda la empresa.
Una vez comparamos el laboratorio de IA con el "campo experimental" y el "depósito de municiones" de la tecnología de IA a nivel de grupo. Debido al rápido desarrollo de la IA, el laboratorio de IA desarrollará algunas tecnologías de vanguardia a mediano y largo plazo, hará reservas en torno al negocio de Xiaomi y generará "municiones" cuando el grupo las necesite.
En términos de tecnología de IA, debemos tener las reservas más completas en la empresa, y también somos muy poderosos en la industria.
**Shen Ran: ¿Cuáles son los logros de investigación importantes de Xiaomi AI Lab? **
Wang Bin: El concepto de nuestro laboratorio de IA enfatiza la combinación de tecnología y escenarios. Actualmente, los artículos publicados no se consideran OKR. Por lo tanto, después de que llegué a Xiaomi de la Academia de Ciencias de China (Academia de Ciencias de China), siento que el mayor logro no es el progreso de un solo punto de tecnología, sino la ingeniosa integración de tecnología y productos.
Xiaomi es una empresa To C. Nuestra producción de capacidad de IA no se exporta directamente al mundo exterior por el momento, sino a través de los productos de la empresa. Hemos logrado muchos logros, incluidos muchos algoritmos de procesamiento de álbumes de fotos y cámaras en teléfonos móviles Xiaomi, algoritmos de voz y NLP involucrados en Xiao Ai, y algoritmos de IA en los sistemas de recomendación, búsqueda y servicio al cliente de Xiaomi Mall.
Déjame darte un ejemplo. Hemos desarrollado una función de traducción fuera de línea en nuestro teléfono móvil. Por ejemplo, después de ir al extranjero, la red no es tan buena en muchos casos. En este momento, encienda la función de traducción del teléfono móvil Xiaomi sin usar la nube En el estado fuera de línea, en tiempo real, privacidad y El efecto de traducción es mejor. La implementación y aplicación de esta función no es fácil. Hemos realizado un gran trabajo de optimización en los efectos de traducción y el rendimiento.
**En Xiaomi, no es nuestra propia tecnología la que se usará primero. La tecnología interna también debe competir con la tecnología externa de manera justa. Solo el ganador puede sobrevivir y aplicarse a los productos. **
**Wang Bin:**La capacidad más fuerte del modelo grande, en términos simples, es que comprende mejor a las personas y, obviamente, puede optimizar la forma de interacción humano-computadora. El compañero de clase Xiao Ai de Xiaomi, el sistema operativo de teléfono móvil MIUI, la cabina del automóvil, IoT y los robots son escenarios típicos en los que se aplican modelos grandes.
**Shen Ran: ¿Podrías usar a Xiao Ai como ejemplo? **
Wang Bin: Aplicado a Xiao Ai, puede hacer dos cosas al mismo tiempo. Una es hacer posible lo imposible, lo que equivale a tener nuevas funciones. Por ejemplo, le pedí a Xiao Ai que hiciera un plan de viaje o que ordenara comidas, etc. No se ha logrado la capacidad técnica original, y si el usuario lo expresa de otra manera, se estropeará. Pero Con el apoyo de modelos grandes, tiene una comprensión más profunda del habla humana, por lo que se pueden completar tareas complejas, y este tipo de aplicación es factible.
Otra categoría es la mejora de la función original, que es equivalente a la guinda del pastel. Debido al nerviosismo y la diversidad de las expresiones humanas, en el proceso de interacción humano-computadora de Xiaoai, el mayor problema es encontrar pequeños eventos de probabilidad. Lo llamamos Caso de la esquina y, por lo general, adoptamos una estrategia conservadora para permitir que Xiaoai diga: "Yo puedo". t respondo", "todavía estoy aprendiendo"**. Este tipo de respuesta de apoyo también puede continuar la conversación, pero la experiencia no es buena. Pero la tecnología de modelo grande puede continuar el diálogo durante más tiempo y mejorar en gran medida la satisfacción del usuario.
**Shenran: ¿El modelo grande tiene un gran impacto en el hogar inteligente? **
**Wang Bin:**Según mi entendimiento personal, el modelo grande puede al menos mejorar la experiencia del usuario del hogar inteligente en términos de capacidades interactivas.
Aunque hay muchos dispositivos que dicen ser "inteligentes", a menudo se comportan como "retrasados mentales" y la tasa de uso no es alta. Por ejemplo, encender el aire acondicionado o ajustar la temperatura del aire acondicionado, si la declaración es diferente del comando estándar, es posible que no sea posible controlar el dispositivo IoT.
Pero después de la llegada del modelo grande, tiene una comprensión más profunda del lenguaje humano. En muchos casos, hay varias expresiones. El modelo grande puede traducir la expresión del usuario en instrucciones que la máquina puede entender. Esto impulsará a más personas a usar dispositivos inteligentes y permitirá que todo el ecosistema crezca más rápido.
**Shenran: Además de la mejora de los negocios existentes, ¿hay otras cosas que Xiaomi no podía hacer antes, pero que es posible hacer después de tener un modelo grande? **
Wang Bin: Haremos una colaboración profunda entre el modelo grande y estas empresas. Por supuesto, además de esto, también estamos buscando más posibilidades.
Nuestro equipo ha escrito muchos artículos para promover modelos grandes dentro de la empresa, incluido el concepto y el desarrollo tecnológico de modelos grandes, y para enseñar a todos cómo usar ChatGPT para resolver problemas comerciales. El Sr. Lei ha pedido a todos los departamentos que aprendan modelos a gran escala y requiere que todos tengan un pensamiento básico sobre modelos a gran escala y que piensen en cómo integrarse con el negocio.