Pode ser difícil para você imaginar que, em um espaço sem tela ou mouse, você possa completar um artigo de 5.000 palavras com apenas um par de óculos AR e um host de bolso.
É isso mesmo, em 26 de agosto, na conferência de lançamento de novos produtos Rokid Jungle de 2023, tal cena está realmente acontecendo. Na reunião, a Rokid lançou o Rokid AR Studio, uma plataforma de computação espacial pessoal OST (óptica transparente) de nível consumidor, incluindo dois produtos de hardware importantes, Rokid Max Pro (4.999 yuans) e Rokid Station Pro (3.999 yuans).
Zhu Mingming, fundador e CEO da Rokid, disse na conferência de imprensa: "A computação espacial pode ser integrada de forma mais natural na vida diária e no trabalho, e deixe o Rokid AR Studio se tornar seu primeiro computador espacial."
Isso é muito diferente da percepção que as pessoas tinham dos óculos AR no passado. Antes disso, os óculos AR estavam "bloqueados" no cenário do entretenimento, contando com os dois pilares da indústria do cinema, da televisão e dos jogos para sobreviver, mas o Rokid AR Studio realmente se tornou uma ferramenta de produtividade pessoal, software de mensagens instantâneas, escrita de artigos, escrita de código , pesquisa de informações, etc. E outros cenários de trabalho podem ser concluídos com o hardware mais recente.
**A expansão dos cenários de uso permite que os dispositivos AR mudem de cenários marginalizados para valores de uso mais práticos. Quando os consumidores estiverem dispostos a pagar, toda a cadeia da indústria de AR entrará no ciclo positivo do mercado consumidor. **
Zhu Mingming, o chefe que disse ser um "medo social", é um completo controle de produto e tecnologia. Certa vez, ele matou internamente duas versões do primeiro rascunho do design do produto, o que quase deixou o departamento de produto "louco". Mas quando o departamento de produtos retirou secretamente o produto projetado, Zhu Mingming imediatamente ordenou que todos os recursos fossem dedicados a este produto. "Só me importo com uma estatística, que é o tempo de uso do usuário. Atualmente, o tempo real de uso do nosso usuário é próximo de uma hora e meia, e a taxa de retenção semanal ultrapassa 20%. Se isso for feito, os usuários crescerão naturalmente ."
**O número acumulado de usuários atingiu o nível de um milhão, o que também significa que a indústria de AR entrou na segunda fase de sistema de software e construção ecológica. Nos últimos anos, mais e mais fornecedores de sistemas, fornecedores de software de aplicação e fornecedores de conteúdo juntaram-se à construção do ecossistema AR. **
“Um grupo de lunáticos, um sonho, dez anos.”
Como disse Zhu Mingming, Rokid levou 10 anos para passar das cenas de entretenimento às ferramentas de produtividade. Por trás disso está não apenas um salto no pensamento, mas também um grande passo em frente da tecnologia de hardware para a tecnologia de software e até mesmo de toda a cadeia da indústria. Apple e Rokid iniciaram a segunda fase da competição de AR, e a competição na indústria também está se acelerando.
**SLAM monocular, como redefinir a interação? **
Em toda a coletiva de imprensa, o mais surpreendente não foi o corpo do Rokid Max Pro 76g, mas apenas uma câmera, que foi capaz de completar SLAM (tecnologia de posicionamento espacial), interação por microgestos, compartilhamento de perspectiva em primeira pessoa, posicionamento visual Capacidades VPS e outros métodos interativos integrados. **
Depois de experimentar interação física (alça), interação de voz e interação de gestos, os dispositivos AR/VR estão se desenvolvendo em direção ao rastreamento ocular e à atual solução de interação de fusão multissensorial.
Porém, a interação de integração multissensorial exige maiores requisitos de hardware. Além de atender às necessidades básicas, também é necessário capturar ações e gestos do usuário de todas as direções e de vários ângulos para completar a interação com precisão.
**Quão difícil é concluir a interação SLAM com uma única câmera? **
O método SLAM visual consiste em dois módulos, um é Rastreamento, posição conhecida do ponto 3D, posicionamento básico; o outro é Mapeamento, atualização da posição do ponto 3D. Independentemente de qual link ou método, monocular significa que apenas uma câmera pode ser selecionada, bem como uma posição fixa e um ângulo fixo, o que representa grandes desafios para o alcance de reconhecimento, velocidade de rastreamento e precisão.
“A indústria acredita que o SLAM monocular é inacreditável e difícil de alcançar”, disse Zhu Mingming brincando: “Isso também pode ser uma afirmação de Rokid”.
Atualmente, os poucos óculos AR com interação espacial no mercado serão equipados com pelo menos três câmeras para realizar funções de algoritmo. **A diferença nas rotas visuais também formou dois campos: VST (perspectiva de vídeo) representada pela Apple e OST (perspectiva óptica) representada pela Rokid. **
Ainda tomando o Apple Vision Pro como exemplo, ele usa 12 câmeras para “empilhar” captura de posicionamento rápido, percepção panorâmica de alta precisão e rastreamento preciso, e usa VST para exibir o mundo externo na tela do terminal por meio das câmeras. filma em tempo real para ver o mundo exterior.
Porém, o método de empilhamento de hardware para interação aumentou o custo e ao mesmo tempo dobrou o preço, o que causou dois grandes problemas de pouso: o peso da máquina e a dificuldade de produção em massa. Esta é a razão fundamental pela qual o Apple Vision Pro custa US$ 3.499 e não será produzido em massa até 2024.
No entanto, a solução OST em que Rokid insiste tem certas barreiras técnicas: devido ao complexo design do pipeline, ao ângulo de visão limitado da tela e ao alto custo dos componentes ópticos, Rokid só pode passar por avanços tecnológicos para reduzir custos sobrepostos.
E como funciona o SLAM monocular que faz a indústria pensar “inacreditável”? Após a reunião, Lightcone Intelligence teve uma conversa aprofundada com Zhu Mingming e descobriu que o "truque único" de Rokid é usar algoritmos de IA para romper as barreiras do hardware. **
Zhu Mingming apresentou que embora a tecnologia SLAM monocular já exista há muito tempo, ela nunca foi aplicada aos óculos AR. A câmera frontal do celular também aplica esse tipo de tecnologia. A única diferença é: o algoritmo.
Da IA à AR, este é um caminho que parece abranger, mas na verdade está integrado, mas também se deve ao acúmulo de Rokid no campo da IA nos últimos anos, por meio do modelo de algoritmo visual multidimensional, incluindo posicionamento e aprimoramento visual, tecnologia humana digital, reconhecimento de gestos 2D/3D, reconhecimento de OCR e outras tecnologias permitem que a IA atinja cenários específicos.
Por exemplo, a função de posicionamento e aprimoramento visual AR é resolver e romper a limitação de propósito único.Ao construir um mapa visual de nível centimétrico, a informação virtual pode ser sobreposta e fundida com precisão no mundo do objeto real para alcançar alta precisão. Reconstrução 3D de objetos e cenas.
Wang Junjie, vice-presidente da Rokid e chefe do centro XR, disse: "O posicionamento espacial é baseado na tecnologia SLAM e, então, a interação estável e natural pode ser realizada no espaço. Leva de 1 a 2 segundos para inicializar rapidamente o algoritmo para estabelecer um espaço de mapeamento."
No mercado, a maioria dos dispositivos ainda utiliza soluções binoculares, mas a fusão binocular também apresenta muitos problemas.Além do custo de adicionar uma câmera adicional, também é necessário usar continuamente algoritmos para ajustar os dados das duas câmeras em tempo real. Isso leva a questões mais complexas.
Deste ponto de vista, se a solução monocular puder ser realizada sem problemas, a Rokid assumirá a liderança no avanço de uma tendência tecnológica. Anteriormente, a Rokid também foi o primeiro fabricante de hosts de estação do setor. A solução de separação de vidros e hosts provou ser a solução ideal para a experiência do setor.
Além disso, no reconhecimento de gestos, o Rokid adota o modo interativo de microgestos, e você pode clicar e selecionar com um toque dos dedos; também pode alternar a interface ou o conteúdo que está navegando movendo o gesto para a esquerda e para a direita. Definições lógicas, como gestos simples de pinçar e deslizar, são mais naturais e começam mais rápido.
De acordo com nossos resultados de testes no local, Rokid pode realizar interação espacial com as duas mãos. Atualmente, o algoritmo de reconhecimento de gestos Rokid suporta o reconhecimento de cenas complexas, como rotação de eixo horizontal/espacial, luz clara/escura, etc. ., O algoritmo é preciso, a taxa geral de reconhecimento é de cerca de 90% e tem capacidade de resposta de reconhecimento de nível de milissegundos e garantia de confiabilidade de 99%.
De acordo com Rokid, com base no algoritmo de aprendizado profundo e em uma grande quantidade de dados experimentais, o algoritmo de gesto 3D monocular pode reconstruir parâmetros de postura da mão em tempo real no terminal móvel, incluindo mão 6DoF, ponto de articulação da mão 6DoF e informações de malha de mão, fornecendo interação por gestos AR. Boa base algorítmica.
Atualmente, o reconhecimento de gestos da Rokid pode realizar uma variedade de operações no espaço 3D, incluindo apontar, apertar, agarrar, segurar, arrastar, puxar, etc., que podem atender plenamente às necessidades de aplicativos interativos de AR. Por exemplo, coloque o Rokid Max Pro, estique a mão e abra a palma na frente dos olhos para abrir o menu.
Afinal, para suportar uma estrutura de algoritmo tão complexa, o herói por trás dela não é apenas a câmera, mas também está intimamente relacionado ao poder computacional e ao desempenho do “cérebro”, ou seja, o Rokid Station Pro.
COMPUTADOR ESPAÇO NO SEU BOLSO
** Por muito tempo, toda a indústria de VR/AR teve um triângulo impossível de “poder computacional, conforto e preço”. Dispositivos com maior poder de computação tendem a ser mais pesados e caros, e dispositivos leves e com alto conforto não conseguem atender às necessidades de uso. **
A julgar pela situação real, não existe uma solução "perfeita" no momento. Os principais fabricantes estão tentando encontrar um equilíbrio entre os dois. Existem dois tipos de soluções convencionais no mercado atual: uma é representada pela Apple. O display e a computação é integrada e a bateria é conectada externamente; o outro é o design dividido de exibição e computação representado pela Rokid.
O design integrado da Apple integra duas telas micro-OLED, múltiplas câmeras, sensores, alto-falantes e outros componentes, o que é mais eficiente em termos de efeitos de exibição e cálculos, mas também aumentará o peso do próprio corpo, resultando em apenas Conecte a bateria externamente.
O design dividido em que Rokid insiste maximiza a usabilidade. Comparado com o peso do Vision Pro de 454g, o peso dos óculos de 76g é quase o mesmo dos óculos comuns. Ao mesmo tempo, o poder de computação do host também pode ser menos limitado por recursos espaciais, evitando até certo ponto o desconforto causado pela dissipação de calor.
**Em geral, a rota do tipo dividido pode alcançar o desenvolvimento final bidirecional da portabilidade dos óculos e do poder de computação do host, e também é mais flexível. A iteração do poder de computação e a rota técnica de os óculos podem ser executados de forma assíncrona. **
Com base no design dividido, o Rokid Station Pro atualizou seu poder de computação para criar um terminal All in One que integra computação, imagem, comunicação e outras funções. Também pode ser chamado de "ferramenta de produtividade".
De acordo com a Lightcone Intelligence, o Rokid Station Pro está equipado com Qualcomm Snapdragon XR2+, 12G RAM + 128G ROM e suporta WIFI6/6E e BT5.1. Com dissipação de calor e maior desempenho, pode atingir precisão de rastreamento 6DoF de nível centimétrico e extremamente baixa Atraso de renderização MTP (Motion to Photon).
De acordo com informações públicas, o Snapdragon XR2 + é a mais recente plataforma XR lançada pela Qualcomm, que pode atingir 50% de vida útil da bateria e 30% de melhoria no desempenho de dissipação de calor, permitindo assim uma experiência mais rica e envolvente em um formato de dispositivo menor e mais fino. Ao mesmo tempo, a plataforma Snapdragon XR2 + introduz um novo pipeline de processamento de imagem, que pode atingir um atraso de menos de 10 milissegundos e abrir uma experiência de RM transparente de vídeo em cores.
A julgar pela experiência local do Light Cone Intelligence, seja assistindo filmes, jogando ou acionando teclados para processos de trabalho e produção, especialmente sob a interação de alta frequência e luta de jogos, a suavidade e velocidade de resposta da tela são muito sedosos.
Vale ressaltar que o algoritmo central atualmente no mercado ainda é o 3DoF (rastreamento de três graus de liberdade), o que significa que o dispositivo pode detectar a rotação nas três direções para cima, para frente e para baixo, mas não consegue detectar o deslocamento espacial da cabeça, frente, trás, esquerda e direita.
O algoritmo 6DoF adotado pelo Station Pro atualizado pode não apenas detectar a mudança no ângulo de visão causada pela rotação da cabeça, mas também detectar os seis tipos de mudanças de deslocamento de "para cima, para baixo, frente, trás, esquerda, e direito" causado pelo movimento do corpo.
A atualização deste algoritmo é mais importante no grau de liberdade do jogador. Por exemplo, ao lutar contra zumbis sob o algoritmo 3DoF, o campo de tiro está em um determinado ângulo na frente, mas após a atualização, os zumbis aparecem em 360 graus e, quando você se vira, a sensação corporal dos zumbis atrás de você está além o alcance do primeiro.
Em outras palavras, não apenas o poder de computação é maior e a experiência mais suave, mas a expansão do espaço de poder de computação também trouxe uma enorme diferença na sensação do corpo.
Said Bakadir, diretor sênior de gerenciamento de produtos XR da Qualcomm Technologies, disse: "A plataforma Snapdragon XR2+ de primeira geração é a melhor escolha para permitir a próxima geração de experiências XR. A Qualcomm Technologies fornece a plataforma líder do setor para Rokid Station Pro, suportando para criar seu próprio ecossistema exclusivo de aplicativos de AR."
Faça iOS na indústria de AR
Claro, a razão pela qual o telefone móvel da Apple pode dominar o mercado de telefonia móvel durante todo o ano não é apenas por causa de seu hardware, mas também por causa de seu sistema e ecologia. As barreiras construídas pelo cultivo de hábitos de usuário através de sistemas de software são muitas vezes mais fortes do que o próprio hardware.
**Isso é parte do motivo do sistema operacional espacial AR desenvolvido pela própria Rokid - YodaOS-Master, mas não é todo o motivo. **
No Rokid Open Day em março deste ano, Rokid lançou oficialmente o YodaOS-Master e lançou a "Plataforma de Criação de Espaço AR Lingjing", que permite a todos criar conteúdo AR no espaço 3D, e todos podem participar, quebrando completamente as barreiras da criação de AR ... Limiar, deixe a energia potencial ecológica explodir.
**Se SLAM monocular, reconhecimento de gestos 3D, Snapdragon XR+ e plataforma Lingjing são lâminas afiadas, então o YodaOS-Master pode liberar esses truques por meio de um sistema autodesenvolvido. **
Simplificando, a Rokid está trilhando um caminho que ninguém jamais percorreu, e a filosofia da Rokid é “o software define tudo”.Todo software precisa ser transportado e fornecido pelo sistema para exercer seu valor.
Concentrando-se nos cinco aspectos de percepção, compreensão, interação, apresentação, colaboração e criação digital, YodaOS-Master fez uma grande atualização em termos de otimização de chip, design de hardware, arquitetura de software, algoritmo AR e ferramentas de criação. o mais completo da atualidade.Um conjunto de sistemas operacionais espaciais para a era AR.
Na coletiva de imprensa, Rokid também demonstrou a abertura e comodidade trazidas pelo sistema desenvolvido por ele mesmo. Para dar alguns exemplos óbvios, Com base no sistema autodesenvolvido e na plataforma Snapdragon XR+, Rokid desenvolveu um modo paralelo multitarefa, quebrando as restrições anteriores de apenas uma única tarefa, permitindo bate-papo, escrita de código, e A cena de visualização de documentos pode ser realizada ao mesmo tempo e aproveitar ao máximo as vantagens da tela grande no espaço, de modo a maximizar a eficiência da produção.
**Outro caso extremamente inovador é que Rokid redefine a pesquisa espacial com base em seu sistema autodesenvolvido. **Zhu Mingming introduziu que isso quebra a forma anterior de exibir informações de pesquisa, e a apresentação dos resultados da pesquisa não é mais um efeito plano bidimensional, mas existe em um espaço tridimensional. "Os resultados mais relevantes para a pergunta serão os mais próximos de você, e os resultados mais relevantes estarão na página secundária. Quanto mais longe, menos relevantes. Claro, você também pode riscar os resultados anteriores e selecione dinamicamente os resultados desejados."
Desta forma, a sensação de futuro é instantaneamente plena e também mostra a diferença essencial em relação ao equipamento AR de primeiro estágio.
** Pode-se ver que a ecologia aberta da indústria de AR começou a entrar no segundo estágio. Apple e Rokid não apenas se movem para a esquerda e para a direita na direção do hardware, mas também no desenvolvimento de software de sistema industrial e ecologia. Através da cocriação de hardware, algoritmos, ecologia de software, desenvolvedores, usuários e plataformas, a AR avançará para o segundo estágio de rápido desenvolvimento em uma ecologia completamente aberta. **
Shi Wenfeng, engenheiro-chefe de pesquisa e desenvolvimento do sistema Rokid, disse: "O sistema operacional YodaOS-Master integra múltiplas tecnologias principais de reconhecimento de voz Rokid, reconhecimento de gestos, SLAM, etc. em serviços do sistema por meio de uma abordagem orientada a serviços e fornece um variedade de SDKs de clientes para desenvolvimento Os desenvolvedores podem desenvolver com eficiência, como o SDK para Unity, que permite que os desenvolvedores do Unity (canal de aplicativos do desenvolvedor: URL de plataforma aberta (ar.rokid.com)) usem rapidamente a tecnologia principal da Rokid para desenvolvimento.”
Do hardware ao software, do sistema à ecologia, o caminho de desenvolvimento de Rokid é um pouco como o da Apple na era Jobs.
“A indústria de AR está chegando pouco antes do amanhecer”, disse Zhu Mingming.
Ver original
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
O Android no mundo AR está na China, Rokid detona o frenesi da computação espacial
Fonte original: Light Cone Intelligence
Autor: Liu Yuqi
Pode ser difícil para você imaginar que, em um espaço sem tela ou mouse, você possa completar um artigo de 5.000 palavras com apenas um par de óculos AR e um host de bolso.
É isso mesmo, em 26 de agosto, na conferência de lançamento de novos produtos Rokid Jungle de 2023, tal cena está realmente acontecendo. Na reunião, a Rokid lançou o Rokid AR Studio, uma plataforma de computação espacial pessoal OST (óptica transparente) de nível consumidor, incluindo dois produtos de hardware importantes, Rokid Max Pro (4.999 yuans) e Rokid Station Pro (3.999 yuans).
Isso é muito diferente da percepção que as pessoas tinham dos óculos AR no passado. Antes disso, os óculos AR estavam "bloqueados" no cenário do entretenimento, contando com os dois pilares da indústria do cinema, da televisão e dos jogos para sobreviver, mas o Rokid AR Studio realmente se tornou uma ferramenta de produtividade pessoal, software de mensagens instantâneas, escrita de artigos, escrita de código , pesquisa de informações, etc. E outros cenários de trabalho podem ser concluídos com o hardware mais recente.
Zhu Mingming, o chefe que disse ser um "medo social", é um completo controle de produto e tecnologia. Certa vez, ele matou internamente duas versões do primeiro rascunho do design do produto, o que quase deixou o departamento de produto "louco". Mas quando o departamento de produtos retirou secretamente o produto projetado, Zhu Mingming imediatamente ordenou que todos os recursos fossem dedicados a este produto. "Só me importo com uma estatística, que é o tempo de uso do usuário. Atualmente, o tempo real de uso do nosso usuário é próximo de uma hora e meia, e a taxa de retenção semanal ultrapassa 20%. Se isso for feito, os usuários crescerão naturalmente ."
**O número acumulado de usuários atingiu o nível de um milhão, o que também significa que a indústria de AR entrou na segunda fase de sistema de software e construção ecológica. Nos últimos anos, mais e mais fornecedores de sistemas, fornecedores de software de aplicação e fornecedores de conteúdo juntaram-se à construção do ecossistema AR. **
“Um grupo de lunáticos, um sonho, dez anos.”
Como disse Zhu Mingming, Rokid levou 10 anos para passar das cenas de entretenimento às ferramentas de produtividade. Por trás disso está não apenas um salto no pensamento, mas também um grande passo em frente da tecnologia de hardware para a tecnologia de software e até mesmo de toda a cadeia da indústria. Apple e Rokid iniciaram a segunda fase da competição de AR, e a competição na indústria também está se acelerando.
**SLAM monocular, como redefinir a interação? **
Em toda a coletiva de imprensa, o mais surpreendente não foi o corpo do Rokid Max Pro 76g, mas apenas uma câmera, que foi capaz de completar SLAM (tecnologia de posicionamento espacial), interação por microgestos, compartilhamento de perspectiva em primeira pessoa, posicionamento visual Capacidades VPS e outros métodos interativos integrados. **
Porém, a interação de integração multissensorial exige maiores requisitos de hardware. Além de atender às necessidades básicas, também é necessário capturar ações e gestos do usuário de todas as direções e de vários ângulos para completar a interação com precisão.
**Quão difícil é concluir a interação SLAM com uma única câmera? **
O método SLAM visual consiste em dois módulos, um é Rastreamento, posição conhecida do ponto 3D, posicionamento básico; o outro é Mapeamento, atualização da posição do ponto 3D. Independentemente de qual link ou método, monocular significa que apenas uma câmera pode ser selecionada, bem como uma posição fixa e um ângulo fixo, o que representa grandes desafios para o alcance de reconhecimento, velocidade de rastreamento e precisão.
“A indústria acredita que o SLAM monocular é inacreditável e difícil de alcançar”, disse Zhu Mingming brincando: “Isso também pode ser uma afirmação de Rokid”.
Atualmente, os poucos óculos AR com interação espacial no mercado serão equipados com pelo menos três câmeras para realizar funções de algoritmo. **A diferença nas rotas visuais também formou dois campos: VST (perspectiva de vídeo) representada pela Apple e OST (perspectiva óptica) representada pela Rokid. **
Ainda tomando o Apple Vision Pro como exemplo, ele usa 12 câmeras para “empilhar” captura de posicionamento rápido, percepção panorâmica de alta precisão e rastreamento preciso, e usa VST para exibir o mundo externo na tela do terminal por meio das câmeras. filma em tempo real para ver o mundo exterior.
Porém, o método de empilhamento de hardware para interação aumentou o custo e ao mesmo tempo dobrou o preço, o que causou dois grandes problemas de pouso: o peso da máquina e a dificuldade de produção em massa. Esta é a razão fundamental pela qual o Apple Vision Pro custa US$ 3.499 e não será produzido em massa até 2024.
No entanto, a solução OST em que Rokid insiste tem certas barreiras técnicas: devido ao complexo design do pipeline, ao ângulo de visão limitado da tela e ao alto custo dos componentes ópticos, Rokid só pode passar por avanços tecnológicos para reduzir custos sobrepostos.
E como funciona o SLAM monocular que faz a indústria pensar “inacreditável”? Após a reunião, Lightcone Intelligence teve uma conversa aprofundada com Zhu Mingming e descobriu que o "truque único" de Rokid é usar algoritmos de IA para romper as barreiras do hardware. **
Zhu Mingming apresentou que embora a tecnologia SLAM monocular já exista há muito tempo, ela nunca foi aplicada aos óculos AR. A câmera frontal do celular também aplica esse tipo de tecnologia. A única diferença é: o algoritmo.
Da IA à AR, este é um caminho que parece abranger, mas na verdade está integrado, mas também se deve ao acúmulo de Rokid no campo da IA nos últimos anos, por meio do modelo de algoritmo visual multidimensional, incluindo posicionamento e aprimoramento visual, tecnologia humana digital, reconhecimento de gestos 2D/3D, reconhecimento de OCR e outras tecnologias permitem que a IA atinja cenários específicos.
Por exemplo, a função de posicionamento e aprimoramento visual AR é resolver e romper a limitação de propósito único.Ao construir um mapa visual de nível centimétrico, a informação virtual pode ser sobreposta e fundida com precisão no mundo do objeto real para alcançar alta precisão. Reconstrução 3D de objetos e cenas.
Wang Junjie, vice-presidente da Rokid e chefe do centro XR, disse: "O posicionamento espacial é baseado na tecnologia SLAM e, então, a interação estável e natural pode ser realizada no espaço. Leva de 1 a 2 segundos para inicializar rapidamente o algoritmo para estabelecer um espaço de mapeamento."
No mercado, a maioria dos dispositivos ainda utiliza soluções binoculares, mas a fusão binocular também apresenta muitos problemas.Além do custo de adicionar uma câmera adicional, também é necessário usar continuamente algoritmos para ajustar os dados das duas câmeras em tempo real. Isso leva a questões mais complexas.
Deste ponto de vista, se a solução monocular puder ser realizada sem problemas, a Rokid assumirá a liderança no avanço de uma tendência tecnológica. Anteriormente, a Rokid também foi o primeiro fabricante de hosts de estação do setor. A solução de separação de vidros e hosts provou ser a solução ideal para a experiência do setor.
Além disso, no reconhecimento de gestos, o Rokid adota o modo interativo de microgestos, e você pode clicar e selecionar com um toque dos dedos; também pode alternar a interface ou o conteúdo que está navegando movendo o gesto para a esquerda e para a direita. Definições lógicas, como gestos simples de pinçar e deslizar, são mais naturais e começam mais rápido.
De acordo com Rokid, com base no algoritmo de aprendizado profundo e em uma grande quantidade de dados experimentais, o algoritmo de gesto 3D monocular pode reconstruir parâmetros de postura da mão em tempo real no terminal móvel, incluindo mão 6DoF, ponto de articulação da mão 6DoF e informações de malha de mão, fornecendo interação por gestos AR. Boa base algorítmica.
Atualmente, o reconhecimento de gestos da Rokid pode realizar uma variedade de operações no espaço 3D, incluindo apontar, apertar, agarrar, segurar, arrastar, puxar, etc., que podem atender plenamente às necessidades de aplicativos interativos de AR. Por exemplo, coloque o Rokid Max Pro, estique a mão e abra a palma na frente dos olhos para abrir o menu.
Afinal, para suportar uma estrutura de algoritmo tão complexa, o herói por trás dela não é apenas a câmera, mas também está intimamente relacionado ao poder computacional e ao desempenho do “cérebro”, ou seja, o Rokid Station Pro.
COMPUTADOR ESPAÇO NO SEU BOLSO
** Por muito tempo, toda a indústria de VR/AR teve um triângulo impossível de “poder computacional, conforto e preço”. Dispositivos com maior poder de computação tendem a ser mais pesados e caros, e dispositivos leves e com alto conforto não conseguem atender às necessidades de uso. **
A julgar pela situação real, não existe uma solução "perfeita" no momento. Os principais fabricantes estão tentando encontrar um equilíbrio entre os dois. Existem dois tipos de soluções convencionais no mercado atual: uma é representada pela Apple. O display e a computação é integrada e a bateria é conectada externamente; o outro é o design dividido de exibição e computação representado pela Rokid.
O design integrado da Apple integra duas telas micro-OLED, múltiplas câmeras, sensores, alto-falantes e outros componentes, o que é mais eficiente em termos de efeitos de exibição e cálculos, mas também aumentará o peso do próprio corpo, resultando em apenas Conecte a bateria externamente.
O design dividido em que Rokid insiste maximiza a usabilidade. Comparado com o peso do Vision Pro de 454g, o peso dos óculos de 76g é quase o mesmo dos óculos comuns. Ao mesmo tempo, o poder de computação do host também pode ser menos limitado por recursos espaciais, evitando até certo ponto o desconforto causado pela dissipação de calor.
Com base no design dividido, o Rokid Station Pro atualizou seu poder de computação para criar um terminal All in One que integra computação, imagem, comunicação e outras funções. Também pode ser chamado de "ferramenta de produtividade".
De acordo com a Lightcone Intelligence, o Rokid Station Pro está equipado com Qualcomm Snapdragon XR2+, 12G RAM + 128G ROM e suporta WIFI6/6E e BT5.1. Com dissipação de calor e maior desempenho, pode atingir precisão de rastreamento 6DoF de nível centimétrico e extremamente baixa Atraso de renderização MTP (Motion to Photon).
De acordo com informações públicas, o Snapdragon XR2 + é a mais recente plataforma XR lançada pela Qualcomm, que pode atingir 50% de vida útil da bateria e 30% de melhoria no desempenho de dissipação de calor, permitindo assim uma experiência mais rica e envolvente em um formato de dispositivo menor e mais fino. Ao mesmo tempo, a plataforma Snapdragon XR2 + introduz um novo pipeline de processamento de imagem, que pode atingir um atraso de menos de 10 milissegundos e abrir uma experiência de RM transparente de vídeo em cores.
A julgar pela experiência local do Light Cone Intelligence, seja assistindo filmes, jogando ou acionando teclados para processos de trabalho e produção, especialmente sob a interação de alta frequência e luta de jogos, a suavidade e velocidade de resposta da tela são muito sedosos.
Vale ressaltar que o algoritmo central atualmente no mercado ainda é o 3DoF (rastreamento de três graus de liberdade), o que significa que o dispositivo pode detectar a rotação nas três direções para cima, para frente e para baixo, mas não consegue detectar o deslocamento espacial da cabeça, frente, trás, esquerda e direita.
O algoritmo 6DoF adotado pelo Station Pro atualizado pode não apenas detectar a mudança no ângulo de visão causada pela rotação da cabeça, mas também detectar os seis tipos de mudanças de deslocamento de "para cima, para baixo, frente, trás, esquerda, e direito" causado pelo movimento do corpo.
A atualização deste algoritmo é mais importante no grau de liberdade do jogador. Por exemplo, ao lutar contra zumbis sob o algoritmo 3DoF, o campo de tiro está em um determinado ângulo na frente, mas após a atualização, os zumbis aparecem em 360 graus e, quando você se vira, a sensação corporal dos zumbis atrás de você está além o alcance do primeiro.
Said Bakadir, diretor sênior de gerenciamento de produtos XR da Qualcomm Technologies, disse: "A plataforma Snapdragon XR2+ de primeira geração é a melhor escolha para permitir a próxima geração de experiências XR. A Qualcomm Technologies fornece a plataforma líder do setor para Rokid Station Pro, suportando para criar seu próprio ecossistema exclusivo de aplicativos de AR."
Faça iOS na indústria de AR
Claro, a razão pela qual o telefone móvel da Apple pode dominar o mercado de telefonia móvel durante todo o ano não é apenas por causa de seu hardware, mas também por causa de seu sistema e ecologia. As barreiras construídas pelo cultivo de hábitos de usuário através de sistemas de software são muitas vezes mais fortes do que o próprio hardware.
**Isso é parte do motivo do sistema operacional espacial AR desenvolvido pela própria Rokid - YodaOS-Master, mas não é todo o motivo. **
No Rokid Open Day em março deste ano, Rokid lançou oficialmente o YodaOS-Master e lançou a "Plataforma de Criação de Espaço AR Lingjing", que permite a todos criar conteúdo AR no espaço 3D, e todos podem participar, quebrando completamente as barreiras da criação de AR ... Limiar, deixe a energia potencial ecológica explodir.
**Se SLAM monocular, reconhecimento de gestos 3D, Snapdragon XR+ e plataforma Lingjing são lâminas afiadas, então o YodaOS-Master pode liberar esses truques por meio de um sistema autodesenvolvido. **
Simplificando, a Rokid está trilhando um caminho que ninguém jamais percorreu, e a filosofia da Rokid é “o software define tudo”.Todo software precisa ser transportado e fornecido pelo sistema para exercer seu valor.
Concentrando-se nos cinco aspectos de percepção, compreensão, interação, apresentação, colaboração e criação digital, YodaOS-Master fez uma grande atualização em termos de otimização de chip, design de hardware, arquitetura de software, algoritmo AR e ferramentas de criação. o mais completo da atualidade.Um conjunto de sistemas operacionais espaciais para a era AR.
**Outro caso extremamente inovador é que Rokid redefine a pesquisa espacial com base em seu sistema autodesenvolvido. **Zhu Mingming introduziu que isso quebra a forma anterior de exibir informações de pesquisa, e a apresentação dos resultados da pesquisa não é mais um efeito plano bidimensional, mas existe em um espaço tridimensional. "Os resultados mais relevantes para a pergunta serão os mais próximos de você, e os resultados mais relevantes estarão na página secundária. Quanto mais longe, menos relevantes. Claro, você também pode riscar os resultados anteriores e selecione dinamicamente os resultados desejados."
** Pode-se ver que a ecologia aberta da indústria de AR começou a entrar no segundo estágio. Apple e Rokid não apenas se movem para a esquerda e para a direita na direção do hardware, mas também no desenvolvimento de software de sistema industrial e ecologia. Através da cocriação de hardware, algoritmos, ecologia de software, desenvolvedores, usuários e plataformas, a AR avançará para o segundo estágio de rápido desenvolvimento em uma ecologia completamente aberta. **
Shi Wenfeng, engenheiro-chefe de pesquisa e desenvolvimento do sistema Rokid, disse: "O sistema operacional YodaOS-Master integra múltiplas tecnologias principais de reconhecimento de voz Rokid, reconhecimento de gestos, SLAM, etc. em serviços do sistema por meio de uma abordagem orientada a serviços e fornece um variedade de SDKs de clientes para desenvolvimento Os desenvolvedores podem desenvolver com eficiência, como o SDK para Unity, que permite que os desenvolvedores do Unity (canal de aplicativos do desenvolvedor: URL de plataforma aberta (ar.rokid.com)) usem rapidamente a tecnologia principal da Rokid para desenvolvimento.”
“A indústria de AR está chegando pouco antes do amanhecer”, disse Zhu Mingming.