Можливо, вам важко уявити, що в просторі без екрана чи миші ви можете написати статтю на 5000 слів лише за допомогою пари окулярів AR і кишенькового хоста.
Саме так, 26 серпня на конференції Rokid Jungle 2023, присвяченій запуску нових продуктів, така сцена насправді відбувається. На зустрічі Rokid випустив Rokid AR Studio, персональну просторову обчислювальну платформу споживчого класу OST (оптичний прозорий), що включає два основних апаратних продукти, Rokid Max Pro (4999 юанів) і Rokid Station Pro (3999 юанів).
Чжу Мінмін, засновник і генеральний директор Rokid, сказав на прес-конференції: «Просторові обчислення можна більш природно інтегрувати в повсякденне життя та роботу, і нехай Rokid AR Studio стане вашим першим просторовим комп’ютером».
Це дуже відрізняється від того, як люди сприймали окуляри AR у минулому. До цього окуляри AR були «заблоковані» на сцені розваг, покладаючись на дві основні індустрії кіно, телебачення та ігор, щоб вижити, але Rokid AR Studio справді стала інструментом особистої продуктивності, програмним забезпеченням для обміну миттєвими повідомленнями, написання статей, написання коду. , пошук інформації тощо. Інші сценарії роботи можна реалізувати за допомогою новітнього обладнання.
**Розширення сценаріїв використання дозволяє пристроям AR перейти від маргінальних сценаріїв до більш практичних. Коли споживачі будуть готові платити, весь ланцюг індустрії доповненої реальності увійде в позитивний цикл споживчого ринку. **
Чжу Мінмін, бос, який назвав себе "соціальним страхом", повністю контролює продукт і технологію. Одного разу він убив дві версії першого проекту дизайну продукту внутрішньо, що ледь не звело відділ продукту "з розуму". Але коли відділ продукції таємно вивіз розроблений продукт, Чжу Мінмін негайно наказав спрямувати всі ресурси на цей продукт. "Мене цікавить лише одна статистика, а саме час використання користувача. Зараз наш реальний час використання користувача становить близько півтори години, а щотижневий рівень утримання перевищує 20%. Якщо це буде зроблено, кількість користувачів зростатиме природним чином. ."
**Накопичена кількість користувачів досягла мільйонного рівня, що також означає, що індустрія доповненої реальності перейшла на другий етап розробки програмного забезпечення та екологічного будівництва. В останні роки все більше і більше постачальників систем, постачальників прикладного програмного забезпечення та постачальників контенту приєднуються до створення екосистеми AR. **
«Група божевільних, мрія, десять років».
Як сказав Чжу Мінмін, Rokid знадобилося 10 років, щоб перейти від розважальних сцен до інструментів продуктивності.За цим стоїть не лише стрибок у мисленні, але й великий крок вперед від апаратних технологій до програмних технологій і навіть до цілого ланцюжка галузі. Apple і Rokid почали другий етап конкурсу AR, і конкуренція в галузі також прискорюється.
**Монокулярний SLAM, як перевизначити взаємодію? **
На всій прес-конференції найбільше здивувало не корпус Rokid Max Pro 76g, а лише одна камера, яка була здатна завершити SLAM (технологію просторового позиціонування), взаємодію мікрожестами, обмін перспективою від першої особи, візуальне позиціонування. Можливості VPS та інші інтегровані інтерактивні методи. **
Відчувши фізичну взаємодію (ручка), голосову взаємодію та взаємодію жестів, пристрої AR/VR розвиваються в напрямку відстеження очей і поточного рішення мультисенсорної взаємодії.
Однак взаємодія мультисенсорної інтеграції має вищі вимоги до апаратного забезпечення. Окрім задоволення основних потреб, також необхідно фіксувати дії та жести користувача з усіх напрямків і під різними кутами, щоб точно завершити взаємодію.
**Наскільки складно завершити взаємодію SLAM з однією камерою? **
Візуальний метод SLAM складається з двох модулів: один — відстеження, відоме положення 3D-точки, базове позиціонування; інший — відображення, оновлення положення 3D-точки. Незалежно від зв’язку чи методу, монокуляр означає, що можна вибрати лише одну камеру, а також фіксоване положення та фіксований кут, що створює великі проблеми для діапазону розпізнавання, швидкості відстеження та точності.
«Індустрія вважає, що монокулярний SLAM є неймовірним і його важко досягти, — жартома сказав Чжу Мінмін. — Це також може бути підтвердженням Rokid».
На даний момент кілька окулярів AR з просторовою взаємодією на ринку будуть оснащені принаймні трьома камерами для виконання функцій алгоритму. **Різниця у візуальних маршрутах також сформувала два табори: VST (відео перспектива) від Apple та OST (оптична перспектива) від Rokid. **
Взявши за приклад Apple Vision Pro, він використовує 12 камер для швидкого захоплення позиціонування, високоточного панорамного сприйняття та точного відстеження, а також використовує VST для відображення зовнішнього світу на екрані терміналу через камери. знімає в реальному часі, щоб побачити зовнішній світ.
Однак метод укладання обладнання для взаємодії збільшив вартість і подвоїв ціну водночас, що спричинило дві основні проблеми посадки: вага машини та складність масового виробництва. Це фундаментальна причина, чому Apple Vision Pro коштує 3499 доларів і не буде масово вироблятися до 2024 року.
Рішення OST, на якому наполягає Rokid, має певні технічні перешкоди. Через складну конструкцію конвеєра, обмежений кут огляду екрана дисплея та високу вартість оптичних компонентів Rokid може передати лише технологічні прориви, щоб зменшити накладені витрати.
І як це робить монокуляр SLAM, який змушує індустрію вважати «неймовірним»? Після зустрічі Lightcone Intelligence провела поглиблений обмін інформацією з Чжу Мінмінгом і виявила, що «унікальний трюк» Рокіда полягає у використанні алгоритмів штучного інтелекту, щоб подолати бар’єри апаратного забезпечення. **
Чжу Мінмін зазначив, що хоча монокулярна технологія SLAM існує вже давно, вона ніколи не застосовувалася в окулярах AR. Фронтальна камера мобільного телефону також застосовує цю технологію. Єдина відмінність: алгоритм.
Від штучного інтелекту до доповненої реальності, це шлях, який, здається, охоплює, але насправді інтегрований, але це також через накопичення Rokid у сфері штучного інтелекту за останні кілька років через багатовимірну модель візуального алгоритму, включаючи візуальне позиціонування та покращення, цифрові людські технології, 2D/3D розпізнавання жестів, розпізнавання OCR та інші технології дозволяють штучному інтелекту знаходитися в конкретних сценаріях.
Наприклад, функція візуального позиціонування та покращення AR покликана розв’язати та подолати обмеження єдиної мети. Шляхом створення візуальної карти сантиметрового рівня віртуальну інформацію можна точно накласти та об’єднати в реальному світі об’єктів для досягнення високої точності. 3D реконструкція об'єктів і сцен.
Ван Цзюньцзе, віце-президент Rokid і керівник XR-центру, сказав: «Просторове позиціонування базується на технології SLAM, і тоді стабільна та природна взаємодія може здійснюватися в просторі. Швидка ініціалізація займає від 1 до 2 секунд. алгоритм створення простору відображення."
На ринку більшість пристроїв все ще використовують бінокулярні рішення, але бінокулярний синтез також має багато проблем.Крім вартості додавання додаткової камери, також необхідно постійно використовувати алгоритми для підгонки даних двох камер у реальному часі. Це призводить до більш складних питань.
З цієї точки зору, якщо монокулярне рішення вдасться здійснити гладко, Rokid візьме на себе лідерство в наступі на технологічний тренд. Раніше Rokid також був першим у галузі виробником хостів Station.Рішення розділення окулярів і хостів було доведено як оптимальне рішення для промислового досвіду.
Крім того, у розпізнаванні жестів Rokid використовує інтерактивний режим мікрожестів, і ви можете клацати та вибирати щипком пальців; ви також можете перемикати інтерфейс або вміст, який ви переглядаєте, рухаючи жестом ліворуч і праворуч. Логічні визначення, такі як прості жести зведення та ковзання, більш природні та починаються швидше.
Згідно з результатами наших тестів на місці, Rokid може реалізувати взаємодію в просторі голими руками обома руками.Наразі алгоритм розпізнавання жестів Rokid підтримує розпізнавання складних сцен, таких як горизонтальне/просторове обертання осі, яскраве/темне світло тощо. час, існує багато типів розпізнаваних жестів. , Алгоритм є точним, загальний рівень розпізнавання становить близько 90%, він має здатність розпізнавання на рівні мілісекунд і гарантію надійності 99%.
За словами Рокіда, на основі алгоритму глибокого навчання та великої кількості експериментальних даних алгоритм монокулярного тривимірного жесту може реконструювати параметри пози руки в режимі реального часу на мобільному терміналі, включаючи 6DoF руки, точку суглоба 6DoF руки та інформацію Hand Mesh, забезпечення взаємодії жестів AR Хороша алгоритмічна основа.
На даний момент розпізнавання жестів Rokid може реалізувати різноманітні операції в 3D-просторі, включаючи вказування, щипки, захоплення, утримання, перетягування, тягнення тощо, що може повністю задовольнити потреби інтерактивних програм AR. Наприклад, одягніть Rokid Max Pro, витягніть руку та розкрийте долоню перед очима, щоб викликати меню.
Зрештою, щоб підтримувати таку складну структуру алгоритму, за нею стоїть не лише камера, а й тісно пов’язана з обчислювальною потужністю та продуктивністю «мозку», тобто Rokid Station Pro.
КОСМІЧНИЙ КОМП’ЮТЕР У ВАШІЙ КИШЕНІ
** Тривалий час уся галузь VR/AR мала неможливий трикутник «обчислювальна потужність, комфорт і ціна». Пристрої з більшою обчислювальною потужністю, як правило, важчі та дорожчі, а легкі пристрої з високим рівнем комфорту не можуть задовольнити потреби використання. **
Судячи з реальної ситуації, наразі не існує «ідеального» рішення. Основні виробники намагаються знайти баланс між ними. На поточному ринку існує два типи основних рішень: один представлений Apple. Дисплей і обчислення інтегровані, а батарея під’єднана із зовнішнього боку; інше – дизайн розділеного дисплея та обчислення, представлений Rokid.
Інтегрована конструкція Apple об’єднує два мікро-OLED-екрани, кілька камер, датчики, динаміки та інші компоненти, що є більш ефективним з точки зору ефектів відображення та обчислень, але в той же час це збільшить вагу самого корпусу, в результаті чого лише Підключіть зовнішню батарею.
Роздільна конструкція, на якій наполягає Rokid, максимально підвищує зручність носіння. Порівняно з вагою окулярів Vision Pro 454 г, вага окулярів вагою 76 г майже така ж, як і звичайних окулярів. Водночас обчислювальна потужність хоста також може бути менш обмежена ресурсів простору, уникаючи певною мірою дискомфорту, спричиненого розсіюванням тепла.
**Загалом маршрут розділеного типу може досягти двостороннього остаточного розвитку портативності окулярів і обчислювальної потужності хоста, а також є більш гнучким. Ітерація обчислювальної потужності та технічного маршруту окулярів може бути здійснюється асинхронно. **
На основі розділеного дизайну Rokid Station Pro модернізував свою обчислювальну потужність, щоб створити термінал All-in-One, який об’єднує обчислення, зображення, комунікацію та інші функції. Його також можна назвати «інструментом продуктивності». HyperTerminal.
За даними Lightcone Intelligence, Rokid Station Pro оснащено процесором Qualcomm Snapdragon XR2+, 12 ГБ оперативної пам’яті + 128 ГБ ПЗУ та підтримує WIFI6/6E та BT5.1.Завдяки розсіюванню тепла та вищій продуктивності він може досягти сантиметрової точності відстеження 6DoF і надзвичайно низького рівня. Затримка візуалізації MTP (Motion to Photon).
Згідно з загальнодоступною інформацією, Snapdragon XR2+ — це остання флагманська платформа XR, запущена Qualcomm, яка може досягти 50% часу автономної роботи та 30% підвищення продуктивності тепловіддачі, таким чином забезпечуючи більш багатий і захоплюючий досвід у меншому та тоншому пристрої. У той же час платформа Snapdragon XR2 + представляє новий конвеєр обробки зображень, який може досягати затримки менше 10 мілісекунд і відкривати повнокольорове відео прозорого МР.
Судячи з досвіду Light Cone Intelligence на місці, будь то перегляд фільмів, ігри або виклик клавіатури для робочих і виробничих процесів, особливо під час високочастотної взаємодії та бойових дій в іграх, плавність і швидкість відгуку екрана дуже шовковисті.
Варто зазначити, що основним алгоритмом, який зараз доступний на ринку, є 3DoF (відстеження трьох ступенів свободи), що означає, що пристрій може виявити обертання в трьох напрямках: вгору, вперед і вниз, але не може виявити просторове зміщення голови вперед, назад, вліво і вправо.
Алгоритм 6DoF, застосований оновленою станцією Pro, може не тільки виявляти зміну кута поля зору, спричинену обертанням голови, але також виявляти шість видів змін зміщення: «вгору, вниз, спереду, назад, ліворуч, і вправо», викликаний рухом тіла.
Оновлення цього алгоритму важливіше за ступінь свободи гравця. Наприклад, під час бою з зомбі за алгоритмом 3DoF, стрільбище знаходиться під певним кутом попереду, але після оновлення зомбі з’являються на 360 градусів, і коли ви обертаєтеся, відчуття тіла зомбі позаду вас перевершує. досяжність колишнього.
Іншими словами, обчислювальна потужність не тільки вища, а досвід більш плавний, але розширення простору обчислювальної потужності також призвело до величезної різниці у відчутті тіла.
Саїд Бакадір, старший директор із управління продуктами XR у Qualcomm Technologies, сказав: «Платформа Snapdragon XR2+ першого покоління є найкращим вибором для забезпечення наступного покоління досвіду XR. Qualcomm Technologies надає провідну в галузі платформу для Rokid Station Pro, що підтримує щоб створити власну унікальну екосистему додатків AR".
Зробіть iOS в індустрії AR
Звичайно, причиною того, чому мобільний телефон Apple може домінувати на ринку мобільних телефонів цілий рік, є не тільки його апаратне забезпечення, але також його система та екологія. Бар’єри, створені шляхом культивування звичок користувачів через програмні системи, часто сильніші, ніж саме апаратне забезпечення.
**Це одна з причин створення власноруч розробленої Rokid космічної операційної системи AR – YodaOS-Master, але не вся причина. **
Під час Дня відкритих дверей Rokid у березні цього року Rokid офіційно запустив YodaOS-Master і випустив «платформу створення доповненої реальності Lingjing», що дозволяє кожному створювати AR-контент у 3D-просторі, і кожен може взяти участь, повністю подолавши бар’єри створення AR. Поріг, нехай екологічний потенціал енергії вибухне.
**Якщо монокуляр SLAM, 3D-розпізнавання жестів, Snapdragon XR+ і платформа Lingjing — це гострі леза, то YodaOS-Master може реалізувати ці трюки за допомогою самостійно розробленої системи. **
Простіше кажучи, Rokid йде шляхом, яким ніхто ніколи не ходив, і філософія Rokid полягає в тому, що «програмне забезпечення визначає все». Усе програмне забезпечення має бути забезпечене системою, щоб мати можливість використовувати його.
Зосереджуючись на п’яти аспектах сприйняття, розуміння, взаємодії, презентації, співпраці та цифрового створення, YodaOS-Master зробила величезне оновлення з точки зору оптимізації чіпа, дизайну апаратного забезпечення, архітектури програмного забезпечення, алгоритму AR та інструментів створення. Це може бути найповніший на даний момент Набір просторових операційних систем для епохи AR.
На прес-конференції Рокід також продемонстрував відкритість і зручність системи власної розробки. Щоб навести кілька очевидних прикладів, На основі власно розробленої системи та платформи Snapdragon XR+, Rokid розробив багатозадачний паралельний режим, порушуючи попередні обмеження лише для одного завдання, дозволяючи спілкуватися в чаті, писати код, Сцена перегляду документів може бути реалізована одночасно та повністю використовувати переваги великого екрану в просторі, щоб максимізувати ефективність виробництва.
**Ще один надзвичайно інноваційний випадок полягає в тому, що Rokid переосмислює просторовий пошук на основі своєї власно розробленої системи. **Чжу Мінмін зазначив, що це порушує попередній спосіб відображення пошукової інформації, і представлення результатів пошуку більше не є ефектом двовимірної площини, а існує в тривимірному просторі. "Результати, які найбільш відповідають питанню, будуть найближчими до вас, а результати, які є певною мірою релевантними, знаходяться на вторинній сторінці. Чим далі, тим менш релевантні. Звичайно, ви також можете викреслити попередні результати та динамічно вибирайте потрібні результати».
Таким чином, відчуття майбутнього миттєво повне, і це також показує суттєву відмінність від обладнання першого рівня AR.
** Видно, що відкрита екологія індустрії доповненої реальності почала виходити на другу стадію: Apple і Rokid рухаються не тільки вліво і вправо в напрямку апаратного забезпечення, але й у розвитку галузевого системного програмного забезпечення та екології. Завдяки спільному створенню апаратного забезпечення, алгоритмів, екології програмного забезпечення, розробників, користувачів і платформ AR рухатиметься до другого етапу швидкого розвитку в повністю відкритій екології. **
Ши Венфен, головний інженер системних досліджень і розробки Rokid, сказав: «Операційна система YodaOS-Master інтегрує кілька основних технологій Rokid розпізнавання голосу, розпізнавання жестів, SLAM тощо в системні служби за допомогою сервіс-орієнтованого підходу та забезпечує Різноманітність клієнтських SDK для розробки Розробники можуть ефективно розробляти, наприклад SDK для Unity, який дозволяє розробникам Unity (канал програми розробника: URL-адреса відкритої платформи (ar.rokid.com)) швидко використовувати основну технологію Rokid для розробки».
Від обладнання до програмного забезпечення, від системи до екології, шлях розвитку Rokid трохи схожий на Apple в епоху Джобса.
«Індустрія доповненої реальності ще не настала, — сказав Чжу Мінмін.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Android у світі доповненої реальності знаходиться в Китаї, Rokid підриває шаленство просторових обчислень
Оригінальне джерело: Light Cone Intelligence
Автор: Лю Юйкі
Можливо, вам важко уявити, що в просторі без екрана чи миші ви можете написати статтю на 5000 слів лише за допомогою пари окулярів AR і кишенькового хоста.
Саме так, 26 серпня на конференції Rokid Jungle 2023, присвяченій запуску нових продуктів, така сцена насправді відбувається. На зустрічі Rokid випустив Rokid AR Studio, персональну просторову обчислювальну платформу споживчого класу OST (оптичний прозорий), що включає два основних апаратних продукти, Rokid Max Pro (4999 юанів) і Rokid Station Pro (3999 юанів).
Це дуже відрізняється від того, як люди сприймали окуляри AR у минулому. До цього окуляри AR були «заблоковані» на сцені розваг, покладаючись на дві основні індустрії кіно, телебачення та ігор, щоб вижити, але Rokid AR Studio справді стала інструментом особистої продуктивності, програмним забезпеченням для обміну миттєвими повідомленнями, написання статей, написання коду. , пошук інформації тощо. Інші сценарії роботи можна реалізувати за допомогою новітнього обладнання.
Чжу Мінмін, бос, який назвав себе "соціальним страхом", повністю контролює продукт і технологію. Одного разу він убив дві версії першого проекту дизайну продукту внутрішньо, що ледь не звело відділ продукту "з розуму". Але коли відділ продукції таємно вивіз розроблений продукт, Чжу Мінмін негайно наказав спрямувати всі ресурси на цей продукт. "Мене цікавить лише одна статистика, а саме час використання користувача. Зараз наш реальний час використання користувача становить близько півтори години, а щотижневий рівень утримання перевищує 20%. Якщо це буде зроблено, кількість користувачів зростатиме природним чином. ."
**Накопичена кількість користувачів досягла мільйонного рівня, що також означає, що індустрія доповненої реальності перейшла на другий етап розробки програмного забезпечення та екологічного будівництва. В останні роки все більше і більше постачальників систем, постачальників прикладного програмного забезпечення та постачальників контенту приєднуються до створення екосистеми AR. **
«Група божевільних, мрія, десять років».
Як сказав Чжу Мінмін, Rokid знадобилося 10 років, щоб перейти від розважальних сцен до інструментів продуктивності.За цим стоїть не лише стрибок у мисленні, але й великий крок вперед від апаратних технологій до програмних технологій і навіть до цілого ланцюжка галузі. Apple і Rokid почали другий етап конкурсу AR, і конкуренція в галузі також прискорюється.
**Монокулярний SLAM, як перевизначити взаємодію? **
На всій прес-конференції найбільше здивувало не корпус Rokid Max Pro 76g, а лише одна камера, яка була здатна завершити SLAM (технологію просторового позиціонування), взаємодію мікрожестами, обмін перспективою від першої особи, візуальне позиціонування. Можливості VPS та інші інтегровані інтерактивні методи. **
Однак взаємодія мультисенсорної інтеграції має вищі вимоги до апаратного забезпечення. Окрім задоволення основних потреб, також необхідно фіксувати дії та жести користувача з усіх напрямків і під різними кутами, щоб точно завершити взаємодію.
**Наскільки складно завершити взаємодію SLAM з однією камерою? **
Візуальний метод SLAM складається з двох модулів: один — відстеження, відоме положення 3D-точки, базове позиціонування; інший — відображення, оновлення положення 3D-точки. Незалежно від зв’язку чи методу, монокуляр означає, що можна вибрати лише одну камеру, а також фіксоване положення та фіксований кут, що створює великі проблеми для діапазону розпізнавання, швидкості відстеження та точності.
«Індустрія вважає, що монокулярний SLAM є неймовірним і його важко досягти, — жартома сказав Чжу Мінмін. — Це також може бути підтвердженням Rokid».
На даний момент кілька окулярів AR з просторовою взаємодією на ринку будуть оснащені принаймні трьома камерами для виконання функцій алгоритму. **Різниця у візуальних маршрутах також сформувала два табори: VST (відео перспектива) від Apple та OST (оптична перспектива) від Rokid. **
Взявши за приклад Apple Vision Pro, він використовує 12 камер для швидкого захоплення позиціонування, високоточного панорамного сприйняття та точного відстеження, а також використовує VST для відображення зовнішнього світу на екрані терміналу через камери. знімає в реальному часі, щоб побачити зовнішній світ.
Однак метод укладання обладнання для взаємодії збільшив вартість і подвоїв ціну водночас, що спричинило дві основні проблеми посадки: вага машини та складність масового виробництва. Це фундаментальна причина, чому Apple Vision Pro коштує 3499 доларів і не буде масово вироблятися до 2024 року.
Рішення OST, на якому наполягає Rokid, має певні технічні перешкоди. Через складну конструкцію конвеєра, обмежений кут огляду екрана дисплея та високу вартість оптичних компонентів Rokid може передати лише технологічні прориви, щоб зменшити накладені витрати.
І як це робить монокуляр SLAM, який змушує індустрію вважати «неймовірним»? Після зустрічі Lightcone Intelligence провела поглиблений обмін інформацією з Чжу Мінмінгом і виявила, що «унікальний трюк» Рокіда полягає у використанні алгоритмів штучного інтелекту, щоб подолати бар’єри апаратного забезпечення. **
Чжу Мінмін зазначив, що хоча монокулярна технологія SLAM існує вже давно, вона ніколи не застосовувалася в окулярах AR. Фронтальна камера мобільного телефону також застосовує цю технологію. Єдина відмінність: алгоритм.
Від штучного інтелекту до доповненої реальності, це шлях, який, здається, охоплює, але насправді інтегрований, але це також через накопичення Rokid у сфері штучного інтелекту за останні кілька років через багатовимірну модель візуального алгоритму, включаючи візуальне позиціонування та покращення, цифрові людські технології, 2D/3D розпізнавання жестів, розпізнавання OCR та інші технології дозволяють штучному інтелекту знаходитися в конкретних сценаріях.
Наприклад, функція візуального позиціонування та покращення AR покликана розв’язати та подолати обмеження єдиної мети. Шляхом створення візуальної карти сантиметрового рівня віртуальну інформацію можна точно накласти та об’єднати в реальному світі об’єктів для досягнення високої точності. 3D реконструкція об'єктів і сцен.
Ван Цзюньцзе, віце-президент Rokid і керівник XR-центру, сказав: «Просторове позиціонування базується на технології SLAM, і тоді стабільна та природна взаємодія може здійснюватися в просторі. Швидка ініціалізація займає від 1 до 2 секунд. алгоритм створення простору відображення."
На ринку більшість пристроїв все ще використовують бінокулярні рішення, але бінокулярний синтез також має багато проблем.Крім вартості додавання додаткової камери, також необхідно постійно використовувати алгоритми для підгонки даних двох камер у реальному часі. Це призводить до більш складних питань.
З цієї точки зору, якщо монокулярне рішення вдасться здійснити гладко, Rokid візьме на себе лідерство в наступі на технологічний тренд. Раніше Rokid також був першим у галузі виробником хостів Station.Рішення розділення окулярів і хостів було доведено як оптимальне рішення для промислового досвіду.
Крім того, у розпізнаванні жестів Rokid використовує інтерактивний режим мікрожестів, і ви можете клацати та вибирати щипком пальців; ви також можете перемикати інтерфейс або вміст, який ви переглядаєте, рухаючи жестом ліворуч і праворуч. Логічні визначення, такі як прості жести зведення та ковзання, більш природні та починаються швидше.
За словами Рокіда, на основі алгоритму глибокого навчання та великої кількості експериментальних даних алгоритм монокулярного тривимірного жесту може реконструювати параметри пози руки в режимі реального часу на мобільному терміналі, включаючи 6DoF руки, точку суглоба 6DoF руки та інформацію Hand Mesh, забезпечення взаємодії жестів AR Хороша алгоритмічна основа.
На даний момент розпізнавання жестів Rokid може реалізувати різноманітні операції в 3D-просторі, включаючи вказування, щипки, захоплення, утримання, перетягування, тягнення тощо, що може повністю задовольнити потреби інтерактивних програм AR. Наприклад, одягніть Rokid Max Pro, витягніть руку та розкрийте долоню перед очима, щоб викликати меню.
Зрештою, щоб підтримувати таку складну структуру алгоритму, за нею стоїть не лише камера, а й тісно пов’язана з обчислювальною потужністю та продуктивністю «мозку», тобто Rokid Station Pro.
КОСМІЧНИЙ КОМП’ЮТЕР У ВАШІЙ КИШЕНІ
** Тривалий час уся галузь VR/AR мала неможливий трикутник «обчислювальна потужність, комфорт і ціна». Пристрої з більшою обчислювальною потужністю, як правило, важчі та дорожчі, а легкі пристрої з високим рівнем комфорту не можуть задовольнити потреби використання. **
Судячи з реальної ситуації, наразі не існує «ідеального» рішення. Основні виробники намагаються знайти баланс між ними. На поточному ринку існує два типи основних рішень: один представлений Apple. Дисплей і обчислення інтегровані, а батарея під’єднана із зовнішнього боку; інше – дизайн розділеного дисплея та обчислення, представлений Rokid.
Інтегрована конструкція Apple об’єднує два мікро-OLED-екрани, кілька камер, датчики, динаміки та інші компоненти, що є більш ефективним з точки зору ефектів відображення та обчислень, але в той же час це збільшить вагу самого корпусу, в результаті чого лише Підключіть зовнішню батарею.
Роздільна конструкція, на якій наполягає Rokid, максимально підвищує зручність носіння. Порівняно з вагою окулярів Vision Pro 454 г, вага окулярів вагою 76 г майже така ж, як і звичайних окулярів. Водночас обчислювальна потужність хоста також може бути менш обмежена ресурсів простору, уникаючи певною мірою дискомфорту, спричиненого розсіюванням тепла.
На основі розділеного дизайну Rokid Station Pro модернізував свою обчислювальну потужність, щоб створити термінал All-in-One, який об’єднує обчислення, зображення, комунікацію та інші функції. Його також можна назвати «інструментом продуктивності». HyperTerminal.
За даними Lightcone Intelligence, Rokid Station Pro оснащено процесором Qualcomm Snapdragon XR2+, 12 ГБ оперативної пам’яті + 128 ГБ ПЗУ та підтримує WIFI6/6E та BT5.1.Завдяки розсіюванню тепла та вищій продуктивності він може досягти сантиметрової точності відстеження 6DoF і надзвичайно низького рівня. Затримка візуалізації MTP (Motion to Photon).
Згідно з загальнодоступною інформацією, Snapdragon XR2+ — це остання флагманська платформа XR, запущена Qualcomm, яка може досягти 50% часу автономної роботи та 30% підвищення продуктивності тепловіддачі, таким чином забезпечуючи більш багатий і захоплюючий досвід у меншому та тоншому пристрої. У той же час платформа Snapdragon XR2 + представляє новий конвеєр обробки зображень, який може досягати затримки менше 10 мілісекунд і відкривати повнокольорове відео прозорого МР.
Судячи з досвіду Light Cone Intelligence на місці, будь то перегляд фільмів, ігри або виклик клавіатури для робочих і виробничих процесів, особливо під час високочастотної взаємодії та бойових дій в іграх, плавність і швидкість відгуку екрана дуже шовковисті.
Варто зазначити, що основним алгоритмом, який зараз доступний на ринку, є 3DoF (відстеження трьох ступенів свободи), що означає, що пристрій може виявити обертання в трьох напрямках: вгору, вперед і вниз, але не може виявити просторове зміщення голови вперед, назад, вліво і вправо.
Алгоритм 6DoF, застосований оновленою станцією Pro, може не тільки виявляти зміну кута поля зору, спричинену обертанням голови, але також виявляти шість видів змін зміщення: «вгору, вниз, спереду, назад, ліворуч, і вправо», викликаний рухом тіла.
Оновлення цього алгоритму важливіше за ступінь свободи гравця. Наприклад, під час бою з зомбі за алгоритмом 3DoF, стрільбище знаходиться під певним кутом попереду, але після оновлення зомбі з’являються на 360 градусів, і коли ви обертаєтеся, відчуття тіла зомбі позаду вас перевершує. досяжність колишнього.
Саїд Бакадір, старший директор із управління продуктами XR у Qualcomm Technologies, сказав: «Платформа Snapdragon XR2+ першого покоління є найкращим вибором для забезпечення наступного покоління досвіду XR. Qualcomm Technologies надає провідну в галузі платформу для Rokid Station Pro, що підтримує щоб створити власну унікальну екосистему додатків AR".
Зробіть iOS в індустрії AR
Звичайно, причиною того, чому мобільний телефон Apple може домінувати на ринку мобільних телефонів цілий рік, є не тільки його апаратне забезпечення, але також його система та екологія. Бар’єри, створені шляхом культивування звичок користувачів через програмні системи, часто сильніші, ніж саме апаратне забезпечення.
**Це одна з причин створення власноруч розробленої Rokid космічної операційної системи AR – YodaOS-Master, але не вся причина. **
Під час Дня відкритих дверей Rokid у березні цього року Rokid офіційно запустив YodaOS-Master і випустив «платформу створення доповненої реальності Lingjing», що дозволяє кожному створювати AR-контент у 3D-просторі, і кожен може взяти участь, повністю подолавши бар’єри створення AR. Поріг, нехай екологічний потенціал енергії вибухне.
**Якщо монокуляр SLAM, 3D-розпізнавання жестів, Snapdragon XR+ і платформа Lingjing — це гострі леза, то YodaOS-Master може реалізувати ці трюки за допомогою самостійно розробленої системи. **
Простіше кажучи, Rokid йде шляхом, яким ніхто ніколи не ходив, і філософія Rokid полягає в тому, що «програмне забезпечення визначає все». Усе програмне забезпечення має бути забезпечене системою, щоб мати можливість використовувати його.
Зосереджуючись на п’яти аспектах сприйняття, розуміння, взаємодії, презентації, співпраці та цифрового створення, YodaOS-Master зробила величезне оновлення з точки зору оптимізації чіпа, дизайну апаратного забезпечення, архітектури програмного забезпечення, алгоритму AR та інструментів створення. Це може бути найповніший на даний момент Набір просторових операційних систем для епохи AR.
**Ще один надзвичайно інноваційний випадок полягає в тому, що Rokid переосмислює просторовий пошук на основі своєї власно розробленої системи. **Чжу Мінмін зазначив, що це порушує попередній спосіб відображення пошукової інформації, і представлення результатів пошуку більше не є ефектом двовимірної площини, а існує в тривимірному просторі. "Результати, які найбільш відповідають питанню, будуть найближчими до вас, а результати, які є певною мірою релевантними, знаходяться на вторинній сторінці. Чим далі, тим менш релевантні. Звичайно, ви також можете викреслити попередні результати та динамічно вибирайте потрібні результати».
** Видно, що відкрита екологія індустрії доповненої реальності почала виходити на другу стадію: Apple і Rokid рухаються не тільки вліво і вправо в напрямку апаратного забезпечення, але й у розвитку галузевого системного програмного забезпечення та екології. Завдяки спільному створенню апаратного забезпечення, алгоритмів, екології програмного забезпечення, розробників, користувачів і платформ AR рухатиметься до другого етапу швидкого розвитку в повністю відкритій екології. **
Ши Венфен, головний інженер системних досліджень і розробки Rokid, сказав: «Операційна система YodaOS-Master інтегрує кілька основних технологій Rokid розпізнавання голосу, розпізнавання жестів, SLAM тощо в системні служби за допомогою сервіс-орієнтованого підходу та забезпечує Різноманітність клієнтських SDK для розробки Розробники можуть ефективно розробляти, наприклад SDK для Unity, який дозволяє розробникам Unity (канал програми розробника: URL-адреса відкритої платформи (ar.rokid.com)) швидко використовувати основну технологію Rokid для розробки».
«Індустрія доповненої реальності ще не настала, — сказав Чжу Мінмін.