1. Спільна змішана реальність - це наступний телефон?
2. Перші системи MR-колаборації
3. Поточний стан MR-конференцій
4. Що далі?
5. Прощай, телефон ...

Чому майбутнє дистанційного спілкування нема за VR-системами, а за змішаною реальністю? Своїм баченням комунікаційних систем майбутнього поділився AR-експерт Марк Біллінгхерст.

Влітку 1995 мені пощастило взяти участь в дивовижну подію, які змінили моє життя назавжди. Я надів шолом віртуальної реальності в університеті Вашингтона і перемістився з Сіетла в маленьку чайну кімнату в Японії. Я міг поговорити з іншими людьми в кімнаті, повернутися до них своїм віртуальним обличчям і помахати їм своєї віртуальної рукою. Це був проект Greenspace, і це було першим досвідом створення спільного віртуального світу.

У той час обладнання коштувало більше мільйона доларів, а рахунок за зв'язок перевищив десятки тисяч доларів. Двадцять років по тому проведення VR-конференцій стає все більш поширеним. Спільні віртуальний простору розробляють High Fidelity , Sansar і Facebook . Altspace VR регулярно користуються понад 30 тисяч людей на місяць, а спільні VR-додатки, на зразок Rec Room і Big Screen , Набирають популярність.

Одне з найбільших переваг VR-конференцій полягає в тому, що вони дозволяють людям використовувати деякі комунікаційні сигнали, які вони використовують при особистому спілкуванні. Вони можуть не тільки розмовляти один з одним - у них є віртуальні тіла, які дозволяють їм повертатися один до одного, потискати руки і використовувати широкий ряд невербальних жестів. Зрештою, вони можуть взаємодіяти з віртуальним середовищем навколо них, показуючи на об'єкти або граючи в ігри разом. У Rec Room користувачі можуть грати в теніс, а в Facebook Spaces створювати спільні 3D-ескізи. Все це дозволяє досягти більшої ступеня соціальної присутності, ніж в традиційній аудіо- або відеоконференції.

Спільна змішана реальність - це наступний телефон?

У VR-конференцій великий потенціал, і компанії інвестують десятки мільйонів доларів у створення відповідних платформ. Але конференції в змішаній реальності (MR) можуть мати навіть більший вплив через свій зв'язок з реальним світом.

Змішана реальність визначається як технологія, яка змішує реальний і віртуальний світи. VR відокремлює людей від реального світу, а MR намагається розширити взаємодії реального світу або додати елементи навколишнього світу в середу VR.

Переваги використання змішаної реальності для віддаленого взаємодії:

• люди можуть отримувати допомогу у виконанні завдань реального світу від віддалених користувачів;
• віртуальні люди будуть поміщені в реальний простір;
• підтримка переходу від спільного AR до VR;
• використання MR-зображень для розширення сигналів віддаленої комунікації;
• надання користувачам можливості ділитися своєю точкою зору і бачити все поглядом іншої людини;
• налагодження зв'язку між простором завдання і простором спілкування;
• підтримка природних просторових сигналів для віддаленої комунікації.

Можливо, найбільша перевага MR-конференцій - це їх фокус на спільному погляді на робочий простір. Для багатьох задач реального світу, наприклад, віддаленого техобслуговування, набагато важливіше побачити те, над чим працює людина, а не його обличчя. Цю можливість можна застосувати в безлічі областей, від віддаленого асистування до медичної підтримки в операційній або спільних ігор.

Перші системи MR-колаборації

Майже двадцять років тому я допомагав розробляти одну з перших MR-систем. Це було додаток для AR-конференцій, яке поміщало віртуальні аватари людей в реальне середовище користувачів. Вони могли перевертати картки з іменами, і ці люди з'являлися перед ними. Все це відбувалося за допомогою шолома віртуальної реальності. Головною перевагою системи було те, що вона перемістила конференції з екрану комп'ютера в реальний світ. Ми виявили, що відеоаватара співрозмовника в реальному середовищі забезпечував більшу ступінь соціальної присутності, ніж його зображення на екрані комп'ютера.

AR-конференція 1998 року

Я особливо запам'ятав одне дослідження, в якому ми порівнювали AR-конференції з відеоконференціями на комп'ютері. Одна людина, що використовує систему відеоконференції, сильно наближався до монітора, припускаючи, що так співрозмовник почує його краще. Але коли він використовував AR-систему, він відразу відсунувся назад, даючи співрозмовнику особистий простір, як і в реальному розмові. Це підсвідоме дію показало, наскільки соціальне присутність підвищується при використанні AR-додатки.

Приблизно в той же час ми показали можливість використання просторових сигналів при розробці WearCom. Вона представляла собою переносну AR-систему, яка дозволяла віртуальним людям з'являтися навколо людини, який використовував невеликий комп'ютер і носив на голові екран. В цьому випадку ми застосовували просторову орієнтацію аудіо для того, щоб голоси людей йшли від їх віртуальних аватарів. Ми виявили, що, як і в особистій розмові у великому натовпі людей, люди легко могли розділити мова різних людей, навіть коли вони говорили практично одночасно.

Хоча це дослідження було багатообіцяючим, проблема полягала в тому, що відеоаватара людей були плоскими прямокутниками. Якщо ви дивилися на них з іншого боку, вони зникали, що точно не відбувається з тривимірними людьми. Ця проблема була вирішена пару років тому за допомогою 3D Live System, де ми використовували кілька камер для запису людей. Це створювало ілюзію, що справжній чоловік стоїть у вашому реальному просторі. Віртуальну копію людини можна було показувати в VR і в AR-середовищі. Це дозволило користувачам використовувати рухи і жести, як і в розмові віч-на-віч.

3D Live 2002 рік

Термін "змішана реальність" описує простір від технологій інтерфейсу реального світу до повністю віртуального середовища. Багато системи колаборації існують в конкретних точках цього простору, наприклад, спілкування віч-на-віч в реальному світі або конференції в віртуальному просторі. MR-конференції надають людям можливість переміщатися по MR-простору. Наприклад, проект MagicBook - це інтерфейс, який підтримував спілкування віч-на-віч, AR або VR-вид, а також суміш цих видів. Використовуючи цю систему, люди могли читати книгу і дивитися на сторінки через дисплей, при цьому на екрані з'являвся AR-контент. Коли користувач бачив цікаву AR-сцену, він міг перейти на повноцінний VR-досвід. У цій VR-сцені один з людей міг бачити співрозмовника з реального світу як гігантську голову, парить у небі. Так MagicBook підтримував безшовні переходи між реальним світом, AR і VR.

Ці прототипи показали, що технологію MR можна використовувати для вбудовування віртуальних співрозмовників в реальне середовище користувача. На відміну від VR-конференцій, MR-інтерфейс розширює спілкування в реальному світі і дозволяє користувачам отримувати допомогу з будь-якими завданнями.

Поточний стан MR-конференцій

Розвиток нового покоління AR і VR-дисплеїв призвело до створення нових MR-систем. Microsoft представив MR-версію Skype за допомогою свого шолома HoloLens. Користувач може помістити вікно Skype в будь-яке місце в просторі і побачити відео від співрозмовника. У той же час камера HoloLens може передавати відео віддаленому користувачеві, і вони можуть побачити оточення співрозмовника і додати в нього AR-анотації для допомоги з виконанням завдань. Віддалений користувач при цьому бачить навколишню дійсність очима користувача HoloLens.

Як і додатки для AR-конференцій двадцятирічної давності, Skype для HoloLens поміщає відео в віртуальний прямокутник. проект Microsoft Holoportation вирішує цю проблему, використовуючи камеру глибини для запису і трансляції тривимірної віртуальної моделі віддаленого користувача в реальний світ. У поєднанні з HoloLens локальний користувач може бачити копію віддаленого користувача в реальному світі.

У цій області існує також велика кількість початківців стартапів. Mimesys позиціонують себе як першу голографічну платформу для спілкування, яка може записувати образ людей і поміщати їх разом у віртуальний простір. Holoportal DoubleMe надає полегшену версію Holoportation для спілкування. Обидві компанії фокусуються на зборі даних про людей, а Envisage AR захоплює оточення користувача і ділиться ним з віддаленими співрозмовниками. У наступні кілька років ми побачимо набагато більше активності в цій сфері.

Ці системи показують, що досвід MR-конференцій можна створити на існуючих AR і VR-комерційних платформах.

Що далі?

Існує ряд розробок, який продовжить удосконалювати MR-конференції і дозволить людям спілкуватися ефективніше, ніж раніше. Зокрема, зараз існує три важливих тренда:

• Природне спілкування: З ростом швидкості зв'язку стає можливо розширити досвід комунікації (не тільки аудіосигнали, але і жести), що призведе до більш природного спілкування.
• Запис досвіду: Розвивається технологія, яка дозволить людям захоплювати своє оточення і досвід, тобто відбувається перехід від фотографії до запису тривимірних сцен.
• Приховане розуміння: Комп'ютери почнуть більше розуміти про користувачів і їх оточенні. Це дозволить їм розуміти приховане поведінку, наприклад, напрямок погляду людини.

Всі ці тренди об'єднуються в напрям, який прагне до створення систем, що дозволяють нам ділитися тим, що ми бачимо, чуємо і відчуваємо. На відміну від традиційних інструментів спілкування, Емпатичні системи створені, щоб дозволити вам більш глибоко розуміти точку зору співрозмовника, бачити його очима, чути те, що чують він.

Прикладом такого типу взаємодії є наші Empathy Glasses. Це AR-дисплей, який може розпізнавати вираз обличчя і відслідковувати напрямок погляду. Віддалений співрозмовник бачить не тільки навколишнє оточення, але і вираз обличчя і інформацію про направлення погляду людини в окулярах. Це одна з перших систем, яка ділиться інформацією про напрямок погляду, і це тільки початок вивчення емпатичних технології віддаленого спілкування.

Прощай, телефон ...

Через двадцять років користування мобільним телефоном для спілкування з друзями буде таким же застарілим способом, як використання стаціонарного телефону зараз. На той час технологія змішаної реальності дозволить людям бачити віртуальні копії своїх друзів в реальному світі, а також бачити світ очима друзів і допомагати їм у виконанні реальних завдань.

Сьогоднішні VR і AR-системи показують лише частину того, що можливо зі змішаною реальністю. MR-системи можуть ділитися великою кількістю комунікаційних сигналів і дозволяють людям спілкуватися так, як було неможливо до цього. При наступному дзвінку уявіть, що ви можете бачити, чути і відчувати те, що бачать, чують і відчувають ваші друзі.

Якщо ви знайшли друкарську помилку - виділіть її та натисніть Ctrl + Enter! Для зв'язку з нами ви можете використовувати [email protected] .