Пет въпроса за "Project HoloLens" на Microsoft

реклама

В сряда сутринта Microsoft показа проект, над който работят седем години, слушалка с усъвършенствана реалност Проект HoloLens.

Визията е амбициозна: те искат да променят фундаментално начина, по който хората взаимодействат с компютрите изграждане на чифт очила, които могат да смесват виртуално и реално съдържание заедно във физическото пространство на потребителя. Това е все едно технология за виртуална реалност Защо технологията за виртуална реалност ще взриви ума ви след 5 годиниБъдещето на виртуалната реалност включва проследяване на главата, очите и изразите, симулирано докосване и много други. Тези невероятни технологии ще ви бъдат достъпни след 5 или по-малко години. Прочетете още , но фундаментално по-мощен. Освен това те искат да извършат цялата обработка локално на очилата - без компютър, без телефон, без кабели. Те дори пускат специална версия на Windows само за новия хардуер. Това е следващият етап в технологичната еволюция за всички тях AR игри Приложения за усъвършенствана реалност: полезни или просто свръх? MakeUseOf тестове

През 2011 г. анализаторите прогнозираха нарастването на мобилните приложения на Augmented Reality. Възникващата технология би променила начина, по който взаимодействаме с нашите мобилни устройства. Дълбоко напред две години и десетки AR приложения попълват всички ... Прочетете още сте инсталирали на телефона си един път и не сте пипали оттогава.

Времевата им рамка е дори по-амбициозна от техните цели: те искат да доставят комплекти за разработчици тази пролет, а потребителският продукт „по време на Windows 10“. Ето и терена.

Всичко това звучи страхотно, но признавам в доста висока степен на скептицизъм.

Технологиите, които Microsoft използва, имат сериозни, основни предизвикателства и досега Microsoft е много силно примирена как (или дали) са ги решили. Ако не са ги решили, значи целта им да бъдат изпратени до една година е много загрижена. Последното нещо, от което се нуждаят VR и AR, е голяма компания, която доставя друг полупечен продукт като Kinect. Спомнете си Проект Natal демонстрация от 2009 г.?

Без допълнително обожание, ето петте най-важни неща, които бих искал да знам за HoloLens.

Това ли е светлинно поле?

За да разберем това, трябва да разгледаме малко по-дълбоко в 3D и как работи. За да получим усещането за истински, осезаем 3D свят, нашите мозъци интегрират много различни видове информация. Получаваме сигнали за дълбочина по света по три основни начина:

• Стерео дълбочина - несъответствието между това, което виждат и двете ни очи. Фактирането е това как работят 3D филмите
• Паралакс на движението - фините движения на главата и торса ни дават допълнителни сигнали за дълбочина за предмети, които са по-далеч
• Оптичен фокус - когато се фокусираме върху нещо, лещите на очите ни физически се деформират, докато не влязат във фокус; обектите в близко поле изискват повече изкривяване на обектива, което предоставя информация за дълбочината на това, което гледаме

Оптичният фокус е лесно да проверите сами: затворете едното око и дръжте палеца си пред стената в цялата стая. След това преместете фокуса си от миниизображението си към повърхността зад него. Когато гледате покрай палеца, палецът ви ще се измести от фокуса, защото лещата на окото ви вече е по-малко деформирана и не може правилно да събира светлината, идваща от него.

VR слушалки като Oculus Rift предоставят първите два сигнала изключително точно, но не и последната, което работи изненадващо добре: нашите очи по подразбиране се отпускат напълно, тъй като оптиката фокусира изображенията, като през светлината идваха от безкрайно далеч далеч. Липсата на сигнала за оптичен фокус е нереалистична, но обикновено не е разсейваща. Все още можете да имате много готини игрови изживявания 5 Oculus Rift Gaming опит, който ще ви разрушиСега, когато второто поколение разработващ комплект за Oculus Rift е в ръцете на разработчиците по целия свят, нека да разгледаме някои от най-добрите неща, които са ударили Rift досега. Прочетете още без него.

В разширената реалност проблемът е различен, защото трябва да смесвате светлина от реални и виртуални обекти. Светлината от реалния свят естествено ще бъде фокусирана в различни дълбочини. Виртуалното съдържание обаче ще бъде фокусирано върху фиксирано, изкуствено разстояние, продиктувано от оптиката - вероятно върху безкрайността. Виртуалните обекти няма да изглеждат като те наистина са част от сцената. Те ще бъдат извън фокуса, когато гледате истински неща на една и съща дълбочина и обратно. Няма да е възможно да движите окото си плавно през сцената, докато го държите във фокус, както обикновено. Противоречивите сигнали за дълбочина ще бъдат объркващи в най-добрия случай и болезнени в най-лошия.

За да коригирате това, се нуждаете от нещо, наречено дисплей на светло поле. Дисплеите на светлинното поле са дисплеи, които използват масив от малки лещи, за да показват светлина, фокусирана на много дълбочини едновременно. Това позволява на потребителя да се фокусира естествено върху дисплея и (за разширена реалност) решава описания по-горе проблем.

Има обаче проблем: светлинното поле показва по същество карта на един двуизмерен екран върху триизмерно светлинно поле, което означава, че всяка „дълбочина пиксел “, който потребителят възприема (и съществува на определена фокусна дълбочина в сцената) всъщност е съставен от светлина от много пиксели на оригинала показване. Колкото по-фина е дълбочината на дълбочината, която искате да изобразите, толкова повече разделителна способност трябва да се откажете.

Като цяло светлите полета имат около осем пъти по- намаляване на разделителната способност, за да се даде адекватна дълбочина на точност. Най-добрите налични микродисплеи имат резолюция от около 1080p. Ако приемем, че един микродисплей от висок клас задвижва всяко око, това би направило действителната разделителна способност на слушалките на Microsoft само около 500 x 500 пиксела на око, по-малко дори от Oculus Rift DK1. Ако дисплеят има високо зрително поле, виртуалните обекти ще бъдат непонятни петна от пиксели. Ако това не стане, потапянето ще страда пропорционално. Всъщност ние никога не виждаме през обектива (само компютърни пресъздания на това, което вижда потребителят), така че нямаме представа какво всъщност е потребителското изживяване.

Възможно е Microsoft да излезе с ново решение на този проблем, за да позволи използването на светлинно поле без дисплей с разделителна способност. Майкрософт обаче е изключително трогателен по отношение на технологията си на показване, което ме кара да подозирам, че не са. Ето най-доброто обяснение, което имаме досега (от армирано демонстрация).

За да създадете изображения на Project HoloLens, светлинните частици скачат около милиони пъти в така наречения светлинен двигател на устройството. След това фотоните влизат в двете лещи на очилата, където рикошират между слоеве от синьо, зелено и червено стъкло, преди да стигнат до задната част на окото ви.

Този вид описание на технологията може да означава практически всичко (макар че, честно казано на Microsoft, хардуерът впечатлява WIRED, въпреки че статията беше лека за подробности).

Няма да знаем повече със сигурност, докато Microsoft не започне да пуска технически спецификации, вероятно месеци от сега. Като допълнителна бележка за бране на азот, наистина ли е необходимо да се удави проектът в толкова много маркетингови говори? Специализираният процесор, който използват за проследяване на главата, се нарича „холографски процесор“, а изображенията се наричат ​​„холограми“ без особена причина. Продуктът е принципно достатъчно готин, че наистина не е необходимо да го позлатите по този начин.

Достатъчно ли е проследяването?

Слушалките Project HoloLens имат монтирана камера с висока дълбочина на FOV (като Kinect), която използва, за да разбере къде слушалката е в космоса (като се опитвате да подравните изображението на дълбочина, което вижда с модела си на света, съставен от минала дълбочина изображения). Ето тяхната демонстрация на живо на слушалката в действие.

Проследяването е впечатляващо, тъй като не използва маркери или други мами, но дори и в това видео (под силно контролирани условия), можете да видите определено количество колебание: проследяването не е напълно стабилно. Това може да се очаква: този вид проследяване отвътре навън е изключително трудно.

Големият урок от различни прототипи на Oculus Rift Гледайте ни изпробвайте залива на Oculus Rift Crescent на CES 2015Полумесецът Oculus Rift Crescent е съвсем нов прототип, който показва някои вълнуващи подобрения в технологията за виртуална реалност. Изпробваме го на CES 2015. Прочетете още е, че точността на проследяването има голямо значение. Проследяването на трептене е само досадно, когато става въпрос за няколко обекта в до голяма степен стабилен реален свят, но в сцени като демонстрацията на Марс, които показаха в концепцията си видео, където почти всичко, което виждате е виртуално, неточното проследяване може да доведе до липса на „присъствие“ във виртуалната сцена или дори симулатор болест. Може ли Microsoft да достигне проследяването до стандартния набор от Oculus (подмилиметрова точност на проследяване и по-малко от 20 ms закъснение) към датата на доставката им в края на тази година?

Ето Майкъл Абраш, VR изследовател, който е работил и за Valve и Oculus, говорим за проблема

[Тъй като винаги има забавяне в генерирането на виртуални изображения, […] е много трудно да се получат виртуални и реални изображения, които да се регистрират достатъчно близо, така че окото да не забелязва. Например, да предположим, че имате истински Coke can, който искате да превърнете в AR Pepsi, като нарисувате лого на Pepsi над логото на Coke. Ако са необходими десетки милисекунди, за да пречертаете логото на Pepsi, всеки път, когато завъртите главата си, ефектът ще бъде този изглежда, че логото на Pepsi се измества на няколко градуса спрямо кутията и част от логото на кока ще стане видимо; тогава логото на Pepsi ще щракне обратно на правилното място, когато спрете да се движите. Това очевидно не е достатъчно добро за твърд AR

Може ли дисплеят да рисува черно?

Друг проблем, заедно с фокусната дълбочина и проследяването, е свързан с рисуването на тъмни цветове. Добавянето на повече светлина към сцена е сравнително просто, като се използват разделители на лъчите. Извеждането на светлина е много по-трудно. Как избирателно затъмнявате части от реалния свят? Поставянето на избирателно прозрачен LCD екран няма да го намали, тъй като не винаги може да бъде в правилния фокус, за да блокира това, което гледате. Оптичните инструменти за решаване на този проблем, освен ако Microsoft не ги е измислил тайно, просто не съществуват.

Това има значение, тъй като за много приложения Microsoft се показва (като гледате Netflix на вашата стена), слушалките наистина се нуждаят възможност за премахване на светлината, идваща от стената, иначе филмът ви винаги ще има видим шарка на замазка, покрит с него: ще бъде невъзможно е изображенията да блокират реални обекти в сцената, което прави използването на слушалките силно зависими от осветлението на околната среда условия. Обратно към Майкъл Абраш:

[S] o нищо подобно не се е появило в AR индустрията или литературата и освен ако и докато това не стане, твърд AR, в смисъла на SF, който всички знаем и обичаме, не може да се случи, освен в почти тъмнина.

Това не означава, че AR е извън масата, само че за известно време все пак той ще бъде мек AR, базиран на добавково смесване […] Отново, мислете полупрозрачно като „Ghostbusters.“ Виртуалните изображения с висока интензивност без тъмни области също ще работят, особено с помощта на регионално или глобално потъмняване - те просто няма да изглеждат като част от реалното свят.

Какво става с оклузия?

„Оклузия“ е терминът за това, което се случва, когато един обект премине пред друг и ви спира да виждате какво стои зад него. За да може виртуалната природа да се чувства като осезаема част от света, е важно реалните обекти да оклузират виртуални обекти: ако държите ръката си пред парче виртуални изображения, не трябва да можете да я виждате през ръка. Поради използването на дълбочина камера на слушалката, това всъщност е възможно. Но, гледайте отново демонстрацията на живо:

Като цяло те внимателно контролират ъглите на камерата, за да избегнат преминаването на реални предмети пред виртуалните. Когато демонстраторът взаимодейства с менюто на Windows, можете да видите, че ръката й изобщо не го затваря. Ако това е извън обсега на тяхната технология, това е много лош знак за жизнеспособността на потребителския им продукт.

И като говорим за този потребителски интерфейс ...

Това наистина ли е окончателният потребителски интерфейс?

Интерфейсът, показан от Microsoft в демонстрационните им видеоклипове, изглежда работи като използва комбинация от поглед и ръка проследяване, за да контролирате курсор във виртуалната сцена, като същевременно използвате гласови контроли за избор между различни настроики. Това има два основни недостатъка: това ви кара да изглеждате като малкото дете в Сиянието, което разговаря с пръста си, но по-важното е, че тя също представлява фундаментално недостатъчна дизайнерска парадигма.

В исторически план най-добрите потребителски интерфейси са тези, които внасят физическите интуиции за света във виртуалния свят. Мишката донесе щракване, плъзгане и прозорци. Сензорният интерфейс докара плъзгане, за да превъртите и прищипване, за да увеличите. И двете от тях бяха критични за правенето на компютрите по-достъпни и полезни за широката популация - защото бяха фундаментално по-интуитивни от предишното.

VR и AR ви дават много повече свобода като дизайнер: можете да поставяте UI елементи навсякъде в 3D пространство и да накарате потребителите да взаимодействат с тях по естествен начин, сякаш са физически обекти. Огромен брой очевидни метафори предполагат себе си. Докоснете виртуален потребителски интерфейс, за да го изберете. Прищипете го към него и го преместете. Плъзнете го извън начина, за да го съхранявате временно. Разтрошете го, за да го изтриете. Можете да си представите изграждане на потребителски интерфейс, който е толкова интуитивен, че не изисква никакво обяснение. Нещо, което баба ви може да вземе веднага, защото е изградена върху основата на основни физически интуиции, които всеки изгражда през целия си живот на взаимодействие със света. Отделете малко и слушайте този умен човек да опише какви могат да бъдат потапящи интерфейси.

С други думи, изглежда очевидно (за мен), че трябва да бъде потапящ потребителски интерфейс поне толкова интуитивен, колкото сензорните интерфейси, въведени от iPhone за 2D мултитъч екрани. Изграждането на интерфейс около манипулиране на VR „мишка“ е крачка назад и излага или дълбока технология недостатъци в технологията им за проследяване на ръцете или фундаментално неразбиране на интересното за новото среда. Така или иначе, това е много лош знак, че този продукт е нещо повече от колосален флоп с Kinect.

Надяваме се, че Microsoft има време да получи обратна връзка по въпроса и да свърши по-добра работа. Като пример, ето интерфейс, проектиран от един любител за Oculus Rift DK2 и Leap Motion. Потапящият потребителски интерфейс, проектиран от голяма компания, трябва да бъде поне това благо.

Знак на предстоящите неща

Като цяло съм изключително скептичен към HoloLens проекта като цяло. Много се радвам, че компания с ресурси на Microsoft проучва този проблем, но се притеснявам, че те са опитвайки се да избързате продукт, без да решавате някои критични основни технически проблеми или да забиете добър потребителски интерфейс парадигма. HoloLens е знак за предстоящи неща, но това не означава, че самият продукт ще осигури добро изживяване на потребителите.

Image Credit: любезното съдействие на Microsoft