Ко-изумитељ ХолоЛенс-а Ави Бар-Зеев дели: Пут до АР наочала за све временске прилике
Пут до КСР наочара за све временске прилике
Више од 30 година радио сам на КСР-у, метаверзуму и просторном рачунарству, укључујући помоћ или саветовање на 10 различитих пројеката КСР слушалица. Имао сам велику срећу да допринесем низу пројеката на самом почетку, углавном доказујући или негирајући захтеве и дефинисањем кључних корисничких искустава пре него што тимови потроше милијарду долара на њихову изградњу. Успут сам научио лекције о томе шта ради, а шта не. Понекад је тачан одговор „још није сазрео“.
Нећу открити ниједну информацију коју мој бивши послодавац и даље сматра власничким. Даћу везе до објављених патената који нам могу дати увид. То је стварна сврха патената, веровали или не. Наравно, избегавао бих патенте за које мислим да би изазвали спекулације.
Важно је пазити да ништа што кажем или напишем не схватите као доказ планова производа било које компаније, па чак ни критику било чије напоре. То ми уопште није била намера.
За позадину, прво право КСР искуство које сам направио била је ПЕЋИНА. У то време сам позајмио 250 УСД,000 компјутер и џиновски пројектор, и уложио још 30 УСД000 у сировине. Дизнијеве ВР слушалице од 100 УСД,000 које су направљене 90-их, никада нису доспеле на комерцијално тржиште. За ношење тежине потребни су каблови који висе са плафона, али стотине хиљада су то испробале.
Надам се да ћемо до јануара 2010. бити спремни да почнемо да развијамо КСР наочаре спремне за употребу. Време је да направимо велики прскање на овом пољу које се споро креће. Поред тога, Гоогле Гласс и Магиц Леап су се појавили отприлике у исто време. На срећу, један од задатака које смо добили у Мицрософтовом инкубационом тиму био је да пронађемо нове идеје за следећу генерацију КСБок-а.
„Будите агресивни, чак нас натерајте да кажемо 'ово је лудо'“, рекао је тада извршни директор Ксбок-а.
Свакако имам "радикалне" идеје. Наш мали тим је убрзо почео да ради на новом концепту производа „Сцреен Зеро“: замени свих екрана једним екраном. Био сам задужен за техничко истраживање и помогао сам у дефинисању искуства у првој формативној години. Моји разлози за одлазак нису вредни простора у овом чланку. Али након више од хиљаду људи, ХолоЛенс је лансиран 2016.
Ово је револуционарна опрема. Али то још увек није уређај за ношење у свим временским условима. Ништа од данашњих Магиц Леап 2, Снап Спецтацлес, Варјо или Куест.
Дакле, шта је тачно потребно за постизање АР наочара које се могу носити цео дан?
1. Максимализам и минимализам
Максималистички приступ, попут оног који је ХолоЛенс на крају заузео, односи се на консолидацију бројних сензора, алгоритама и снаге у врхунски систем. Када се реши инжењерско и корисничко искуство, можемо теоретски да га сузимо. Али за то је потребно више времена и може проћи и до деценије да одређена електроника сама оптимизује снагу.
Цамбриа и слични уређаји су на сличан начин максималистички, толико да симулирају АР са огромним непрозирним ВР екраном и више камера, са прецизном контролом пиксел по пиксел над мешавином стварности и симулације. Максимализам је најбољи за врхунске апликације и основна истраживања и развој. Неки тврде да чак и ако су апликације више индустријске, оне су једини алати који раде у овом тренутку.
Међутим, чак ни најскупљи уређаји на тржишту данас се не могу носити цео дан, нити се могу користити за обичне друштвене интеракције, па чак ни за безбедно ходање улицама. Максималистичке карактеристике као што су холографски прикази или прикази светлосног поља још нису зрели.
С друге стране, уређаји са минималистичким приступом укључују Амазон Ецхо Фрамес, Снап Спецтацлес и Раи-Бан Сториес, да споменемо само неке. Они пакују само технологију која се уклапа у тренутна ограничења фактора облика носивих наочара, често потпуно одбацујући екране.
Ипак, да ли се наочаре без екрана могу рачунати као КСР?
Ако то побољшава нечију ситуациону перспективу, рекао бих да. Подкаст или музички микс није КСР јер још увек не осећа вас или ваше тренутно окружење. Апликације за ГПС навигацију се помало подударају, али нису довољне. Додавање просторног звука и камера за АИ и прецизно позиционирање дефинитивно се рачуна као КСР, чак и без екрана.
Минималистички приступи могу да продају више производа у кратком року, а обично се фокусирају на одређени аспект и чине га најбољим решењем у класи. Ако то можете да урадите како треба, као што су Валкман и иПхоне, можете продати за милијарде долара. Али немојте мислити да је минимализам лак, јер је на много начина тешко учинити добро.
2. Најбољи метод
Надао сам се да је КСБок-ов Сцреен Зеро хибрид минималистичких наочара и максималистичке конзоле. АР наочаре треба да буду сличне величине као Оаклеи наочаре или мање. Следећи домаћин ће обављати већину тешког дизања до четири пара наочара у истој просторији.
3. Ергономија, потрошња енергије и топлота
Зашто раздвајати? Своди се на потрошњу енергије, тачније: топлоту.
Сав рад рачунара завршава се у облику топлоте, а други могу укључивати фотоне и/или механичке погоне, као што је звук. Колико топлоте? Пар лаганих АР наочара може да генерише око један ват енергије.
Типичан паметни телефон може да генерише око 10 вати, а затим да се загреје. Хост или рачунар могу да троше 10-100 пута више енергије од паметног телефона, а самим тим и 100-1000 пута више енергије од наочара. Замислите мале ЛЕД лампе и огромне сушилице за веш. Ово је огромна разлика у потрошњи енергије.
Да бисмо уравнотежили потрошњу енергије, потребна су нам решења слична онима на којима сам радио од 2010. године, као што су спајање података, подељено рендеровање, оптимизовани токови рендеровања. За нижи пропусни опсег, приказивање са изобличењем времена засновано на праћењу очију добро функционише и покрива кашњења у комуникацији.
ЦПУ, камера, екран и РАМ троше много енергије и генеришу много топлоте. Дакле, тајна је да их у већини случајева користите штедљиво. Размислите о прилагођеном хардверу мале потрошње: нови контекстуални сензори, екрани са ултра-ниском потрошњом и алгоритми који се паметно „пробуде“.
Ово ће захтевати време да се реши. На пример, ако ваш оптички миш и хост контролер нису у стању приправности, њихове батерије ће се испразнити, па ће почети са привезаним решењем. Данас оптички миш може да издржи неколико месеци на малој батерији.
4. Изван дневне собе
Да би подржали широк спектар случајева употребе, оптички транспарентни АР системи морају идеално да блокирају светлост из светлих окружења (чак и осветљење прозора или дневне собе), боље персонализују и мешају просторни звук са стварношћу, прилагођавају оптички фокус, снимају и репродукују виртуелне холограме других и још.
Чак и ако је уређај подељен на главну јединицу и слушалице, још увек има превише „ствари“ у нашој глави. Огроман ергономски изазов је да се решите огромних каишева које већина КСР уређаја још увек користи због којих слушалице изгледају као бубице које грле лице.
Било која врста каишева која захтева затезање ограничиће разноврсност корисничке базе (узимајући у обзир варијације величине главе и подложност нереду косе) и смањиће вероватноћу ношења наочара. То значи да опрема за све временске прилике мора бити супер лагана и генерално одговарати једнако добро као и обичне наочаре.
Доћи до величине Оаклеи наочара или мањих често значи премештање већег дела система у копчу или даљински управљач. Магиц Леап нуди такав клип. Приметио сам да КСР уређаји користе поставу траке за врат, што подразумева вешање рачунарских компоненти око врата потрошача. Са овим подељеним дизајном, што се више ради одвојено, склоп око/глава може бити лакши.
Мене лично 2010. више су занимали бицепси јер је то била тачка сидрења и кратка линија по потреби. Ово држи теже и топлије компоненте даље од главе и врата и има велику површину за одвођење топлоте. Биосензори који се налазе на руци такође могу да открију гестове, слично као што Мета користи Цонтрол плус Лабс уређај за читање покрета са ручног зглоба. На овај начин, дизајнери производа и даље могу да кажу „без каблова“.
5. Фокус
Пошто велики број одраслих треба да исправи вид на близину и на даљину, фактор облика који се може носити током целог дана често треба да увећа и фокусира стварни свет за нас. У најмању руку, то значи да сочива треба да подржавају прилагођену оптику параметара вида. Компанија за таласоводе коју је Снап раније купио најавила је планове за уградњу повезане оптике у функционална сочива за вид, али то је било тешко.
Али да ли је један параметар визије довољан? Многим одраслим особама наочаре су потребне само за читање или вожњу (далековидост), што значи да су им потребне наочаре да би могли да пређу у различита стања. Дакле, да ли су нам потребна два или три пара скупих наочара? Или бифокали, трифокали, који савијају светлост у складу са тим где гледате? (Практично, али не идеално)
Једно решење које форсирам је динамичко оптичко подешавање, омогућавајући истом пару наочара да подржи читање или вожњу, па чак и увећава ситна слова и удаљене знакове. Ово такође омогућава да више пријатеља лако испроба. Замислите да ваш КСБок подржава само игре за једног играча и да имате два или три пријатеља у соби? Некако срање.
Тренутне најбоље методе динамичког фокусирања укључују Алварез (механички клизач) и подесива сочива пуњена течношћу. Механичка решења имају тенденцију да смање поузданост. Постоји поприлична количина истраживања и развоја која иде у слагање посебних ЛЦД-а и електронски промену фокуса. Мега је купила компанију да преузме задатак.
Затим постоји проблем фокусирања виртуелне слике на основу тренутне линије вида. Авегант и Магиц Леап су нам показали како да брзо прелазимо између две жижне даљине, симулирајући једноставан приказ светлосног поља, што је важно за навигацију „виртуелних објеката“ на одговарајућој жижној даљини унутар распона крила. Раније сам разматрао неколико начина за континуирано скенирање жижне даљине, али комерцијални монитори у пракси нису довољно брзи.
Праћење очију може помоћи у обради, смањити рачунарско оптерећење и обезбедити природнији унос корисника. Веома сам упознат са проблемом праћења очију и упозоравам доносиоце одлука на ризике рано.
Коначно, на пословној страни, Лукоттица зарађује много новца продајом јефтиних, скупих наочара. Данас доминира тржиштем и већином брендова наочара које познајете. Компаније за КСР наочаре морају да раде са њима или против њих, што није лак избор. Мета је одабрао да ради са њима на развоју Раи-Бан наочара. Међу конкурентима компаније су Варби Парке и други мали играчи. Не можете продати добре нове производе без добрих канала дистрибуције и партнера.
6. Контраст
Магиц Леап 2 нуди начин за селективно замагљивање природног света. Радим на овом проблему од 2010. године, али још увек нема савршеног решења. Низ оптичких инжењера то није сматрао потребним. Разлози су следећи:
Уопштено је разумљиво зашто транспарентни „адитивни“ дисплеји не могу да претворе „црно“. РГБ{{0}},0,0 за црну, која заправо ништа не додаје и није видљива у постојећем светлу. Међутим, лако вас можемо преварити да приметите црне и сенке тако што ћете се приближити светлијим областима.
Заиста тежак проблем настаје када своје КСР наочаре изнесете напоље и погледате у зид осветљен јаком сунчевом светлошћу, вероватно у близини тамног или засјењеног подручја. Одређене области могу бити 1000 до 10000 пута светлије од других. Контраст је толико изражен у затвореном простору да АР визуелни прикази изгледају потпуно застрашујуће. Оптички инжењери често тврде да да бисте ово превазишли, морате да избаците више светлости. Њихова оптика је обично само 1 проценат -10 процената ефикасна, што значи да већина светлости чак ни не улази у ваше очи и само додаје више топлоте. Подсетите се да не можете само да дизајнирате систем око оптике јер је топлота један од највећих ограничавајућих фактора.
Реалност је да сваки пар провидних АР или видео провидних наочара треба да узме у обзир стварну сцену када прави визуелна побољшања. У случају транспарентности, наочаре често треба одузети од стварног осветљења да би се добила жељена коначна боја. У случају видео перспективе, екран може да замени цео пиксел, али свака транспарентност у виртуелној 3Д сцени и даље треба да се помеша са бојом позадине која се чита са камере. Дакле, оно што у суштини гледате је високоенергетска камера и кола која су или провидна или непрозирна. Ово је огромно ограничење дизајна јер додаје енергију и тежину док блокира очи.
На површини, селективно сенчење са прозирним наочарима је јефтиније од додавања енергије екрану или додавања камере. Године 2010. поставио сам једноставан монохроматски ЛЦД испред таласовода. Ради како се очекивало, приказујући 3Д чврсте објекте са меким црним обрисима. Али има недостатака, укључујући потребу за динамичком калибрацијом, ЛЦД изобличава стварно светло (углавном преламање контролних жица). Сам по себи има лош динамички опсег. На отвореном, понекад вам је потребна скоро 100% непрозирност. У затвореном простору, посебно у друштвеним ситуацијама и телеприсутности, желите да будете транспарентнији да видите људе директно у очи.
Главна замерка овом приступу је да су ЛЦД-и или други модулатори просторног светла често ван фокуса, један инч од ока. Али изобличење је такво да са правим плус и минус транспарентним АР екранима и неким брзим сензорима мале снаге, ваше наочаре за сунце могу блокирати сунчеву светлост, одсјај или фарове без затамњивања вашег вида на другим местима. Можете суптилно затамнити свет и учинити да препоручене књиге изгледају светлуцаво. Са напреднијим одузимањем (филтрирањем), наочаре могу чак да промене боју света, побољшају ноћни вид, па чак и дају биометријску повратну информацију када се осећате немирно или расејано.
Направио сам разне демо ствари и провео дуго времена тражећи бољи начин. Али сви они имају одређене недостатке. Међутим, имплементација Магиц Леап 2 ми даје наду да ће суштински проблеми бити решени.
7. Мрежа
Радио-уређаји такође захтевају енергију, тако да увек постоји компромис у сплит систему. Будућност која највише обећава лежи у коришћењу врхунских радио фреквенција за постизање мање снаге и веће пропусности него данас. Али главни изазов је да ова фреквенција не може да прође кроз кожу или зидове (у добру или у злу). Дакле, решење мора бити веома паметно, јер се радио таласи одбијају и сијају око соба и људи, тако да ће можда морати да се користи више предајника него што их има данас. Очигледно, ово додаје трошкове и сложеност.
За целодневне носиве уређаје, такође захтева да мрежа буде доступна пре продаје производа који се ослањају на њу. Ово ограничење је највећи разлог зашто предузећа никада не објављују решење за подељено приказивање које ја заговарам. 5Г је ближи ономе што нам је потребно, али барем у САД-у ово углавном решава проблем мањег кашњења и више људи који истовремено користе мрежу. Треба нам више од 5Г, али то је добар почетак.
Да бисмо се решили оригиналног „домаћина“ (или сличног) у просторији, уз задржавање мале и лагане форме, потребан нам је начин за „ивично“ рачунарство, комбинован на начин који не нарушава нашу приватност. Слање њихових биометријских сензорских података на било коју ивицу или решење у облаку је веома забрињавајуће за свакога јер се може лако злоупотребити.
8. Камера
Постављање камере на наочаре је тешко. Гоогле Гласс је направио много грешака у друштвеном прихватању и био је под великим нападом. Али изгледа да Снап има мало проблема у том погледу. Истовремено, Фацебоок ради на хватању детаља из свачијег живота, вероватно да би испоручио персонализованије огласе, свиђало нам се то или не.
Одређене камере су енергетски интензивне, као што је дигитализација 3Д сцене и дигитална оклузија људи или објеката. Да бисте правилно поставили 3Д графику, морате непрекидно пратити главу у свемиру, а камере су и даље водеће решење. Коришћењем ИМУ сензора, повећавамо потрошњу енергије.
Снимање фотографија или видео записа је прилично популаран случај употребе, посебно ако је природнији и практичнији од других уређаја. Међутим, због ограничења у величини и снази, квалитет фотографија ће бити нижи него код типичног паметног телефона. Омогућавање малог белог светла у оквиру није довољно да се реши сложени проблем друштвеног одобравања.
Разумевање сцене је лакше замислити као главну карактеристику наочара за камеру, делом зато што не мора да слика друге људе, али што је још важније, отвара најважнији нови случај употребе наочара током целог дана: разумевање ситуације.
9. Искуство
У 2010. години највише се надам да ћу развити АР наочаре које подржавају моћне могућности праћења очију и тела, и истражују природнији просторни рачунарски кориснички интерфејс изван традиционалног „правоугаоника унутар правоугаоника“ рачунара и мишева. Иако хардвер свакако има своја ограничења, широко распрострањено усвајање КСР-а захтева да се неко позабави искуственим питањем „како“ да комуницира у будућности? „3Д кутија у кутији“ очигледно није. Тако да имамо још много посла.
Док Мета фокусира своје ВР напоре на полагање такозваног „Визуелног Тјуринговог теста“, КСР наочаре које се могу носити током дана морају бити корисније од других. Многи замишљају АР слојеве или канале који прожимају нашу стварност, обележавају све што видимо, додају информације, причају просторне приче у 3Д и поново цртају свет. Иако ће ово вероватно бити на захтев, то није свакодневно искуство које бих очекивао.
Већину времена људи желе да побољшају оно што често раде: комуницирају, крећу се, откривају свет око нас, разумеју, па чак и промене место, купују, доживљавају садржај и зарађују новац од посла. Да би биле успешне, КСР наочаре морају да раде боље него што радимо са паметним телефонима или другим уређајима.
Ево шта паметни телефон не може. Замислите пар наочара нормалног изгледа које динамички прилагођавају фокус и селективно блокирају светлост. Они могу да разговарају са вама проактивно и приватно, без потребе да куцате текст или усмено питате. Само то би био производ вредан милијарду долара. Такве наочаре вам могу помоћи да запамтите ствари или да дају поуздане препоруке као део вашег свакодневног искуства (у односу на пусх огласе).
Најважније истраживање које сам урадио у овој области је асинхрона комуникација коришћењем невизуелних КСР наочара. Гласовне и текстуалне могућности паметних телефона данас су довољно добре, али да ли знају када се трудите да се фокусирате? Могу ли вам помоћи да промените контекст у право време како бисте наставили да посао или игра тече? Ево како Где наочаре могу да сијају (под претпоставком да можемо веровати произвођачу).
Све што сам описао је веома тешко, а релевантна технологија скоро да и не постоји. Још није на минималистичком путу, али то је зато што му нисмо дали приоритет над минијатуризацијом оптике и максимизацијом видног поља. Али ако поставите питање: Какве КСР наочаре могу успети тамо где други нису? И даље мислим да ће вам све што сам горе навео помоћи да направите одличан производ.
