Haptic technology: Ďalšia hranica vo videohrách, nositeľoch, virtuálnej realite a mobilnej elektronike

Anonim

Haptic technology: Ďalšia hranica vo videohrách, nositeľoch, virtuálnej realite a mobilnej elektronike

VRFeature

Richard Moss

16. januára 2015

15 obrázkov

Ďalšou hranicou interakcie medzi človekom a počítačom bude všetko, aby ste pocítili virtuálny digitálny svet, akoby bol skutočný a hmatateľný (Foto: David Brohede)

Hmatová spätná väzba nie je nič nové. Používa sa v telekomunikáciách a zábave už niekoľko desaťročí a stal sa štandardnou funkciou koncom 90. rokov v mobilných telefónoch a videohrách, kde vibrácie upozorňujú na nové správy alebo vám pomáhajú "cítiť" sily vyvíjané na vášho avatara. Technológia Haptic bola veľmi silným hráčom v oblastiach, v ktorých je infiltrovaná, avšak len teraz vidíme, že začína mať svoje miesto spolu s vizuálnymi a zvukovými technológiami ako kľúčovým prvkom interakcie medzi človekom a počítačom.

Smartwatchy, ako je nadchádzajúca aplikácia Apple Watch, zahŕňajú hmatky, ktoré vám poskytnú podrobné pokyny. Výskumníci medzitým experimentujú s haptickými znameniami zabudovanými do volantu automobilov pre zvýšenú bezpečnosť a s hmatovou spätnou väzbou zabudovanou do dotykových obrazoviek a verejných máp pre prirodzenejší pocit interakcií.

Haptics umožňujú hluchoslepým ľuďom prezerať si web (vďaka Morseovmu kódu) alebo dokonca hrať videohry. V hernom priestore sú haptiky rýchlo rastúcim poľom vďaka nárastu virtuálnej reality a túžbe hráčov cítiť sa rovnako viscerálne, ako vidia a počujú ich virtuálne prostredie. Haptic technológia tiež pomáha trénovať ďalšiu generáciu lekárov a zlepšovať simulácie v priemyselnom sektore pre pilotov a veľkých prevádzkovateľov strojov.

Základy

Predtým, ako sa dostaneme do niektorej z týchto situácií, nechajme chvíľku späť a pozrite sa na to, čo je haptická technológia. Vo väčšine prípadov používa určitý druh motora, ktorý sa nazýva pohon, ktorý premieňa elektrickú, hydraulickú alebo pneumatickú energiu na vibrácie, ktoré môžu byť riadené a riadené softvérom, ktorý určuje trvanie, frekvenciu a amplitúdu.

Nintendo 64 rumble pack predstavil hromadné herné publikum na myšlienku o vibráciách v regulátorovi posilňujúcom hre (Foto: Evan-Amos)

Smartphony zvyčajne používajú technológiu haptic pre upozornenia a upozornenia, ako aj jemnú spätnú väzbu pri písaní správ alebo číslicových čísiel na dotykových obrazovkách. Ovládače videohier teraz používajú haptiku rovnakým spôsobom, akým to urobili takmer pred dvoma desaťročiami s balíkom Nintendo 64 rumble a Playpad DualShock - aby ste získali hmatateľnosť, pocítili tým, že ruky držia ovládač, explóziou alebo nárazom alebo drsným povrchom že prechádzate.

Existuje však oveľa viac, čo môžu robiť haptici, a to ako pri nižších rozlíšeniach spätnej väzby, ktoré ponúka ovládač Xbox alebo PlayStation (čo je o niečo viac ako vypínač s regulátorom stmievania pre každý z dvoch ovládačov) a vyššie odozvy, ktoré môže poskytnúť najnovšia haptic technológia (ktorá umožňuje spätnú väzbu lokalizovanú na konkrétne súradnice a dokonca aj na najvyššej úrovni podľa toho, ako pevne tlačíte na povrch).

Haptics vyzerá ako ďalšia veľká vec v našich interakciách s digitálnym svetom. Môžeme posúvať priestorové zvukové efekty do slúchadiel a nahrávať zvuk s vysokou vernosťou s našimi smartphonmi a my sa môžeme dotýkať a priblížiť a priblížiť sa v blízkosti všetkého, čo sa objaví na obrazovke. Ale všetko sa cíti plocho a bez života, pretože sme sa snažili urobiť niečo iné ako to. Ľudské telo má vysoko sofistikovanú schopnosť rozpoznať a reagovať na textúry a vibrácie a pokesy a všetky ostatné vonkajšie sily, ktoré zaberajú receptory v našom somatosenzorickom systéme.

Zlepšenie hmatovej spätnej väzby v spotrebiteľských technológiách bude rozhodujúce, pretože podporujeme naše snahy preklenúť rozdiel medzi všetkými fyzickými a hmatateľnými a všetko, čo je digitálne a virtuálne. Medzi tými, ktorí sa pokúšajú preskúmať priestor, je Mathias Nordvall, kognitívny vedec a herný dizajnér vo Linköpingovej univerzite vo Švédsku.

Poctivosť a haptický Pong

"Veľa kultúry dnes je buď založené na vízii alebo na základe zvuku, " poznamenáva Nordvall. "Pôjdete na koncert, počúvate rádio alebo ísť do kina." A ak vám chýba jeden z týchto zmyslov, kompenzujete to druhému. Prevažne vizuálne rozhrania, ako je prehliadanie webu, sa zobrazujú ľuďom so zrakovým postihnutím prostredníctvom čítačiek obrazovky, ktoré hovoria textom na stránke, zatiaľ čo televízne relácie a filmy môžu byť sledované s titulkami pre sluchovo postihnutých.

Jedného dňa sa Nordvall pýtal: "Čo sa stane, ak nemáte prístup k žiadnej z nich?". Ako môžu ľudia hluchoslepí (ľudia s malým alebo žiadnym videním a malý alebo žiadny sluch) komunikovať s moderným svetom? Mnohí z tých, ktorí sa nachádzajú na ďalšom konci hluchoslepého spektra, nikdy nemohli využívať televíziu, internet alebo videohry. Takže Nordvall sa rozhodol zistiť, či videohra môže byť vyrobená tak, aby bola "úplne a len" založená na haptickej technológii - hra, ktorá nepoužíva grafiku ani audio.

Snažil sa to robiť lacno, používajúc iba lacné spotrebné technológie s nízkymi nákladmi a rýchlo sa usadil na radičoch Xbox 360, ktoré majú v sebe dva motory (a poznámky spoločnosti Nordvall, vnútorné práce, ktoré sú takmer totožné Nintendo 64 rumble balenie uvoľnené o desaťročie skôr, s výnimkou pridania druhého pohonu). A po niekoľkých úvahách sa rozhodol pokúsiť sa preložiť existujúcu hru, Pong, pretože to by zabezpečilo, že akékoľvek ťažkosti, ktoré hrajú, sú spôsobené poruchami v užívateľskom rozhraní a nie v hernej súprave.

Výsledok sa vôbec necíti ako Pong, alebo aspoň nie na začiatku. Hráči majú v ruke jeden ovládač Xbox 360 s pohybom pádla mapovaným na jeden z joysticiek a umiestnia druhú do klína alebo niekde inde na svojom tele. Vibrácie v každom z ovládačov udávajú, kde je lopta podľa nasledujúcich pravidiel:

  • Gamepad vo vašich rukách bude mať trvalé slabé vibrácie, ak je loptička nad vašou lopatkou, silné vibrácie, ak je loptička pod úrovňou a žiadne vibrácie, ak sú v rovnakej výške
  • Gamepad v lone bude postupne vibrovať rýchlejšie, keď sa lopta posúva smerom k vašej loptičke a pomalšie, keď sa pohybuje ďalej
  • Jedna alebo druhá herná myš bude pulzovať pri náraze stenami alebo pádlami v závislosti od toho, čo sa lopta odrazí

Trvalo to moja priateľka a ja asi pol hodiny, kým sme sa dostali na záves hry, keď sme začali najprv so zapnutými vizuálnymi a zvukovými pomocníkmi, a potom sme postupne uvoľnili cestu až do hrateľnosti. To hovorí Nordvall, je o štandarde. "Kedykoľvek otestujeme ľudí na tom, je to na začiatku veľmi ťažké, " hovorí Gizmag. "Ale po 20-25 minútach niečo klikne do tvojej hlavy a začneš si uvedomiť, že" Počkaj, tento signál v skutočnosti nie je úplne rovnaký ako tento signál, ktorý tiež cítim. "Takže vy môže začať dráždiť ty von. "

Vo svojom čistom stave nemá haptický Pong žiadnu vizuálnu alebo sluchovú pomoc a obrazovku, ktorá je úplne prázdna, ale pre skóre (obrázok: Mathias Nordvall)

Nordvall porovnáva impulzy s jazykom. "Ty pulzy, ktoré máte pocit, majú veľmi malú korešpondenciu s loptou odraziacou sa od lopty alebo lopta, ktorá skutočne prichádza smerom k vám, " hovorí. "V tomto zmysle je to viac o sémantickom jazyku, tu je to ľubovoľný signál, ktorý znamená, že lopta prichádza smerom k vám, rovnako ako to je ľubovoľné, že sme napísali mačku v mape Ale ak to napíšem na kus papiera a ukážeš to niekomu, čo ti rozumejú. ""

Ovládače videohier sa spájajú s jazykom hrania a interakciou, ktorú hráči vyvíjajú už viac ako 30 rokov, a ľudia, ktorí hrali hry v ktoromkoľvek bode počas tohto obdobia, sa môžu naučiť relatívne ľahko. Ale haptické rozhrania ešte nemajú akékoľvek štandardné rozhranie (rozhrania) a neexistuje veľa experimentov s myšlienkou vytvorenia jedného. Vpíšte hodnotu Sightness.

Screenshot z beta verzie Sightlence, jednoduchý haptický editor určený na jednoduché vytváranie haptických signálov, ktoré sa majú používať v aplikáciách a hrách pre akékoľvek zariadenie (obrázok: Mathias Nordvall)

Ako rozšírenie hry haptic Pong vytvoril Nordvall a jeho kolegovia Sightlenciu, hmatový editor, ktorý bude čoskoro dostupný a je určený na to, aby uľahčil komukoľvek, aby navrhol hmatové výstupné signály pre hry a iný softvér. Nordvall ju priraďuje k digitálnej audio stanici, ktorá nie je pre vytváranie hudby, ale skôr pre haptiku. Máte krabice pre jednotlivé signály a "vzorky ", ktoré môžete vytvoriť alebo importovať a potom zmiešať a zhodovať, a potom vyberiete, kam ide signál - Gamepad Xbox alebo zariadenie Android alebo iOS alebo možno vlastné zariadenie, ktoré postavil si sa. Editor je založený na pluginoch, takže aj v prípade, že nie je k dispozícii žiadna podpora pre zariadenie, môžete si napísať nový ovládač doplnkov a skočiť do nástrojov.

Myšlienka je, že Sightlence poskytne nástrojom pre vývojárov, aby vytvorili akýsi druh lešenia pre haptické rozhrania. "Vôbec sa nepoužívame na používanie haptických rozhraní, " vysvetľuje Nordvall. "Obzvlášť nie pre informácie, ktoré sú len prenášané cez haptiku a nič iné."

Hmatový rast

Nordvallov hmatový editor by mohol pomôcť pri rozvíjaní nových hmatových zážitkov - haptických "jazykov" - kde v súčasnosti existuje veľký záujem o tri samostatné fronty: virtuálnu realitu, nositeľnú výpočtovú techniku ​​a technológiu dotykovej obrazovky.

Oculus Rift pomáha riadiť výskum a vývoj v haptike ako súčasť zlatého spevu pre celkové ponorenie VR

Nálada nemusí pomôcť veľa s virtuálnou realitou, ktorá sa viac alebo viac opiera o simuláciu, a preto by mohla ťažiť z priameho prekladu zaznamenaných síl skutočného sveta do haptických signálov. Avšak nositeľné a dotykové obrazovky budú musieť byť viac abstraktné v ich používaní technológie, a to sa zdá dobre vhodné pre haptic editor, ktorý vám umožní klepnúť alebo vytiahnuť signály a vyladiť ich do vášho srdcového obsahu.

Spoločnosť Apple sa chystá sledovať, ako prichádza so systémom Taptic Engine, ktorý poskytuje hmatové vnemy na vašom zápästí, ktoré sú "rozpoznateľne odlišné pre každý druh interakcie". To bude podľa dokumentácie umožniť používateľom posielať navzájom svoje srdce merané snímač tepovej frekvencie a možno aj iné prispôsobené haptické znamenia. Hodinky vás tiež vedú správnym smerom s jemným bzučaním pri navigácii. Ostatné smartwatchy a ich súbory aplikácií sa snažia podobné veci a keď sa objavia nové druhy nositeľov, pravdepodobne uvidíme, že haptiká zohrávajú kľúčovú úlohu v tom, ako spolupracujeme s technológiou, ktorú s nami prinášame.

Najmä teraz, keď obrazovky tiež získavajú zdokonalenú haptickú technológiu. Zmyselné techniky, ako napríklad metóda zahŕňajúca tlačenie kvapaliny do vopred usporiadaných hmatových pixlov, môžu poskytnúť pocit fyzických tlačidiel. V minulom roku spoločnosť Fujitsu ukázala prototypy pre tablety so zdokonalenými tabletami, ktoré idú ešte ďalej a ponúkajú používateľom pocit textúry pod prstami prostredníctvom ultrazvukových vibrácií s rôznymi frekvenciami a amplitúdami.

V priestore virtuálnej reality by hmatovou technológiou mohlo byť chýbajúci kúsok skladačky, ktorý poháňa podobne ako Oculus Rift a Sony 's Project Morpheus do hlavného prúdu. Problém je v tom, že virtuálna realita teraz vyzerá a znie tak realisticky, že sa inštinktívne cítite ako vy fyzicky vo virtuálnom priestore, a to znamená, že sa chcete dotýkať vecí a cítiť veci, ktoré sa vás dotýkajú. Ale bez haptických (alebo mnohých rekvizít a starostlivého plánovania), ani jeden z nich nie je možný.

To je dôvod, prečo je to preteky v zbrojení. Kontrola VR a PrioVR, okrem iného, ​​sleduje vaše ruky a prsty alebo celé telo v reálnom čase, pričom vo väčšine z nich sa postupne skúmajú haptické spätné väzby.

Niektorí sa obávajú sledovania pohybu a sústredia sa len na haptické. KOR-FX vám prináša pocit každého virtuálneho nárazu - veľkého alebo malého - na hrudi, pretože sa zdá, že explózie vyfukujú priamo cez vás, motory sa hučia hlboko pod kožou a cítite niečo podobné skutočnej sile vášho auta alebo kozmickej lode sústruženie.

Iní ponúkajú rekvizity s pohybovou stopou s vstavanou haptickou spätnou väzbou, ako napríklad s strelcom Virtual Striker Recoil alebo so systémom Tactical Haptics Reactive Grip.

Immerz 's KOR-FX haptic vest prináša hry a filmy oveľa väčší úder, a to najmä v spojení s náhlavnou súpravou virtuálnej reality

A to bez toho, aby sa dostali do vysoko nákladných vlastných hmatových nástrojov používaných v priemyselných, lekárskych a vojenských simuláciách. Lekári trénujú alebo vykonávajú diaľkovú operáciu s 3D okuliarmi a haptickými nástrojmi, vojaci získajú chuť boja pomocou falošných zbraní s realistickým odrazom a vestami, ktoré nie sú na rozdiel od KOR-FX, zatiaľ čo piloti a technici ťažobného stroja dostanú takisto spätnú väzbu zo svojich tréningových programov.

Živá budúcnosť

Vo všetkých týchto aplikáciách haptic technológie Nordvall naznačuje, že kľúčom je, že hmatová spätná väzba sa použije buď na zvýšenie skúsenosti (aby sa cítila skutočnejšia alebo uspokojujúca, ako jemné vibrácie na virtuálnej klávesnici alebo impulzy, keď sa vaše virtuálne auto zrútilo do stenu) alebo na výmenu prvkov rozhrania úplne tak, že informácie poskytujúce haptics nie sú k dispozícii prostredníctvom zvukovej scény alebo vizuálne na obrazovke.

Vo videohrách napríklad "môžete mať nejaké vibrácie, ktoré vám hovoria, akým smerom je sever, takže sa nemusíte pozerať na mini-mapu po celú dobu, " hovorí Nordvall. Ani jedna metóda nebola úplne preskúmaná a táto metóda je zvlášť zrelá na pozornosť. Mohli by ste mať skúsenosti, ktoré sú možné len s haptikami, navrhuje Nordvall alebo vynašiel existujúce, ako napríklad hru Pong alebo možno prechádzanie bludiskom.

Vďaka nedávnemu výskumu, ktorý produkuje nové formy hmatovej spätnej väzby (minulý mesiac Gizmag informoval o holografických objektoch, ktoré možno vidieť a cítili), ako aj sofistikovanejšie dotykové zobrazenie a 3D mapy, sa zdá, že budúcnosť haptikov je obmedzená iba našimi predstavami. Technológia rýchlo vyspelá a prechádza na masový trh v rozsahu, ktorý si zaslúži pozornosť vývojárov. Teraz rozhrania, ktoré ju uplatňujú, musia dohnať.

Ďalšou hranicou interakcie medzi človekom a počítačom bude všetko, aby ste pocítili virtuálny digitálny svet, akoby bol skutočný a hmatateľný (Foto: David Brohede)

Screenshot z beta verzie Sightlence, jednoduchý haptický editor určený na jednoduché vytváranie haptických signálov, ktoré sa majú používať v aplikáciách a hrách pre akékoľvek zariadenie (obrázok: Mathias Nordvall)

Mathias Nordvall sa pripravuje na demonštráciu skoršej verzie hry Haptic Pong na workshope Experimental Gameplay Workshop pre vývojárov hry (Photo: Rami Ismail)

Teória a dizajnový tok haptického Ponga, ako ho predstavil Nordvall na konferencii vývojárov hier 2013 (obrázok: Mathias Nordvall)

Hra Haptic Pong sa môže hrať s plnou grafikou, ktorá zobrazuje lopty aj loptičku (obrázok: Mathias Nordvall)

... alebo s oboma lopatkami, ale s neviditeľnou loptou (obrázok: Mathias Nordvall)

Vo svojom čistom stave nemá haptický Pong žiadnu vizuálnu alebo sluchovú pomoc a obrazovku, ktorá je úplne prázdna, ale pre skóre (obrázok: Mathias Nordvall)

Dvaja ľudia hrajú haptický Pong (Foto: Xavier V Stamps-Lafont)

Spolupracovník Mathias Nordvall (Foto: David Brohede)

Hra Sightlence haptic Pong obsahuje audio-vizuálne návody, ktoré pomáhajú zrakovým hráčom prispôsobiť sa neobvyklým spôsobom konštrukcie (obrázok: Mathias Nordvall)

Nadchádzajúce Apple Watch obsahuje lineárny pohon, ktorý sľubuje, že poskytne hmatové pocity rôznych druhov a na rôznych miestach v závislosti od kontextu

Immerz 's KOR-FX haptic vest prináša hry a filmy oveľa väčší úder, a to najmä v spojení s náhlavnou súpravou virtuálnej reality

Oculus Rift pomáha riadiť výskum a vývoj v haptike ako súčasť zlatého spevu pre celkové ponorenie VR

Prototypové haptické senzorické tablety spoločnosti Fujitsu používajú ultrazvuk na vytvorenie ilúzie texturovaného povrchu

Nintendo 64 rumble pack predstavil hromadné herné publikum na myšlienku o vibráciách v regulátorovi posilňujúcom hre (Foto: Evan-Amos)