Negen Augmented Reality trends voor 2021

Augmented Reality is de gimmick-status inmiddels ruim ontstegen. Van games tot mode tot zakelijke avatars: negen toepassingen waar we het komende jaar meer van gaan zien.   

In 2020 hebben we het gebruik en de verschillende toepassingen van augmented reality wederom zien groeien. Uiteraard heeft de wereldwijde pandemie die ontwikkeling iets geremd, maar alles behalve gestopt. Naar verwachting zijn er volgens AR-Insider eind 2021 dan ook zo’n 811 miljoen actieve mobile AR (apps, social, webAR) gebruikers. 

De AR platformen van Snapchat, Facebook/Insta, Niantic en 8th Wall (webAR) zijn gegroeid in gebruikers en features en het gimmick-gehalte allang ontstegen. In 2021 zullen we zien dat naast entertainment en fun AR steeds meer een utility wordt. We switchen op een dag steeds vaker naar onze camera voor een relevante AR experience. In de 9 trends die ik voor 2021 zie zal de focus dan ook vooral op mobile AR liggen, want onze smartphone met (nieuwe) sensoren is en blijft een AR krachtpatser. Negen augmented reality trends voor 2021

1: De superselfies en power creators komen er aan

Snapchat heeft het afgelopen jaar meerdere malen de kracht van hun AR-platform getoond, maar de intelligentie van hun camera door SnapML (machine learning) stak er met kop en schouders bovenuit. De camera herkent en leert van objecten, gezichtsuitdrukkingen, bewegingen en zorgt zo voor nog realistischere AR. We toverden onszelf in een anime karakter (de Lens was in de eerste week 3 miljard keer bekeken) of een Disney figuur. Het komende jaar verwacht ik steeds meer van dit soort superselfies. We zullen veranderen in karakters uit bekende game franchises (met onze gekochte skins) of personages worden uit onze lievelingsfilms en series. Ik verwacht dit jaar ook de eerste AR deep fakes. Met gezichtsherkenning en body tracking zullen we deze karakters in AR ook besturen en delen met anderen. 

Snapchat en ook Spark AR (Facebook) zullen het creëren van AR verder democratiseren met meer en nog slimmere features in hun studio software. We zagen dit jaar al SnapML templates waarmee iedereen makkelijk AI kan toepassen en visual programming voorbij komen, maar ook tools als SketchAR waarmee je zo een eigen creatie importeert als Snapchat Lens. Deze platformen worden nog beter en er zal nieuwe tooling gereleased worden. Daarnaast verwacht ik in 2021 veel van TikTok op het gebied van AR. Het social platform waar elke video een creatieve uitspatting is. AR zal deze creators hun eigen VFX studio geven. De korte video wordt daar al opnieuw uitgevonden en AR gaat ze nog meer tools geven voor deze creatieve hoogstandjes. Zoals de app Diorama maar dan op steroids binnen een gigantische community.

2: Meer live AR tijdens het (zakelijk) videobellen

Die power selfies gaan we het komende jaar ook steeds meer inzetten tijdens het videobellen. We zagen het afgelopen jaar al de eerste voorbeelden van live AR met de Animoji’s van Apple tijdens het FaceTimen. Belden we tijdens de lockdown de familie op met AR op de Facebook Portal. En met Halloween kon je tijdens het videobellen via Facebook Messenger een AR kostuum aan doen. Het zal me niks verbazen als we dat dit jaar meer gaan zien in Messenger en misschien zelfs wel in Whatsapp, aangezien Facebook heeft aangekondigd om al haar platformen meer met elkaar te stroomlijnen. Daarnaast wordt Snapchat’s camera via Camera Kit ook steeds meer in externe apps gebruikt en ik kan me voorstellen dat we Snapchat ook in bepaalde messaging apps gaan zien. 

Tijdens het thuiswerken werd Snapchat Camera ook al gekoppeld aan Zoom en werd zo de vergadering wat opgeleukt met Snapchat Lenses. Of gebruikten we daarvoor de virtuele avatars van Loomie (gekocht door Roblox). Maar het was niet alleen maar fun want we zorgden ook dat we er betoverend uitzagen met de virtuele make-up lijn van L’Oreal. Ik verwacht dat meer merken zich komend jaar met AR op de zakelijke markt gaan richten en dat bedrijven dit zelf ook gaan toepassen. Aangezien we nog wel even thuiswerken kan een beetje fun en interactie om collega’s betrokken te houden geen kwaad. En allerlei virtuele make-up en accessoires als een vorm van zelfexpressie of om die thuiswerk joggingpakken te verbloemen. 

3: Power to the people scan voor AR-commerce en sports

Er worden niet alleen maar AR-selfies gemaakt want we scannen ook onze handen, voeten en soms zelfs ons hele lichaam. Snapchat en TikTok hebben allebei body tracking en daar zullen we in 2021 veel van gaan zien. Uiteraard gaan veel merken dit inzetten voor hun e-commerce activiteiten zoals try before you buy AR. Zo zagen we het afgelopen jaar al vele brillen, hoeden en sneakers in AR gepast worden. De Gucci Lens in Snapchat werd bijvoorbeeld door 18,9 miljoen mensen gebruikt. Adidas heeft onlangs honderden modellen in hun app beschikbaar gesteld die je met AR kan passen. Maar waarom alleen schoenen als we ons hele lichaam kunnen tracken. We zagen dit jaar al samenwerkingen tussen Bitmoji en Ralf Lauren en met Levi’s en dan hebben we het nog niet gehad over alle virtuele outfits die in Fortnite en League of Legends zijn aangeschaft.. Kortom daar ligt veel potentie en dit jaar worden er waarschijnlijk volledige virtuele outfits in AR gepast.

Ik verwacht verder dat we dit jaar meer voorbeelden gaan zien van gamification tijdens het sporten. Voor VR zijn er al allerlei fitness apps en games die een prima work-out zijn zoals Beat Saber, maar AR blijft nog een beetje achter. Het afgelopen jaar zagen we al de eerste AR filters op zowel TikTok als Snapchat waarmee je een soort work-out game kon spelen. Het is wachten op het eerste grote sportmerk of sportschoolketen die dit in gaat zetten. Met body tracking voeg je zo meer fun aan een workout toe of kan je tips krijgen over je houding. Onlangs is Apple Fitness Plus gelanceerd en het zal mij niet verbazen als zij met hun ARKit body tracking deze features gaan toevoegen aan de app. 

4. Immersive entertainment and journalistiek gaat door het dak

De kracht van bekende franchises in AR zien we niet alleen terug in selfies maar ook als we onze camera op de wereld richten. Het komende jaar zullen meer filmstudio’s, tv-zenders en streaming platformen AR omarmen als een verrijking van de kijkervaring. Apple TV kondigde aan dat ze in 2021 bonus AR content bij series gaan aanbieden en Red Bull TV voorzag een docu met AR van extra context. De groei zal vooral ook komen doordat er nu steeds meer volumetric video (3D video) gemaakt wordt. Het afgelopen jaar zagen we met volumetric video al een rapper op een hamburger, videoclips en zelfs een volledig concert op de bibliotheek van New York (zie hieronder. In 2021 zal de muziekindustrie meer en meer AR content gaan inzetten voor de ultieme muziekbeleving op locatie maar vooral thuis. 

Uitgevers volgen deze ontwikkelingen nauwlettend en er zijn al een aantal grote partijen zoals the New York Times en USA Today die AR regelmatig  inzetten voor immersive journalism. De NYT heeft een speciale sectie in zijn app en deelt Camera Effects over actuele onderwerpen op Insta. De USA Today heeft cijfers gedeeld waaruit is gebleken dat bezoekers 2 keer zo lang op een artikel met AR blijven. AR kan een artikel of video extra beleving of meer context geven. Je kunt als lezer/kijker één worden met het verhaal of een deel van het verhaal levensgroot bij je thuis beleven. Dit kan met social AR, maar ook met webAR dat gewoon in het artikel staat via bijvoorbeeld inline AR van 8th Wall. Het komend jaar zullen meer uitgevers AR inzetten voor hun journalistiek, maar ook om extra advertentiemogelijkheden op hun platformen te kunnen aanbieden. 

5. Locaties mappen voor betere AR experiences en herinneringen.

Net als dat het gebruik van AR van sec entertainment meer verschuift naar een utility zien we mobile AR ook steeds meer verschuiven van de selfie naar de wereld om ons heen. AR dat zich nestelt in onze omgeving. Maar om buiten een betere, persistente en multiplayer AR experience te hebben is een digitale twin (3D kopie) van een locatie noodzakelijk. Veel partijen zijn bezig om deze zogeheten AR cloud te ontwikkelen. Niantic van Pokémon Go laat gebruikers van hun apps de omgeving scannen om zo een planet scale AR platform te ontwikkelen. Zij hebben aangegeven dat we van hun en partners de eerste apps (niet alleen games) op het AR platform in 2021 kunnen verwachten.

Google laat Streetview gebruikers een omgeving scannen, Facebook scant de wereld met zijn project Aria en heeft afgelopen jaar de start up Scale gekocht. Ook Snapchat is hier mee bezig (ook al ontwikkelen zij de bekende LandMarkers nu nog zelf) en heeft onlangs van een straat in London een grote AR paint experience gemaakt. Ik verwacht dat zij volgend jaar meer locaties gaan vrijgeven en dat de gebruikers ook zelf gaan helpen om de wereld in 3D te mappen. Ik werd geprikkeld door deze tweet van Matt Miesnieks over hoe zich dit op het privacy vlak gaat ontwikkelen. Wie vertrouw jij een 3D map van je huis of werk toe? 

Wat daar bij helpt is dat onze devices steeds slimmere sensoren krijgen. De iPhone 12 Pro en iPad Pro heeft een LiDAR scanner waarmee je makkelijk een hele omgeving scant voor de ultieme AR experience. Daarvoor zien we de eerste games zoals Hot Lava en Snapchat Lenses zoals dit Matrix effect al verschijnen. Dat wordt alleen maar meer en daarnaast gaan we ook steeds meer momenten via de LiDAR scan vastleggen. Waarom zou je een foto maken als je ook een locatie zoals die dag op het strand of de babykamer van je kind kan inscannen. En vervolgens kan je die in VR of AR bekijken. Zo beleef je pas echt herinneringen. De eerste scan apps zoals Matterport en Canvas zijn al gelanceerd en daar gaan er meer van volgen. 

6: De camera als sidekick om de wereld beter te begrijpen

Als die 3D map van de wereld beetje bij beetje ontstaat dan wordt het AR internet (de AR cloud) werkelijkheid en kan het ons van meer context voorzien. Google Streetview heeft nu al een AR View om te navigeren. Doe daar nog meer informatie van Google bij en je weet precies waar je lekker kan eten of waar die broek in de aanbieding is. En als je dan straks ook nog eens je handen vrij hebt met spatial audio op je AirPods of zelfs AR Glasses dan navigeer je zo met AR door de wereld. Om AR content aan een locatie koppelen gebruikt Google Cloud Anchors (Bij Apple heten ze ARAnchors en bij Microsoft de Azure Spatial Anchors) Een mooi voorbeeld met deze Cloud Anchors (waarvan we dit jaar meer toepassingen gaan zien) is onderstaande rondleiding met een mystieke leeuw in AR door een historisch Koreaans paleis. Op een aantal routes vindt de bezoeker echt fenomenale AR experiences en de gids is ook nog eens in AR.

Maar omdat de camera steeds slimmer wordt krijgen we ook meer en meer context door een object of locatie te scannen. In 2021 gaat onze camera ons meer en meer helpen in dagdagelijkse situaties. Snapchat Scan geeft nu al extra informatie over etiketten van voeding en drank, kan woorden vertalen en sommen uitrekenen. En ook Google wil logischerwijs graag de visuele zoekmachine van de toekomst worden. Er zijn op dit moment al 15 miljard objecten die je met Google Lens kan scannen om extra informatie te krijgen. En wat zowel Google als Pinterest Lens doen is jou laten zien waar producten goedkoper zijn. In 2021 wordt de camera nog meer onze sidekick. 

7:  Steeds meer zaken (QR-codes tot smart homes) triggeren AR 

De QR-code was al weer even aan een opmars bezig, maar de pandemie heeft dat enorm versneld. Van restaurants waar je via een QR-code eten kon bestellen tot aan etalages waarmee je kon winkelen. Dit gaat AR ook 2021 geen windeieren leggen want de consument herkent steeds beter de Snapcodes van Snapchat, QR-codes van Insta en de QR codes om webAR experiences te triggeren. En als er het komende jaar iets nog meer gaat groeien dan is het webAR. De toegankelijkheid en flinke toename in kwaliteit maken dit een steeds populairdere vorm van AR. Een van de grootste platformen is 8th Wall en die laten hun AR experiences ook steeds beter werken op verschillende triggers zoals curved etiketten (zie hieronder). Dit soort image tracking is zo’n andere trigger die steeds beter wordt en ook te vinden is bij Lens Studio, Spark AR en Google Lens. Het afgelopen jaar vond ik deze interactieve AR abri van Malibu ook echt een te gek voorbeeld hiervan.

Een andere interessante ontwikkeling waarvan we in 2021 meer zullen zien is UWB (Ultra-Wideband). Deze technologie bepaalt je locatie in een ruimte t.o.v. van andere apparaten met UWB zoals een Apple TV en HomePod Mini. Het werkt nauwkeuriger dan Bluetooth of Wifi wat perfect is om deuren te openen, lichten automatisch aan te doen of AR content aan locaties in huis te koppelen of aan andere spelers (Multiplayer AR). Apple komt ook als het goed is in 2021 met de zogeheten AirTags om via AR spullen terug te vinden in huis. Deze UWB chip zit ook in de AirPods Pro en – Max wat de spatial audio ervaring nog beter maakt. AR in de vorm van audio is ook een beweging die in 2021, met name aangevoerd door nieuwe iOS apps, vaker gaat terugkomen.

8: Het internet van de camera wordt meer werkelijkheid

Ik werd onlangs enorm geïnspireerd door een artikel van CNET waarin Sophia Dominguez (Snapchat’s head of camera platform partnerships) werd geïnterviewd. Haar visie: “In the future, the camera is just a future version of the internet, in some sort of fashion. You go to different pages, have different experiences, and some of them are linked together.” Ik volg deze ontwikkeling al even rondom de mapping trend (nummer 6). Als je andere apps in je camera toelaat kan dat echt een AR-internet mogelijk maken. Het afgelopen jaar heeft Zoom apps gelanceerd waarbij apps zoals Slack of Miro met een klik tijdens het Zoomen gebruikt kunnen worden. Snapchat heeft de Minis geïntroduceerd waarbij HTML5 apps in Snapchat geïntegreerd worden. En waarvan content uit die Minis weer aan Snaps toegevoegd kunnen worden. Het is nu nog niet volledig in de camera geïntegreerd, maar dat zou in 2021 zomaar eens kunnen gaan gebeuren.

Maar andersom gebeurt het ook zoals eerder aangegeven met de Snap Camera in Zoom. Het komende jaar gaat de Snap Camera via Camera Kit nog vaker geïntegreerd worden in externe apps. Een externe app leunt zo op het krachtige AR platform van Snapchat en Snapchat zorgt dat adverteerders en creators meer bereik krijgen. De schermdeel-app Squad heeft de Snap Camera toegevoegd zodat men Lenses kunnen gebruiken in de chat. Ook de Major League Baseball app maakt gebruik van Camera Kit zodat gebruikers AR selfies kunnen maken. 

9: AR glasses zien er smart uit, maar zijn ze slim genoeg?

Iedereen weet dat AR glasses pas echt mainstream worden als ze er goed uit zien. Snap snapt dat als geen ander met zijn fashionable Spectacles inclusief verspreiding onder hippe mensen en creatievelingen. Ook de Focals van North, die het afgelopen jaar door Google gekocht zijn, zagen er uit als een trendy bril. Ik ben benieuwd of Google die in 2021 gaat uitbrengen. Maar de twee AR smart glasses waar ik enorm benieuwd naar ben zijn die van Facebook en Nreal. Facebook is een samenwerking aangegaan met RayBan en komt als het goed is al in 2021 met deze bril op de markt. “The future will be classic”. De vraag is welke features deze bril heeft en of dat genoeg is om de consument mee te krijgen. En dan hebben we natuurlijk ook nog de privacy kwestie rondom Facebook. Vertrouw jij ze met jouw data en welke wel en welke niet? Die vragen proberen ze o.a. tackelen met het eerder genoemde project Aria.

De andere grote (Chinese) speler is de Nreal Light die nu nog in Azië (China, Korea en Japan) gelanceerd is, maar in 2021 ook naar Europa komt. Nreal Light lijkt op een zonnebril, heeft een grote field of view en is gekoppeld aan een smartphone. Hij wordt in ieder geval in de lente van 2021 met Vodafone in Duitsland en Spanje op de markt gebracht. Ik heb hem uitgeprobeerd en verwacht in het begin vooral veel van het video bekijken in AR. Altijd een scherm bij de hand, hoe handig is dat? Maar of dat nou een killer feature is dat weet ik niet. Daarom is het slim dat hij bij een telefoon geleverd kan worden. Komend jaar wordt meer duidelijk hierover. 

En dat waren ze dan. Mijn 9 AR-trends voor het komende jaar. See you in another reality!

Over de auteur: Bas Gezelle is Head of Digital bij NOSUCH