Fotogrammetrie voor levensechte video games

3 februari 2021

Fotoframmetrie voor Call of Duty

Fotogrammetrie is al ruim een eeuw oud. Tegenwoordig is het de manier om levensechte beelden te krijgen in bijvoorbeeld games als GTA. De vereenvoudigde definitie van fotogrammetrie is ‘het verkrijgen van informatie over objecten en hun omgeving door analyse van foto’s en andere beelddragers’. Met die informatie kunnen film- en spellenmakers tegenwoordig hun producten verlevendigen, zelfs tot onwerkelijke situaties.

Een mooiere definitie is overigens ‘door tekenen met licht een object vastleggen in een getalswaarde’. Die beschrijving krijg je door het woord fotogrammetrie uit elkaar te halen. Foto komt van het Griekse woord voor licht, gram komt van tekenen en metrie is afkomstig van métron, wat meten betekent.

Jules Verne en zijn tijdgeest

Vaak denken we dat iets, bijvoorbeeld een vliegtuig, televisie of iPhone, er ineens is. Maar uiteindelijk is het gewoon evolutie, voortborduren op een verleden. En dat bovendien in een omgeving.

Een fraai voorbeeld zijn de verhalen van Jules Verne. Wij zien hem als een fantasievolle Fransman en de vader van Science Fiction. Er waren in zijn schrijfperiode echter tientallen schrijvers die hun opwindende tijd van nieuwe technieken vastlegden in toekomstverhalen. Soms zelfs betere verhalen. Jules Verne was wellicht wat zakelijker. Of hij was op het juiste moment op de juiste plaats. Zo gaan die dingen.

Fotografie en fotogrammetrie

Fotografie ontstond ook niet op één dag. Alleen al rond het ontstaan van fotografie hangen meerdere bekende namen. Maar wat dieper in die geschiedenis zien we honderden mannen en enkele vrouwen die eraan hebben bijgedragen. Niet als hulpje, maar als bedenkers van oplossingen en nieuwe mogelijkheden.

Die nieuwe mogelijkheden waren niet altijd direct mogelijk. Of ze leidden niet tot de gewenste resultaten. Vanaf het begin, rond 1850, van het eenvoudige fotograferen zoals wij dat kennen met een fotocamera, waren er echter al mensen bezig met ideeën voor 3D-fotografie, beweging simuleren en andere mogelijkheden. Waaronder ook fotogrammetrie.

Fotogrammetrie

Het duurde daarna nog lange tijd voor het bij het maken van GTA en andere videospellen werd gebruikt. In het begin was het vooral een methode om afstand te meten. Met twee foto’s van een gebouw en wat wiskundige wetten van oude Grieken. Geleidelijk kwam het in de hoek van 3D-fotografie.

En het verbeterde en vernieuwde dankzij nieuwe technologie en technieken. Daardoor werd het uiteindelijk een methode om computerspellen als GTA en Call of Duty levensecht te maken. En binnenkort waarschijnlijk ook casinospellen een extra dimensie te geven.

We kunnen hier vertellen hoe fotogrammetrie tegenwoordig werkt. Het leukste is echter, voor direct begrip, het zelf even toe te passen. Download een fotogrammetry app of 3D scanner op je smartphone. Loop even rustig foto’s makend rond een object of persoon en zie hoe de software de losse beeldjes tot een geheel smeedt. Een geheel dat je daarna van alle kanten kunt bekijken.

Een virtuele omgeving

fotogrammetrie resultaat

Fotogrammetrie en de software verwerking voor Call of Duty

De toegenomen rekenkracht van computers maakte het mogelijk fotogrammetrie te gebruiken in entertainment. Bijvoorbeeld bij het maken van films. Een van de eerste films waarbij fotogrammetrie uitgebreid werd toegepast was The Matrix. Onder andere vechtscènes en de zogenaamde ‘bullet time’ namen ze op met 120 fotocamera’s die op allerlei manieren konden bewegen. Dat was eind vorige eeuw.

Als snel gebruikten meer filmmakers fotogrammetrie. En daardoor kwam het geleidelijk ook bij spelmakers. Want die werken de laatste jaren nauw met filmmakers samen.

Met honderden, soms zelfs duizenden, foto’s per object leggen de makers omgevingen en personen virtueel vast. Na uren computer-rekenwerk krijgen ze een 3D model. Die moet momenteel vaak nog worden bijgewerkt. Maar daarna kunnen ze ermee aan de slag.

Zo’n model bestaat uit zogenaamde polygonen, kleine partjes die samen het beeld maken. Maar die ook, als een puntenwolk, gemakkelijk zijn te manipuleren naar de wensen van een film- of spellenmaker.

Google Maps

Een mooi, eenvoudig voorbeeld van fotogrammetrie is Google Maps. Met de satellietweergave in 3D stand kun je daarin, met een snelle computer, vloeiend over vele plaatsen in de wereld bewegen. De computer toont vanuit jouw gezichtspunt, de omgeving met het camerastandpunt dat daarmee overeenkomt (bijv. rond de Domtoren in Utrecht). Je vergeet daarbij direct dat je eigenlijk naar meerdere aan elkaar geplakte foto’s kijkt.

Met een trage computer zie je echter hoe de beelden worden opgebouwd. Met name bij het bladerblad van bomen kun je dan de partjes van het 3D model zien. En je realiseert je direct hoeveel rekenkracht nodig is om telkens die beelden, realtime terwijl je beweegt, weer op te bouwen.

Vooruitgang

Vooruitgang is vaak het samenkomen van meerdere technieken. Die maken iets mogelijk, wat daarvoor niet kon. Of ze voegen samen iets toe. Zoals 18 foto’s achter elkaar een seconde in een stomme film werd. En met geluid erbij de geluidsfilm ontstond. Die door verbeterde techniek al op 24 beeldjes per seconde kon worden afgespeeld.

Verschillende ontwikkelingen maakten het mogelijk fotogrammetrie te gebruiken voor het maken van realistische spellen. Het plaatsen van meerdere camera’s op een steigerbalk was bijvoorbeeld altijd al mogelijk. Maar door snellere en synchroon gekoppelde camera’s, betere software en dergelijke kon het geheel bij de ontwikkeling van de nieuwste spellen worden toegepast.

GTA, Call of Duty en andere populaire video games

Technieken zijn te leren, vaak nog snel ook omdat ze meestal een opvolging zijn van bestaande technieken. Het moeilijkste bij nieuwe ontwikkelingen blijkt de mens. Een spelmaker bijvoorbeeld moet wel een stap durven maken. Er is immers een bestaand proces. Een manier van werken, waarbij iedereen zijn plaats kent.

Bij spellen wordt door de meeste spellenmakers nog met grafische ‘tekenprogramma’s’ gewerkt. Met foto’s gaan werken, camera-constructies bouwen en een CAD-programma’s gaan gebruiken, lijkt dan een grote stap. Maar als je die neemt gaat er een wereld open. Dan blijkt fotogrammetrie een enorme verbetering in het nabootsen van de werkelijkheid. Geen tekeningetjes meer, maar het realistische beeld van een foto. Dat door allerlei software bovendien kan worden aangepast.

In ontwikkeling

Je zou kunnen zeggen dat het gebruik van fotogrammetrie, en technieken die in de omgeving liggen, nog in ontwikkeling is. The Matrix film was een interessante eerste stap. Daarna zag je het gebruik toenemen. Niet alleen werd het vaker gebruikt, maar ook anders en uitgebreider.

Bij videospellen was ‘The Vanishing of Ethan Carter’ de eerste. In 2014 maakten de makers bekend dat ze fotogrammetrie hadden gebruikt om de verbluffende scenes te maken. Kort daarna vertelde Electronic Arts dat ze fotogrammetrie gingen gebruiken voor Stars Wars Battlefront. Zij gingen niet alleen locaties vastleggen, maar ook rekwisieten en kostuums.

Meerdere spelmakers volgden. Vaak gebruikten ze in het begin de techniek om enkele onderdelen sneller en/of beter vast te leggen. Maar bij de meeste grote spellenmakers is het nu volledig doorgevoerd. Zij kunnen al niet meer zonder fotogrammetrie en aanverwante technieken.

Toekomst

Fotogrammetrie zal zich verder doorontwikkelen. Wellicht dat dan niet per se het principe van de techniek verandert, maar wel de opname- en bewerkingsmogelijkheden. In detail zal het huidige gebruik verbeteren, de opnames van rekwisieten, personen en dergelijke. Wens voor de toekomst is vooral minder bewerking na de opnames.

Er zijn een aantal uitdagingen voor de toekomst. Twee die mogelijk snel worden ingelost zijn opnamen van architectuur en het samenvoegen van meerdere, vaak grote objecten. Inmiddels wordt fotogrammetrie ook op andere terreinen gebruikt (bijv. virtual reality). De uitwisseling van ideeën en oplossingen tussen de verschillende gebruikers zal voor steeds snellere ontwikkeling zorgen.

Er blijft één heikel punt waarvoor spelmakers en anderen voorlopig nog de ogen sluiten. Dat zijn de juridische consequenties van het digitaal weergeven van bestaande locaties in commerciële spellen. Gelukkig hoeven we ons als spelers daar geen zorgen over te maken.

Aanvullende informatie

  • De foto in de header is de opstelling van Call of Duty voor het maken van opnamen van personen. De man in de cameraring is Bernardo Antoniazzi, technical artist bij Infiniti Ward. Daar bedenkt hij met zijn team o.a. technische oplossingen voor fotogrammetrie opnames.
  • Ben je geïnteresseerd in fotogrammetrie, ga dan zeker eens kijken op youtube en op de sites van Inifini Ward, Electronic Arts en andere spellenmakers.
  • De geschiedenis en ontwikkeling van fotogrammetrie in videospellen an 2014-2019, door Nataska Statham João Jacob en Mikael Fridenfalk van de Universiteit van Uppsala (pdf). Het is een samenvatting voor het 2020 congres DiGRA (Digital Games Research Association) die door COVID niet doorging.
Delen:
Verandert jouw gokgedrag als je vertrouwen in het spel groeit?
< Vorig artikel
Verandert jouw gokgedrag als je vertrouwen in het spel groeit?
Volgend artikel >
Opmerkelijke casino’s: Genting Highlands Resort
Opmerkelijke casino’s: Genting Highlands Resort