Visão

Dá gosto entrevistar pessoas como Brian McClendon. É daqueles que não demora um segundo a dar uma resposta. Não por ser impulsivo, mas por ser um dos maiores especialistas do mundo em tecnologias de geolocalização e posicionamento visual e por ser, verdadeira, apaixonado por este tema. Quando estes dois elementos se juntam e a pessoa na qual convivem está a trabalhar numa das tecnológicas com uma das maiores e mais completas bases de dados de localizações do mundo (obrigado Pokémon Go !), parece que não há limites para as suas ambições de engenharia. E é isso mesmo que a Niantic, sob o leme de Brian, está a magicar – mapas mais realistas e imersivos, um sistema de posicionamento tridimensional que pode fazer o GPS parecer uma tecnologia do passado e, não menos relevante, a criação daqueles que podem ser os ‘olhos’ de uma superinteligência artificial no mundo físico.

Está satisfeito com a forma como o nosso mundo está representado digitalmente?

Fizemos um excelente trabalho com a tecnologia de mapas até agora, mas a tecnologia está a mudar e, da parte dos grandes fornecedores, penso que os mapas não estão a evoluir rápido o suficiente. Vemos uma oportunidade para usar uma nova tecnologia, o mapeamento gaussiano [gaussian splats no original em inglês, uma técnica para representar dados espaciais] para reconstruir o mundo com uma qualidade superior e de uma forma mais centrada nas pessoas. A Niantic tem trabalhado nesta área há vários anos, mas o lançamento desta técnica de mapeamento gaussiano, na minha opinião, muda praticamente tudo sobre o que é possível fazer.

Em termos simples, o que é e o que faz de diferente esta nova tecnologia?

A maneira tradicional de construir um modelo 3D do mundo era através da fotogrametria. E se pensares na forma como o Google Earth e o Google Maps fazem isso, eles tiram várias fotos a partir de aviões e reconstroem modelos em 3D, que têm dificuldade em ter uma boa aparência ao nível da perspetiva de rua, porque são captados a uma altitude de mais de 900 metros. A solução da Google para este problema foi conduzir carros pelas ruas para captar fotos individuais, mas sem fazer uma reconstrução 3D a partir delas. Assim, o Street View é muito bom para observar a partir de um local específico num determinado momento, mas não é adequado para uma verdadeira visualização em 3D e em movimento. Ou seja, ou temos uma baixa resolução obtida a partir de aviões ou fotos de alta resolução que não são reconstruídas em 3D. O que o mapeamento gaussiano permite fazer é reconstruções em 3D, de alta qualidade, ao nível da perspetiva de rua. E as reconstruções não são apenas melhores em termos de modelos 3D, mas também contêm iluminação proveniente de vários ângulos, o que reproduz com precisão a transparência e os reflexos dos elementos, oferecendo uma experiência visualmente muito superior a praticamente qualquer outra forma de renderização em tempo real. E uma das coisas que a Niantic fez foi melhorar o algoritmo de reconstrução gaussiano entre dez e 100 vezes em relação ao que está disponível a partir de outras fontes, tornando financeiramente viável reconstruir o mundo desta forma.

Mas suponho que as pessoas só vão digitalizar uma estátua ou um ponto de interesse de cada vez. Isso não escala lá muito bem, pois não?

Uma das coisas que descobrimos na Google, com o Google Earth, é que a primeira coisa que as pessoas procuram no Google Earth ou no Maps é a sua própria casa. E o problema é que, se a casa não parecer bem, pensam que todo produto não é bom. Agora, a primeira coisa que podem fazer é melhorar a aparência da sua casa, do seu bairro, saindo eles próprios para mapear as redondezas. Descobrimos que, não todas, há muitas pessoas que estão muito motivadas para partilhar o seu bairro, com o resto do mundo. E acreditamos que podemos ligar-nos a essas pessoas para digitalizar localizações muito, muito mais rapidamente. Mas, como disseste, vai demorar algum tempo. A forma como vemos a questão é que temos cerca de um milhão de localizações já digitalizadas, porque os jogadores de Pokémon Go têm vindo a fazer digitalizações há três ou quatro anos. Temos um bom ponto de partida, mas são zonas isoladas entre si. E o nosso objetivo, a longo prazo, é ligar estas zonas de dados. E há duas formas para fazê-lo: digitalização feita pelos utilizadores e também o uso de dados de alta resolução recolhidos através de outra descoberta recente, que é a recolha de imagens feita por drones. Trata-se de um modelo 3D completo construído a partir de uma recolha padrão feita por drone. Acho que isto vai ser, por assim dizer, a cola que vai ligar todas estas zonas isoladas de alta resolução.

Qual é o grande objetivo destas tecnologias, pelo menos do ponto de vista da Niantic? Criar experiências mais imersivas e realistas? Lançar o vosso próprio Google Earth ou Google Maps?

Sim e… talvez. Mas penso que o objetivo ainda maior é o que chamamos de grandes modelos geoespaciais. Os grandes modelos de linguagem [LLM] pegam em todas as palavras, passam-nas por uma rede neural e derivam relações entre elas. Temos vindo a construir um sistema de posicionamento visual há vários anos que também usa redes neurais. Chama-se Ace Zero e é assim que o nosso sistema de posicionamento visual [VPS na sigla em inglês] funciona atualmente. Se juntarmos estas redes neurais, temos atualmente cerca de 50 milhões delas com 150 biliões de parâmetros. Ao reunir tudo isto num único modelo, de forma semelhante a um grande modelo de linguagem, permite-nos fazer coisas que não são possíveis atualmente. Uma delas é uma melhor localização em lugares onde nunca estivemos. Outra é a reconstrução em 3D de locais que não se conseguem ver. Portanto, imagina o teu telemóvel ou uns óculos, no futuro, a captar uma foto deste momento e a gerar o modelo 3D de tudo o que está próximo, mesmo que não faça parte do mapa original, e depois compreender semanticamente tudo o que está no campo de visão. Por exemplo, saber que isto é uma camisa, aquilo é uma cadeira, ali é uma cabina e ali são letras. Esta ideia de compreensão semântica do mundo significa que um assistente digital, no futuro, que procura ajudar-te a entender o mundo, terá um significado semântico para tudo o que te rodeia. E acreditamos que conseguimos construir um modelo que faça isso.

Algumas pessoas dizem que sistemas como o ChatGPT ou o Gemini têm como limitação a falta de contexto físico, não conseguem ver o mundo. É justo dizer que a Niantic está a construir os olhos das máquinas para a revolução da Inteligência Artificial?

Sim, estamos a construir um modelo que dará uma verdadeira compreensão semântica a estas ferramentas que são sensíveis ao contexto. Assistentes digitais que combinam um grande modelo de linguagem e um grande modelo geoespacial serão muito melhores a dar as respostas corretas para aquela que será a tua necessidade naquele momento.

Como é que isso vai funcionar na prática? Com os nossos smartphones? Existem óculos inteligentes, mas ainda não estão suficientemente desenvolvidos, não pelo menos em termos de quantidade de utilizadores…

Imagino que funcione com o smartphone ou os óculos a tirarem uma única foto e o nosso modelo extrairá o significado semântico da imagem e qualquer relação 3D entre os objetos ali existentes, seja entre os edifícios, as ruas e os sinais à tua volta. E transformá-los-á em significado semântico que um grande modelo de linguagem poderá então usar para responder a perguntas. ‘O que estou a ver?’ não será apenas ‘isto é uma pessoa e aquilo é uma cadeira’. Será ‘esta cadeira está a esta distância em centímetros daquela e atrás da tua cadeira, que eu não consigo ver, mas consigo deduzir, está este vaso de plantas e eu sei onde ele fica e sei que não posso atravessar por aqui, tenho de passar por ali’. Este tipo de relação geométrica e geográfica muito cuidadosa será derivada a partir deste modelo.

Quanto tempo será necessário até chegarmos a esse ponto da tecnologia?

Doze a 24 meses…?

Vai ser uma curva exponencial em termos de evolução?

E muito disso é devido aos dados. Uma das vantagens que a Niantic tem é que já possuímos um milhão de localizações exteriores, em todo o mundo, onde temos mapas de altíssima qualidade com muita informação semântica que nos ajuda a treinar este grande modelo para aumentar a compreensão do mundo. E isto permitir-nos-á não só explicar esses milhões de locais, mas também ter uma boa ideia sobre locais onde ainda não estivemos sequer. Porque se tiver modelos suficientemente grandes e abrangentes, o modelo pode interpolar a partir da atividade humana, o que se traduz geometricamente e geograficamente em lugares que já vimos para o lugar onde estamos agora. Uma das analogias que uso é – já ouviste falar do jogo GeoGuessr? O utilizador GeoRainbolt é um tipo que faz uns vídeos… Ele observou tantas destas imagens, estudou-as e o seu cérebro é uma rede neural que traduziu todas essas imagens numa compreensão de que país, que cidade, onde na cidade e que tipo de local é. E o cérebro dele consegue, muito rapidamente, adivinhar onde no mundo foi tirada aquela imagem. Vamos fazer isso, mas a um nível muito mais detalhado, porque conseguimos analisar muito mais dados do que ele e acreditamos que podemos construir um modelo preditivo que dará informações muito precisas sobre lugares onde nunca estivemos.

Quando diz que este sistema me vai dar, enquanto utilizador, mais informações sobre locais onde nunca estive… Em que sentido?

Se estiver aqui sentado [pavilhão da Niantic na Web Summit] e não tivermos um mapa deste local específico, mas o teu telemóvel ou os teus óculos tirarem uma foto, conseguimos deduzir que sim, estás num evento, sabemos que estás em Lisboa agora, sabemos que é novembro e conseguimos deduzir que é a Web Summit – um grande modelo de linguagem provavelmente também perceberia isso. Mas seríamos capazes de compreender onde estás, com base na semântica do que vemos à tua volta, e também perceber que estás a cerca de seis metros de altura, o que nos daria mais informações sobre o local exato onde estás, mesmo que ainda não tivéssemos mapeado este lugar. Portanto, a capacidade de deduzir informações geográficas e geométricas contextuais, muito além daquilo que um GPS pode fazer, é o objetivo destes grandes modelos geoespaciais.

Foi essa a razão pela qual se juntou à Niantic? É uma empresa muito diferente, com objetivos bastante distintos das empresas onde trabalhou antes, como a Google e a Uber. A Niantic era o melhor sítio para desenvolver esta ideia?

O diretor da Niantic é o John Hanke. Ele e eu fundámos a Keyhole [em 2001] e gerimos juntos o Google Earth e o Google Maps durante cinco anos, antes de ele sair para fundar a Niantic e eu ficar no Google Maps. Ele sempre esteve interessado em experiências baseadas na localização e quando lançou o Pokémon Go, um dos objetivos era também conseguir fazer realidade aumentada. Ele já estava focado nisto e os jogadores, conscientemente, saem de casa e digitalizam as Pokéstops como parte do jogo, contribuindo com esses vídeos e digitalizações para a Niantic. Estes dados foram o que me atraiu, porque são centenas de milhões de digitalizações que são diferentes de qualquer outra fonte de dados no mundo e ajudam-nos a construir este tipo de modelo. E nos últimos dois ou três anos temos trabalhado em posicionamento visual, mas com o advento dos grandes modelos de linguagem, a possibilidade de criar grandes modelos geoespaciais tornou-se muito interessante. E o nosso grupo de investigação em Londres, Inglaterra, já construiu os primeiros passos para isto.

Quantas pessoas trabalham na sua equipa a desenvolver este tipo de produtos?

Digamos que 150. Temos uma equipa muito grande a trabalhar nisto e é tanto as plataformas para os nossos jogos, como é para o Niantic Studio, como também para este trabalho de mapeamento e investigação.

Posso assumir que querem não só usar esta nova tecnologia e informação para construir melhores produtos próprios, como também querem dar acesso aos programadores a estas ferramentas?

Sim. Já temos interfaces de desenvolvimento de aplicações (API) de VPS para o motor gráfico Unity e para a web, e planeamos ter uma API do modelo de mapeamento gaussiano tridimensional que permita aos programadores acederem a tudo isso. Na verdade, já está integrado no Niantic Studio – podes carregar qualquer um dos nossos locais, sobrepôr um projeto digital ao modelo gaussiano, e criar uma experiência para depois publicar em realidade aumentada ou realidade virtual especificamente para esse local.

Com a realidade aumentada, o número de experiências disponíveis não é assim tão grande quando comparado com videojogos, filmes, música ou outras formas de entretenimento. Acha que estas novas tecnologias vão acelerar a taxa de adoção?

O poder do mapeamento gaussiano é que permite aos programadores publicarem não só uma experiência de realidade aumentada, mas também uma experiência virtual ou baseada num jogo, a partir do smartphone, onde ‘consomes’ o local e podes ter uma experiência de jogo interagindo com, por exemplo, uma estátua como parte do jogo, e posso fazê-lo no meu telemóvel, quer esteja em Portugal ou no Arizona. Assim, podes visitar qualquer local no mundo e ter a mesma experiência que alguém que está a obter na versão aumentada, o que significa que o público-alvo para essa experiência é consideravelmente muito maior, passando de quem está fisicamente presente no local para qualquer pessoa em qualquer parte do mundo. Penso que um dos desafios que a realidade aumentada enfrenta é que a interseção entre as pessoas que estão no local e aquelas que querem participar na experiência era bastante pequena. Mas, se juntarmos a realidade virtual, basicamente expandimos o público para o mundo inteiro.

Referiu o termo já algumas vezes – computação espacial. O que acha que será a computação espacial num futuro próximo e num futuro distante? E qual será o papel da Niantic nesta área?

Estamos focados nisto mais do que qualquer outra empresa. As nossas API e as nossas tecnologias, quer seja o mapeamento gaussiano ou o posicionamento visual, são as melhores do mundo nas suas categorias. Mas penso que esta ideia de pegar em dados geográficos e geoespaciais, organizá-los e combiná-los num único modelo terá o mesmo tipo de poder que os grandes modelos de linguagem tiveram ao comprimir o conhecimento humano num único modelo. Ou seja, este modelo será capaz de fazer não apenas o posicionamento visual, mas também a reconstrução 3D e o preenchimento de elementos que não se conseguem ver a partir do que é visível. Assim, tira-se uma foto 2D e consegue-se deduzir, mesmo sem nunca ter estado aqui antes, o que não se pode ver. E não será perfeito, tal como os grandes modelos de linguagem não são perfeitos, mas proporcionará um contexto sobre o mundo à nossa volta. E acreditamos também que fará um trabalho muito melhor na compreensão semântica de todos os objetos nestes locais, geograficamente falando, dando-nos, mais uma vez, um melhor contexto.

Vê a Niantic a tornar-se algo equivalente ao motor Unreal Engine [muito popular no desenvolvimento de videojogos] para aplicações de computação espacial?

Penso que sim. Neste momento, o Niantic Studio permite-te desenvolver experiências de realidade aumentada e virtual, e vamos continuar a dar-lhe mais superpoderes que serão a base para a criação de experiências de realidade aumentada e virtual. Já podes publicar nos Meta Quest 3, nos Apple Vision Pro, no iOS e Android, desktop e web. E, neste momento, não faz tudo o que o Unreal faz, mas o Unreal não faz realidade aumentada – faz realidade virtual bastante bem, mas para certos projetos.

Vamos falar sobre o Pokémon Go. Quando é que podemos esperar que tenha estas tecnologias diretamente integradas?

Engraçado que menciones isso. Lançámos recentemente o Pokémon Playgrounds, que usa o nosso sistema de posicionamento visual. Durante anos, foi possível tirar fotos de realidade aumentada com os Pokémon, mas essas fotos eram efémeras, temporárias. Agora, podes deixar o teu Pokémon numa localização precisa e outras pessoas podem ver o que fizeste. Duas pessoas podem olhar para o mesmo local, ao mesmo tempo, permitindo experiências partilhadas. Esta ideia de explorar o mundo juntas é a nossa missão. A Niantic quer que todos explorem o mundo juntos e isto permite mostrar que alguém deixou esses Pokémon naquele local e depois permite-te pegar no teu Pokémon e adicioná-lo lá também, eventualmente criando grandes populações de Pokémon no mundo real. Portanto, temos um milhão de locais no mundo onde isso pode acontecer. Isto foi lançado literalmente nas últimas semanas. Estamos a combinar o poder do sistema de posicionamento visual com o Pokémon Go.

O Pokémon Go foi um sucesso, não apenas pela popularidade, mas também pela longevidade. A questão é que nem todas as experiências que a Niantic lançou tiveram o mesmo sucesso. Aprenderam algo com os sucessos e as falhas… e o que é que faz um grande sucesso?

Acho que é uma combinação de duas coisas. Uma marca muito forte – obviamente, Pokémon é a maior marca do mundo, por isso é uma vantagem injusta. Mas também é ter uma experiência que realmente se liga ao local de jogo, onde o local tem um significado para o jogo. E os nossos jogos mais populares realmente têm em conta o local onde está o jogador. Talvez tenhas ouvido falar do Pikmin Bloom, um dos nossos jogos. O Pikmin Bloom dá muita importância a locais específicos e os próprios Pikmin também se movimentam em função destes locais. O Pikmin Bloom teve recentemente um aumento no número de utilizadores. Só em outubro subiu 50%, o que, para um jogo com mais de dois anos, é impressionante. E os jogadores estão a descobri-lo, é um jogo de uso diário. Pensa nisto como um jogo para dar passos, mas muito agradável, algo que te motiva a sair e a caminhar. Mais uma vez, parte da missão da Niantic é fazer com que as pessoas saiam e explorem o mundo. Eu tenho caminhado cinco milhas por dia praticamente desde que o Pokémon Go foi lançado. Tenho-o jogado pessoalmente e jogo o Pikmin Bloom, em parte porque trabalho lá, mas também porque realmente gosto dos jogos. E acho que esta ideia de ligar as pessoas aos locais é muito importante. Uma das coisas que tanto o VPS quanto os mapeamentos gaussianos permitem é uma ligação ainda mais profunda com os locais do jogo. E esta capacidade de te conectares, quer estejas no local, quer o tenhas visitado e queiras voltar a ele, acho que vai aumentar bastante o interesse por jogos geoespaciais.

Será que os nossos smartphones terão de evoluir de alguma forma em termos de hardware para acompanhar esta tendência?

Os smartphones já são muito bons. Acho que a evolução vai ser feita mais nos óculos. Precisamos que os óculos melhorem, se tornem mais baratos, consumam menos energia e que permitam fazer toda a experiência de realidade aumentada ao longo de todo o dia. Os Snapchat Spectacles são um produto de consumo, mas ainda estão na fase de desenvolvimento e não estão amplamente disponíveis. Provavelmente leste sobre os Orion, da Meta, que são os novos óculos de realidade aumentada. Muito, muito bons, mas também protótipo para programadores. Mas é claro que a Meta está a investir uma enorme quantidade de dinheiro nisto. Os Apple Vision Pro são na realidade um protótipo de óculos de realidade aumentada, eles apenas estão a passar primeiro pela Realidade Mista porque é mais fácil e mais realista. Os Meta Quest 3 a fazerem Realidade Mista é uma ótima experiência de prototipagem para AR. Portanto, temos muitas oportunidades de desenvolvimento e acho que um dos desafios é conseguir bons conteúdos 3D e bons conteúdos de realidade aumentada, e estou muito entusiasmado que tenhamos todas estas diferentes plataformas de desenvolvimento para provar conceitos, prototipar e começar a construir experiências. Mas os smartphones, de longe, têm a maior base de utilizadores. Há milhares de milhões deles e todos já podem dar uma experiência muito boa de realidade aumentada.

Qual foi a principal lição que aprendeu na Google, Uber ou Niantic que ainda influencia o seu trabalho hoje?

Construir um mapa preciso do mundo é muito difícil. E quanto mais detalhes e precisão tiver, mais descobres que o mundo está a mudar mesmo debaixo do teu nariz. Na Google, aprendemos que as ruas e os locais no geral mudam entre um a dois por cento por ano, mas as empresas mudam entre 10 a 20% por ano. Mas se estiveres a fazer um mapa visual na perspetiva da rua, muda muito mais do que isso. E ser capaz de acompanhar este mundo dinâmico é muito difícil e necessita de muitos dados – e precisa de ser muito eficiente. Quanto mais de perto olhares para o mundo, mais rápido ele muda.

O que gostaria que a Niantic alcançasse nos próximos cinco anos?

Acredito que estamos a construir o mapa do mundo de próxima geração. Acho que as pessoas que querem saber onde estão no mundo com precisão já estão a usar a Niantic para posicionamento visual, mas acredito que vamos construir um modelo 3D mais preciso e mais completo que será utilizado tanto para consumidores como para casos de uso empresarial. E gostaria que a Niantic estivesse no centro disso, tal como as minhas antigas empresas estiveram no seu tempo.