O título da patente apresentada nos EUA é genérico o suficiente para que não se compreenda a total complexidade do sistema sugerido: «Sistema com ecrã e sensores». A Apple pretende, na verdade, construir um equipamento que seja capaz de analisar como fontes de informação os olhos, gestos e expressões faciais do utilizador e que os combine com os dados recolhidos do exterior para fornecer experiências de realidade mista.
O objetivo da Apple é criar uma reprodução mais realista do rosto do utilizador para incluir na experiência. Recorde-se que a tecnológica de Cupertino tem um software de rastreamento facial – e que já é usado nos Animoji – que tira partido a câmara de selfie do iPhone para depois traduzir esses movimentos em animação. Neste novo equipamento, a Apple não vai poder usar a câmara, pelo que terá de ter sensores, por exemplo, para monitorizar os maxilares ou as sobrancelhas, e perceber o movimento do rosto.
Há algum tempo que se fala sobre a iniciativa da Apple nesta área e estima-se que a empresa esteja a preparar uns óculos de realidade mista, que combinam realidade virtual e realidade aumentada. A captação do que se passa no mundo real é feita com câmaras viradas para fora e as imagens são apresentadas num ecrã, uma abordagem diferente do que fizeram, por exemplo, a Microsoft e a Magic Leap.
Ming-Chi Kuo avançou no passado que a produção destes dispositivos começa no último trimestre do ano, com a chegada ao mercado a estar marcada para 2020.
