Artigo - Desenvolvimento de Gestos Personalizados para Criação e Navegação em Ambientes de Realidade Virtual e Aumentada associada a Dispositivos móveis

Prévia do material em texto

Desenvolvimento de Gestos Personalizados para Criação e Navegação em 
Ambientes de Realidade Virtual e Aumentada associada a Dispositivos Móveis 
 
Pedro Henrique Cacique Braga, Alexandre Cardoso, Edgard Afonso Lamounier Jr. 
Grupo de Realidade Virtual e Aumentada 
Universidade Federal de Uberlândia 
Uberlândia – MG - Brasil 
cacique@mestrado.ufu.br, {alexandre, lamounier}@ufu.br 
 
 
Abstract — This article discusses current practices in mobile-
learning and presents a strategy for developing educational 
applications associated with Augmented Reality. As concept 
proof of the technic discussed an application was created to 
teach basic mechanics. We discuss the creation of custom 
gestures for interaction between user and application for the 
creation of three-dimensional models from scratch in two 
dimensions. Concepts are discussed for creating dynamic 
interfaces for mobile devices, as well as attributes related to 
the usability of systems for m-learning 
Keywords: Mobile-Learning, Gesture, Multi-Touch, 
Virtual Reality, Augmented Reality, Usability. 
 
I. INTRODUÇÃO 
 
O cenário tecnológico está cada vez mais voltado para 
os dispositivos móveis. No final de 2010, o Brasil contava 
com 202,9 milhões de acessos do Serviço de Telefonia 
Móvel Pessoal, registrando um crescimento de 16,7% em 
relação ao ano anterior. Com esse resultado, o país 
permaneceu em quinto lugar no ranking mundial de 
acessos da telefonia móvel, atrás apenas de China, Índia, 
Estados Unidos e Rússia. Em 2010 o Brasil apresentou 
uma taxa de 104,7 acessos móveis pessoais a cada 100 
habitantes [1]. 
Juntamente com a tecnologia móvel surgem diferentes 
métodos de interação entre o usuário e o dispositivo. A 
crescente aplicação dessas tecnologias traz à tona uma 
série de questões relativas à sua criação, escolha, 
adaptação e consequências de utilização [2]. O 
surgimento da tecnologia móvel trouxe consigo a 
necessidade da recriação das interfaces homem-máquina. 
A fim de aproveitar as funcionalidades dos dispositivos e 
adaptar o conteúdo dos aplicativos aos novos tamanhos de 
displays, surgem as interfaces naturais, que buscam 
readaptar os conceitos de interação a um ambiente cada 
vez mais limpo e isento de botões e outros elementos 
gráficos, voltando o foco do aplicativo exclusivamente ao 
seu conteúdo. As interfaces naturais (NUI) são assim 
chamadas por fazerem uso de técnicas baseadas na 
natureza humana, como física, gestos, movimentos, voz, 
entre outros, o que faz com que menos elementos sejam 
apresentados ao usuário, constituindo uma fácil 
navegação e um rápido aprendizado do uso do sistema 
[3]. 
Entre as diferentes formas de interação destacam-se os 
gestos, bastante comuns aos sistemas operacionais 
móveis. Gestos oferecem uma maneira intuitiva de 
interação com um dispositivo [4]. Sua utilização não se 
limita ao passar de páginas de um livro virtual, ou ao 
zoom de uma imagem, por exemplo. A navegação em 
ambientes de Realidade Virtual (RV) e Aumentada (RA) 
tem se beneficiado bastante da facilidade deste método. 
Em sistemas de RV e RA, a navegação no ambiente deve 
ser a mais intuitiva possível, para que o usuário assemelhe 
este desenvolvimento ao seu processo cognitivo natural. 
Muitas pesquisas vêm sendo conduzidas a fim de 
desenvolver métodos de interação aos ambientes virtuais 
mais próximos do processo de descoberta e aprendizagem 
humana. 
Neste contexto, a navegação por gestos apresenta 
relevante contribuição para tais pesquisas, pois os 
movimentos físicos do usuário implicam em atualizações 
dos ambientes virtuais e aumentados, que acompanham 
tais movimentos, com pouca ou nenhuma abstração. Para 
mover um objeto virtual para a direita, por exemplo, usa-
se o gesto de pan, que é o mover do dedo sobre a tela da 
esquerda para a direita, como se realmente estivesse 
movendo o modelo. 
O reconhecimento bem sucedido dos gestos é um dos 
principais desafios no desenvolvimento de aplicativos 
para dispositivos móveis. Isso se deve ao fato de que as 
habilidades naturais dos movimentos usados em interfaces 
gestuais ainda são limitadas pela tecnologia atual [5]. 
Considerando a necessidade de desenvolvimento de 
soluções para o ensino e aprendizagem, ressalta-se que 
não há mais um “confinamento” em salas de aula. É vasta 
a quantidade de aplicativos voltados à aprendizagem com 
uso de tecnologia móvel, contextualizando o mobile-
learning [6]. O usuário, no ponto de vista da educação a 
partir de dispositivos móveis, torna-se o foco do 
desenvolvimento de aplicativos, sendo o principal atributo 
de avaliação da usabilidade dos mesmos [7]. 
Este artigo propõe métodos de desenvolvimento de 
gestos personalizados, visando expandir o registro de 
gestos comuns aos sistemas operacionais móveis. Não 
apenas são apresentados seus modos de criação, mas 
opções de integração entre os gestos criados e funções de 
transformação de desenhos bidimensionais em modelos 
em três dimensões. Os gestos personalizados são 
utilizados para criação, edição e navegação de ambientes 
em realidade virtual e aumentada. Utilizam-se os 
conceitos de aplicativos para dispositivos móveis para a 
criação de ambientes de RV e RA que utilizem, ao 
máximo, as funcionalidades de tais aparelhos. 
O uso de tal forma de interação é exemplificado em um 
aplicativo para m-learning voltado ao ensino de Física 
(mecânica). 
II. TRABALHOS CORRELATOS 
A. Magic Paper 
O trabalho desenvolvido pelo Massachusetts Institute 
of Technology em 2006 conhecido como Magic Paper 
consiste em um sistema de criação de modelos 
bidimensionais com interações físicas [8]. 
O sistema foi desenvolvido para uso em computadores 
pessoais com mouses ou mesas digitalizadoras como 
hardware de entrada ou para dispositivos com telas 
capazes de reconhecer o toque, como lousas digitais. 
O Magic Paper recebe, como dados de entrada, 
esboços de objetos em duas dimensões e os transforma 
em figuras geométricas com características físicas. Estas 
podem ser inseridas desenhando códigos e símbolos que 
as representem. Uma seta para baixo, por exemplo, 
simboliza a ação da gravidade sobre o ambiente. 
A Figura 1 apresenta em (a) a etapa de criação do 
ambiente e em (b) a execução das leis físicas sobre os 
elementos criados. 
São explorados elementos como blocos, molas, 
cilindros e bolas (representados por circunferências), que 
podem ser conectados ou dispostos isoladamente no 
cenário. O controle da animação é feito através de barras 
de ferramentas contidas no software e conta com técnicas 
que facilitam a compreensão das mesmas, garantindo a 
melhor visualização do espaço. 
O Magic Paper apresenta algoritmos de correção do 
traçado, aproximando o esboço ao elemento geométrico 
bidimensional. Apesar da vasta biblioteca de elementos 
físicos e de forças de interação, a interação com o usuário 
é limitada ao uso do mouse ou do simples toque da caneta, 
não apresentando interações gestuais. 
Dentre as restrições, destaca-se o fato de o ambiente 
criado limitar-se ao tamanho fixo do quadro, não sendo 
permitida a expansão do mesmo através de técnicas como 
alteração da escala dos elementos. 
B. In-Place 3D 
O In-Place 3D é um framework para autoria de cenas 
tridimensionais para realidade aumentada baseado em 
desenhos à mão livre. Com este framework, é possível 
transformar esboços em sistemas em três dimensões com 
a possibilidade de interação, permitindo ao usuário 
controlar as etapas da animação, bem como alterar as 
propriedades físicas dos elementos contidos no ambiente 
[9]. 
Desenvolvido pelo Hit Lab New Zealandem 2009, o 
In-Place 3D faz uso de técnicas de processamento de 
imagens e realidade aumentada, bibliotecas de 
desenvolvimento de ambientes e interações físicas. 
Os esboços são feitos com base no desenho em 
perspectiva ortogonal. São usadas técnicas de 
processamento de imagens e reconhecimento de padrões 
para reconhecimento dos símbolos desenhados e 
capturados por uma câmera comum. 
A Figura 2 apresenta em (a) a autoria de um sistema 
mecânico, criado sobre um marcador especial que 
delimita o espaço da cena. Em (b) tem-se o ambiente 
virtual gerado e inserido no ambiente real sobre o 
marcador. 
O tratamento das imagens permite a criação de 
elementos sólidos baseados em triedros e tetraedros e 
forças interativas como atrito, gravidade e velocidade. A 
criação do modelo é gerada e mostrada no vídeo 
sobreposta à imagem da câmera. Os movimentos e 
transformações dos objetos são feitos com a adição de 
 
(a) (b) 
 
Figura 1 Magic Paper: (a) Desenho do sistema; (b) Animação do 
modelo físico. 
 
 (a) (b) 
 
Figura 2 InPlace3D: (a) Autoria do sistema mecânico, esboçado no 
papel; (b) Ambiente de Realidade Aumentada construído com base no 
modelo desenhado. 
marcadores de controles à cena e com a movimentação da 
câmera. 
O framework de desenho é genérico e, portanto, pode 
ser utilizado para diferentes casos de uso. Sua utilização 
gerou diferentes publicações em áreas de ensino e criação 
de mundos virtuais. 
A cena virtual não se limita ao marcador, apenas o 
utiliza como orientador no espaço. Entretanto, assim 
como o Magic Paper, o InPlace 3D tem espaço limitado 
para criação do modelo mecânico. 
A interação com o ambiente, realizada através da 
câmera, é mais bem utilizada em um ambiente controlado, 
com uma câmera fixa. Para dispositivos móveis, esta 
forma de interação deve ser repensada para que aborde os 
conceitos de interação gestual, utilizando o toque do 
usuário e a orientação do dispositivo. 
C. ILoveSketch 
Trata-se de um software desenvolvido por Seok-
Hyung bae, Ravin Balakrishnan e Karan Singh, capaz de 
criar ambientes tridimensionais baseados em esboços 
feitos em dispositivos de captura por toque [10]. 
Este sistema pode ser usado com navegação 2D ou 3D 
e cria curvas NURBS. Foi desenvolvido para profissionais 
do design, possibilitando a interação do usuário com seus 
modelos 3D com gestos comuns, existentes em uma 
biblioteca coesa de gestos. 
A aplicação diferenciada do software é a navegação e 
criação de elementos usando um ambiente tridimensional. 
Desenho e transformações dos mesmos se misturam em 
um ambiente sólido e consistente. 
São trabalhados gestos como ponto, curva, laço, loop, 
entre outros, para desenho, transformação e 
movimentação do ambiente. 
Todos os traços do usuário são tratados a fim de 
melhorar o desenho e torná-lo mais uniforme com os 
padrões de projeto. São evitadas as redundâncias de 
traços, para que não haja ambiguidade no processamento 
dos dados, deixando os contornos definidos. 
O ambiente conta com as principais ferramentas de 
transformação dos modelos, que alteram suas 
propriedades geométricas e estéticas. Assim como os 
grandes editores de modelos 3D, o ILoveSketch propõe 
diferentes câmeras e perspectivas de vistas. 
Apesar das boas ferramentas de desenho, o software 
não conta com ferramentas para animação. O espaço de 
criação pode ser aumentado, através de gestos, mas não 
há interação entre os elementos criados. Estes se 
comportam como elementos estáticos. 
III. INTERAÇÃO GESTUAL PARA CRIAÇÃO DE 
AMBIENTES TRIDIMENSIONAIS 
 
Os smartphones atuais apresentam como forma de 
navegação o sistema de toques e gestos. Um gesto pode 
ser definido, na abordagem deste trabalho, como um 
conjunto de sinais que indicam direções de movimentos. 
A Figura 4 apresenta os principais gestos comuns a 
todos os sistemas operacionais móveis com sistemas de 
interação por gestos. 
Este sistema de navegação tem se mostrado bastante 
inteligível e de rápido aprendizado. Suas funções básicas 
são automaticamente relacionadas aos gestos. 
A utilização de gestos tem uma grande aceitação dos 
usuários, tendo em vista a similaridade do seu aprendizado 
com o processo de desenvolvimento do conhecimento 
humano. Os gestos estão presentes em todas as etapas do 
crescimento humano e servem para comunicação mesmo 
quando não há uma linguagem comum. 
Com base nesta facilidade, desenvolve-se um método 
de criação de ambientes virtuais mais intuitivo, com uma 
rápida curva de aprendizagem. 
 
A. Arquitetura do Sistema 
O processo de criação começa a partir de desenhos 
bidimensionais feitos na tela de um dispositivo móvel, 
 
Figura 4 Dicionário de Gestos Padrões 
 
 
 (a) (b) 
 
Figura 3 ILoveSketch (a) Criação do esboço; (b) Trabalhos finais 
gerados. 
utilizando o toque e o movimento dos dedos. Este esboço 
passa por um processo de reconhecimento de padrões e é 
então transformado em formas básicas pré-estabelecidas 
em um banco de dados. O processo está representado na 
Figura 5. 
Observa-se que o usuário é responsável pela criação do 
ambiente de duas diferentes formas. A primeira através do 
desenho de formas básicas, existentes em um Banco de 
Dados relacionado a cada aplicação. A segunda forma de 
criação é através do desenho de figuras não pertencentes 
ao Banco de Dados, realizando uma extrusão Linear ou 
Spin. Ambas contribuem para a criação do ambiente 
virtual, que pode ser apresentado em forma de Realidade 
Virtual ou Realidade Aumentada. 
Através dos gestos, o usuário também pode navegar no 
ambiente criado, quando selecionado o modo de 
visualização. 
 
B. Desenho Bidimensional 
 
Optou-se por dividir o reconhecimento dos gestos em 
dois algoritmos distintos: um para o desenho de formas 
básicas e outro para a interpretação dos gestos de 
interação. 
O aplicativo é capaz de interpretar a forma desenhada e 
convertê-la em um desenho existente no banco de dados 
do projeto. 
O método de desenho consiste em etapas sequenciais 
responsáveis pela interpretação dos gestos e criação do 
ambiente tridimensional. 
 
1) Entrada de dados por toque 
A captura dos dados de entrada para o reconhecimento 
de toque é bastante simples, pois faz uso da tecnologia 
nativa dos dispositivos móveis. É determinada uma taxa 
de atualização da tela, conhecida como framerate, medida 
em fps (frames per second). Com base neste parâmetro, 
são capturadas, em cada atualização, as posições do dedo 
do usuário, guardando uma sequência de pontos que 
formam o caminho percorrido. O evento começa ao ser 
reconhecido o toque e termina quando o dedo é removido 
da tela. Obtém-se, assim, a trajetória do toque. 
 
2) Reconhecimento de padrões 
O reconhecimento de caminhos desenhados não é um 
trabalho simples e pode ser feito utilizando técnicas de 
Inteligência Artificial para reconhecimento de padrões, 
como Algoritmos Genéticos e Redes Neurais Artificiais. 
Contudo, um método simples e de baixo custo 
computacional pode ser recriado para tal finalidade [11]. 
O algoritmo denominado $1 Dollar Recognizer é baseado 
em comparações do padrão de entrada com uma 
biblioteca de templates associados a cada gesto desejado. 
O Algoritmo se divide em quatro passos principais: 
 
 Simplificação da trajetória do gesto 
 Rotação do padrão pelo ângulo indicativo 
 Escala e Translação 
 Busca pelo ângulo ótimo e melhor pontuação 
 
A Figura 6 apresenta a execução do algoritmo $1Dollar Recognizer. A primeira imagem apresenta em cinza 
a trajetória relativa à letra “a”. Para a realização, foram 
gerados 187 pontos durante a interação do usuário, em um 
tempo de 1.816s, o que é considerado uma forma de 
interação de tempo médio, com base na média de tempo 
gasto para realização de gestos simples. 
A trajetória foi simplificada em 40 pontos 
equidistantes, representados em vermelho. O raio dos 
círculos maiores ao redor de cada ponto representa a 
distância calculada para a simplificação dos pontos. 
O novo caminho gerado é então representado pela 
imagem superior direita, que contém apenas os pontos 
simplificados interligados. 
 
 
Figura 6 Execução do Algoritmo $1 Dollar Recognizer 
 
 
Figura 5 Arquitetura do Sistema 
 
3) Associação do padrão reconhecido à uma forma 
preexistente no banco de dados 
O algoritmo então realiza suas etapas de escala e 
rotação para o melhor ângulo e realiza a comparação com 
os templates existentes no banco de dados, atribuindo a 
cada operação uma pontuação normalizada. A maior 
pontuação atribuída determina qual template deve ser 
escolhido. 
A imagem inferior direita da Figura 6 apresenta a 
sobreposição dos pontos de entrada simplificados com os 
pontos registrados no banco de dados da aplicação. 
Observa-se a coerência do reconhecimento pela pontuação 
atribuída de aproximadamente 0.78 unidades. Deve-se 
determinar um limiar para o melhor reconhecimento para 
que, na inexistência de um padrão no banco de dados, não 
seja atribuída uma forma completamente diferente. 
Pode-se deduzir pelos passos do algoritmo que o 
mesmo mostra-se eficiente apenas para bancos de dados 
pequenos. Para o exemplo em questão, o tempo gasto para 
reconhecimento foi em torno de 43% do tempo gasto pelo 
usuário para realizar o desenho. 
Caso contrário, o tempo gasto com o reconhecimento 
pode superar o tempo disponível para a aplicação. Em 
casos como este, recomenda-se o uso de redes neurais 
artificiais que, apesar de dispenderem um tempo maior na 
etapa de treinamento, são bastante rápidas na etapa de 
reconhecimento. 
 
4) Simplificação da forma reconhecida 
Uma vez reconhecida a forma desenhada, realiza-se 
um processo de simplificação da mesma, capturando as 
dimensões do esboço e substituindo-o pela forma padrão 
correspondente com traços firmes. 
A estas formas são adicionados eventos de toque para 
edição das mesmas. Com um toque longo é permitida a 
edição da forma em suas principais propriedades: escala, 
rotação e translação, de modo que o ambiente possa ser 
composto da maneira desejada pelo usuário. 
C. Criação e Reconhecimento de novos Gestos 
O dicionário de gestos apresentado na Figura 6 é 
comum aos sistemas operacionais móveis predominantes 
e pode ser utilizado para qualquer finalidade programada. 
Entretanto é limitado aos movimentos básicos. 
A criação de novos gestos é um processo que envolve 
a entrada de dados do usuário em tempo real e o 
processamento imediato da informação. Para isso, deve-se 
criar um algoritmo de retorno rápido e consistente, 
garantindo assim a usabilidade do sistema. 
O procedimento para elaborar gestos personalizados é 
baseado não apenas no caminho percorrido, mas no seu 
movimento de execução. Não é analisada apenas a 
localização dos pontos percorridos, mas a relação entre 
pontos subsequentes. 
São realizadas as seguintes etapas no reconhecimento 
do gesto: 
a) Entrada de dados e formação do vetor de pontos 
percorridos. 
b) Criação de um vetor de direções. São analisadas 
as relações entre os pontos, atribuindo a elas um 
valor numérico no intervalo [0,7] que representa a 
direção do movimento. O intervalo segue o 
sentido horário, começando da direção horizontal 
no sentido partindo da esquerda para a direita. Os 
demais valores seguem um passo de 45° a partir 
deste. A Figura 7 apresenta a relação completa 
dos sinais simples e compostos. 
c) Eliminam-se os sinais repetidos sequencialmente, 
a fim de evitar ambiguidade dos dados. 
d) O vetor formado até então é suavizado, de modo 
que três valores que indicam um caminho 
quebrado possam ser simplificados por um único 
valor. A composição [7,6,7], por exemplo, pode 
ser substituída por [7]. 
Observando os passos descritos, um movimento 
senoidal poderia ser descrito pela composição [6,7,1,7,6]. 
Uma vez que os gestos foram reconhecidos e figuras 
bidimensionais foram associadas a eles, começa-se então 
o processo de criação do ambiente virtual, associando 
novos modelos 3D aos esboços 2D reconhecidos. 
 
D. Criação do ambiente virtual 
A transformação do desenho bidimensional em um 
modelo 3D é feita através dos gestos criados 
anteriormente. A associação das formas básicas aos 
modelos é efetivada com base em um banco de dados do 
aplicativo que contém todas as formas pertinentes ao seu 
conteúdo. 
Assim, é possível criar um modelo tridimensional a 
partir de extrusões lineares e por rotação de um 
determinado padrão. Para cada método de extrusão é 
adotada uma sequencia de ações gestuais que realizam os 
 
Figura 7 Dicionário de Sinais formadores de Gestos 
 
passos do processo, apresentadas nas demais sessões deste 
trabalho. 
Foram adotados gestos com um dedo para a criação de 
esboços 2D. Gestos realizados com dois dedos são 
destinados à transformação dos esboços. 
 
1) Extrusão Linear 
A Figura 8 apresenta em (a) o processo de extrusão 
linear, ilustrando a interação do usuário para a realização 
do mesmo. Observa-se a implementação do algoritmo $1 
Dollar Recognizer nos passos A e B para o desenho 
bidimensional. O primeiro passo após o desenho é a 
transformação da perspectiva do desenho. Para isso, 
utiliza-se o gesto Pan Down (Vetores [2] e [2]) para 
realizar a rotação do desenho no eixo horizontal X. O 
processo segue na etapa E com a extrusão da forma 
linearmente no eixo vertical Y. O gesto associado a esta 
etapa não é nativo dos sistemas operacionais 
predominantes, mas foi implementado de forma que 
utilize dois toques simulando o crescimento do caminho 
de extrusão. Conhecido como Grow Up (vetores [] e [6]), 
o gesto é feito mantendo um dos dedos pressionado sobre 
a figura de extrusão e o outro se move de baixo para cima 
a partir do ponto de toque. O efeito obtido é a criação do 
modelo extrudido. 
 
2) Extrusão Spin 
O processo de extrusão spin, ou extrusão por rotação é 
baseado em um profile, ou uma forma básica, que é 
rotacionada em torno de seu eixo, a fim de criar um objeto 
simétrico. 
O método proposto é visualizado na Figura 8 (b). É 
possível perceber a maior flexibilidade do processo, 
permitindo ao usuário desenhar um profile personalizado, 
não necessariamente sendo uma das formas básicas 
presentes no banco de dados. 
A rotação em torno do eixo vertical é realizada através 
do gesto de meia rotação (vetores [] e [0,1,2,3,4]). Pode-se 
adaptar o sistema de modo a aceitar qualquer um dos 
gestos de rotação, completa ou parcial. 
O modelo criado também aceita as transformações 
geométricas básicas de escala, rotação e translação. 
 
IV. ESTUDO DE CASO 
 
Como ferramenta de validação da usabilidade do 
sistema proposto, foi criado um aplicativo para mobile-
learning voltado para o ensino de Física (mecânica 
simples). 
O objetivo principal do sistema é permitir ao aluno a 
criação em tempo real de um sistema físico capaz de 
refletir seu alvo de estudo. O aluno pode desenhar sistemas 
presentes no material didático, estudados em sala de aula, 
ou ainda a concepção de uma nova configuração dos 
modelos. 
O banco de dados do sistema conta com os principais 
elementos que podem compor os experimentos virtuais, 
tais como bolas, blocos,carros e planos inclinados. 
 
A. Interface 
A interface do aplicativo foi criada de acordo com os 
padrões de desenvolvimento para dispositivos móveis 
estabelecidos pelos principais desenvolvedores atuais, que 
podem ser vistos em [12]. 
Durante o processo de criação da interface do 
aplicativo foram observados principalmente os seguintes 
aspectos: 
 
 Usabilidade; 
 Estética; 
 Transições entre páginas; 
 Facilidade de aprendizagem; 
 Compatibilidade com diferentes dispositivos e 
sistemas operacionais. 
 
(a) 
 
(b) 
Figura 8 Processos de Extrusão (a) Linear e (b) Spin 
 
 
Com base nos tópicos referenciados, desenvolveu-se a 
interface apresentada na Figura 9. Uma das características 
centrais de tal interface é sua dinamicidade, uma vez que é 
permitido ao usuário alterar a disposição do menu 
principal, para ajustá-lo à sua preferência. 
Seguindo os princípios de desenvolvimento de 
interfaces para dispositivos móveis e os padrões das 
interfaces naturais, foram suprimidos os menus estáticos 
comuns a muitos softwares e aplicativos, de tal forma que 
apenas elementos mais relevantes a cada tela são vistos no 
display. 
Uma vez que a interface está cada vez mais limpa, as 
transições entre as telas e o conteúdo apresentado devem 
ser exploradas, contribuindo para um aplicativo mais 
atraente ao usuário. 
As facilidades da linguagem adotada permitiram a 
elaboração de um aplicativo com poucos elementos 
gráficos visíveis e bastante elegante em suas transições. 
A paleta de cores escolhida é minimalista e segue as 
tendências de padrões web e mobile adotados pelos 
principais sites e aplicativos atuais. 
As páginas foram conectadas seguindo um padrão em 
estrela, o que garante uma comunicação entre todas elas de 
forma direta, de tal forma que o usuário não precise 
retornar ao menu principal para alternar entre as páginas. 
 
B. Funcionalidade 
O aplicativo desenvolvido, na forma de prova de 
conceito, é baseado em esquemas básicos relacionados ao 
tópico em questão, que envolvem o movimento de objetos 
sólidos como caixas, carros e bolas sobre uma superfície. 
As características de cada elemento móvel e das 
superfícies, bem como do ambiente ao redor, influenciam 
no comportamento do móvel. 
Tais parâmetros nem sempre são de fácil alteração 
durante os experimentos reais, como a ação da força 
gravitacional, por exemplo. A simulação em ambiente 
virtual permite ao estudante perceber o efeito de condições 
físicas extremas e/ou irreais, como gravidade negativa ou 
com valores extremamente altos. A comparação entre estes 
parâmetros e os reais é de grande importância no 
aprendizado. 
O aplicativo permite ao aluno alterar quaisquer 
parâmetros relacionados à geometria dos corpos, assim 
como as forças que atuam sobre os corpos e sobre o 
ambiente externo. 
A criação do ambiente segue as premissas apresentadas 
anteriormente. O aluno começa pelo planejamento do 
sistema físico, esboçando por gestos os elementos que 
constituem o ambiente. Ao pressionar o modelo criado, ele 
é apto a alterar suas propriedades físicas, como peso e 
atrito, por exemplo. 
Através do menu principal do aplicativo, o usuário é 
capaz de alterar as propriedades do ambiente, como forças 
externas que atuam diretamente sobre cada elemento, 
como gravidade e aceleração. 
Uma vez criado o esboço, pode-se alternar entre as 
páginas de visualização e simular a interação física em 
Realidade Virtual ou Realidade Aumentada. Enquanto este 
apresenta o sistema sobre um marcador, utilizando a 
câmera do dispositivo, aquele tem como alvo da simulação 
o display do aparelho móvel. 
 
C. Realidades Virtual e Aumentada 
O esboço feito pelo aluno, ou apresentado pelo 
professor, pode ser visto através dos métodos de RV e RA 
e a interação é feita através da movimentação do 
dispositivo e/ou através de gestos de movimentação. 
A Realidade Aumentada permite uma interação maior 
do usuário na navegação, permitindo a visualização do 
sistema sob diferentes ângulos com o simples movimento 
do marcador impresso. Este marcador pode ser 
incorporado aos materiais didáticos. 
A Figura 10 apresenta um ambiente simples criado e 
apresentado em RV. 
D. Navegação por aceleração 
Foi determinado como padrão para o sistema o uso de 
gestos para desenho e transformações 3D. Para a 
navegação optou-se pelo uso das propriedades de 
giroscópio e acelerômetro. Ao girar o dispositivo, é 
 
 
(a) (b) (c) 
Figura 9 Interface do Aplicativo (a) Menu Principal; 
(b) Página aberta; (c) Página aberta com menu. 
 
 
(a) (b) 
Figura 10 (a) Esboço feito pelo usuário; (b) Visualização em RV 
 
possível selecionar o modo de visualização e o usuário 
pode girar o ponto de vista do ambiente 3D utilizando a 
alteração da rotação do dispositivo. Assim, uma rotação 
em torno do eixo Y pode ser feita girando levemente o 
dispositivo em seu eixo vertical. 
A opção de usar ou não as propriedades de aceleração 
do dispositivo pode ser determinada pelo usuário, 
garantindo adequação do sistema a cada tipo de 
dispositivo. Caso opte por não utilizar a aceleração do 
dispositivo, o usuário poderá usar os gestos padrões do 
sistema operacional, como swipe e pan. 
 
E. Comunicação 
Uma das opções de utilização, denominada de modo 
online, permite aos usuários interagir entre si em um 
ambiente de criação colaborativo. O modo de utilização 
em rede é composto de um computador servidor, 
gerenciado pelo professor, e inúmeros aplicativos clientes, 
para cada aluno provido de dispositivo móvel. A conexão 
com a internet é opcional e acessa os dados pessoais do 
utilizador do sistema. 
Ao criar um novo sistema, o usuário pode enviar uma 
mensagem ao professor ou ao grupo, propondo o 
compartilhamento dos seus dados, para que todos 
visualizem a simulação. Também é possível que o 
professor solicite a um aluno específico que complete o 
sistema apresentado em uma lousa digital, ou em um 
projetor. 
O modo de conexão local permite a intercomunicação 
entre os dispositivos móveis. É importante ressaltar que o 
sistema não é limitado a smartphones. Outros dispositivos 
móveis, como tablets e notebooks, por exemplo, 
compatíveis com o sistema, podem comunicar-se através 
da rede local. 
A comunicação pode ser limitada de acordo com as 
necessidades do ambiente escolar. O professor, atuando 
como servidor, possui privilégios de administrador do 
sistema, controlando o envio de mensagens e de esboços 
entre os alunos. 
Um banco de dados está disponível em rede, para 
armazenar as configurações dos usuários, como históricos 
e sistemas favoritos. Também é retida a disposição do 
menu principal. Ao escolher o modo online, o sistema 
atualiza os dados do usuário ao entrar e ao sair do sistema. 
 
V. CONCLUSÕES 
Os métodos desenvolvidos neste trabalho para criação, 
edição e navegação em ambientes de RV e RA 
mostraram-se adequados aos sistemas móveis. 
O uso de gestos - personificados - tornou o processo de 
criação de ambientes 3D mais natural ao usuário, 
facilitando a transição da tecnologia de computadores 
pessoais para a computação móvel. 
Envolvendo um raciocínio simples, o sistema gestual 
desenvolvido apresenta uma rápida curva de 
aprendizagem, pois sua utilização é feita por associação 
dos padrões naturais de movimentos. 
Este método não somente facilita a navegação em 
ambientes de RV e RA, mas apresenta uma forma de 
interação com dispositivos móveis simples e intuitiva. 
Desse modo, contribui-se para a expansão da utilização 
de dispositivos móveis para ensino, pois o usuário pode 
beneficiar-se das facilidades do uso do aplicativo para 
alcançar o aproveitamentomáximo do conteúdo 
apresentado. 
O sistema proposto engloba características relevantes 
de cada trabalho apresentado como correlato, unificando-
os em um aplicativo compatível com a tecnologia de 
dispositivos móveis. 
A colaboração entre alunos para a criação de um 
sistema estudado no meio acadêmico mostrou-se eficiente 
ao ser realizada através de dispositivos móveis conectados 
a uma rede local ou global. 
 
VI. TRABALHOS FUTUROS 
 
Como trabalhos futuros, propõe-se o desenvolvimento 
de outros métodos de reconhecimento gestual, buscando 
aperfeiçoar o processo de identificação de um número 
maior de gestos. 
Podem ser explorados diferentes métodos de 
navegação envolvendo a interação entre dois ou mais 
dispositivos. Sugere-se também a geração de um ambiente 
de RV e RA com base no sistema físico característico da 
posição geográfica do usuário, buscando sua localização e 
verificando aspectos de relevo em bancos de dados online, 
por exemplo. 
São inúmeras as aplicações do sistema para práticas de 
mobile-learning, como aplicativos que envolvam a 
utilização dos métodos de criação de sistemas para ensino 
de outras modalidades da Física ou para ensino de 
trigonometria, por exemplo. 
Podem ser criados aplicativos para a alfabetização ou 
outros métodos de ensino da educação básica. A 
transformação de antigos métodos de ensino como o 
Tangram ou o Material Dourado de Montessori, por 
exemplo, podem ser adaptados para que os alunos 
transformem suas figuras e vejam a interação entre elas 
como peças de um quebra-cabeças virtual. 
Aulas de desenho também podem fazer uso do sistema 
para ampliar os conceitos de perspectiva e sobreposição de 
imagens. 
Outro possível trabalho envolve diferentes métodos de 
criação dos esboços 2D, como interpretação de imagens 
desenhadas, de forma que o aluno possa fotografar um 
esboço de sistema físico e o aplicativo transformá-lo em 
um ambiente 3D. 
VII. REFERÊNCIAS 
 
[1] ANATEL, Agência Nacional de Telecomunicações. “Relatório 
Anual 2010”, disponível em <http://www.anatel.gov.br> Acessado 
em 16 de agosto de 2011. 
[2] A. Z. Saccol, N. Reinhard, “Tecnologias de Informaçăo Móveis, 
Sem Fio e Ubíquas: Definições, Estado-da-Arte e Oportunidades 
de Pesquisa”, RAC, v.11, n.4, pp175-198, 2007. 
[3] D. Wigdor, D. Wixon, “Brave NUI World: Designing Natural User 
Interfaces for Touch and Gesture”, Ed. 1, Morgan Kaufmann, 
2011. 
[4] C. Kray, D. Nesbitt, J.Dawson, M. Rohs, “User-Defined Gestures 
for Connecting Mobile Phones, Public Displays, and Tabletops”, 
MobileHCI’10, Lisboa, Portugal, September 7-10, 2010. 
[5] J. Rico, S. Brewster, “Usable Gestures for Mobile Interfaces: 
Evaluating Social Acceptability”, CHI 2010, Atlanta, USA, April 
10-15, 2010. 
[6] Y. Zhang, S. Zhang, S. Vuong, K. Malik, “Mobile Learning with 
bluetooh-based E-learning System”, Mobile Technology, 
Applications and Systems, vol. 15, 2005, p. 5. 
[7] D. S. K. Seong, “Usability Guidelines for Designing Mobile 
Learning Portals”, The 3rd International Conference on Mobile 
Technology, Applications and Systems – Mobility 2006 
[8] R. Davis, “Magic Paper:Sketch-Understanding Research”, IEEE 
Computer Society, 2007. 
[9] O. Bergig, J. Hagbi, J. El-Sana, M. Billinghurst, “In-Place 3D 
Sketching for Authoring and Augmenting Mechanical Systems”, 8 
th IEEE International Symposium on Mixed and Augmented 
Reality (ISMAR 2009), 2009, p.87-94. 
[10] S. Bae, R. Balakrishnan, K. Singh, “ILoveSketch: As-natural-as-
possible system for creating 3D curve models”, ACM Symposium 
on User Interface Software and Technology, Monterey, CA, USA, 
2008. 
[11] J. O. Wobbrock, A. D. Wilson, Y. Li, “Gestures without Libraries, 
Toolkits or Training: A $1 Recognizer for User Interface 
Prototypes”, UIST’07, Newport, USA, October 7-10, 2007. 
[12] Android Developers, “Android Design”, disponível em < 
http://developer.android.com/design/patterns/navigation.html> 
Acessado em 07 de Janeiro de 2012