• Save
Interfaces Multimodais Inteligentes
Upcoming SlideShare
Loading in...5
×
 

Interfaces Multimodais Inteligentes

on

  • 3,567 views

In Portuguese.

In Portuguese.
Apresentação sobre interfaces multimodais inteligentes já um pouco antiga.

Statistics

Views

Total Views
3,567
Views on SlideShare
3,552
Embed Views
15

Actions

Likes
1
Downloads
0
Comments
0

1 Embed 15

http://www.slideshare.net 15

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Interfaces Multimodais Inteligentes Interfaces Multimodais Inteligentes Presentation Transcript

  • Sumário Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes • Introdução • Língua Natural Falada e Escrita • Interfaces Homem–Máquina • Manipulação Directa de Objectos • Detecção de Gestos • Multimodalidade • A ideia inicial: “Put that there!” • Estado da Arte (alguns trabalhos) • Avaliação e o “Place it here!” 29/06/2001 Joana Lúcio Paulo 2
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Introdução Joana Lúcio Paulo 3
  • Introdução Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes • Quando os humanos conversam uns com o outros utilizam vários canais de comunicação: –  Linguagem falada –  Linguagem escrita –  Gestos –  Olhar –  Expressão Facial –  Entoação • Cada um desses canais fornece diferentes percepções e a sua combinação não é igual à sua soma. 29/06/2001 Joana Lúcio Paulo 4
  • Ideia subjacente Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes • Porque não enriquecer e facilitar a comunicação entre as pessoas e os computadores recorrendo a um método semelhante? • Isso tornaria o processo de comunicação mais transparente, flexível, eficiente, poderoso e expressivo. • Poderia alargar o espectro dos utilizadores de sistemas informáticos que, actualmente, é um pouco limitado, 29/06/2001 Joana Lúcio Paulo 5
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 queríamos... Joana Lúcio Paulo O Futuro... aquilo que 6
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo 7 Língua Natural Falada e Escrita
  • Língua Natural Falada Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes • Reconhecimento: • Síntese: 29/06/2001 Joana Lúcio Paulo 8
  • Problemas na Modulação Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes • Homem / Mulher • Treino • Adulto / Criança –  Um Utilizador • Dialéctica –  Vários Utilizadores • Pronúncia • Barulho –  Ruído ambiente –  Regiões –  Línguas –  Pigarrear –  Suspiros • Velocidade –  Interjeições • Sintaxe • Entoação • Contexto 29/06/2001 Joana Lúcio Paulo 9
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo Arquitectura “Típica” 10
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo Interfaces Homem–Máquina 11
  • Interfaces Homem–Máquina Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes •  Compreender como é que os seres humanos pensam, aprendem e comunicam •  Modelar os utilizadores à semelhança de um computador e tirar conclusões a partir daí •  Conceber um ser humano em termos de estrutura de memória, unidades de entrada e saída e de processamento 29/06/2001 Joana Lúcio Paulo 12
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Objectos Joana Lúcio Paulo Manipulação Directa de 13
  • Sistemas de Manipulação Directa Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes •  Técnica onde os objectos visíveis no ecrã são directa- mente manipulados com um dispositivo que permite apontar •  Exemplos: –  Rato –  Caneta de luz –  Sistemas de detecção de posição da mão 29/06/2001 Joana Lúcio Paulo 14
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo Detecção de Gestos 15
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo Detecção de Gestos 16
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo Multimodalidade 17
  • Multimodalidade Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes •  “modalidades” utiliza- das pelas pessoas: –  Visão –  Audição –  Tacto –  Olfacto –  Paladar •  Vários canais de co- municação (sentidos) •  Liberdade para combi- nar as modalidades •  Possibilidade de alter- nar entre as várias modalidades disponí- veis 29/06/2001 Joana Lúcio Paulo 18
  • Vantagens Aplicação de Técnicas de Língua Natural •  Acomodam mais a Interfaces Multimodais Inteligentes •  Tarefas visuais espa- facilmente utilizadores ciais que usam multi- com deficiências, modalidade de caneta variações de ambiente e voz e a mobilidade do –  São 10% mais rápidas utilizador –  Têm menos 36% de •  Previne o uso exces- erros e menos 50% de sivo de uma deter- enganos de dislexia minada modalidade –  São mais precisas e minimizando os mais ricas (gestos) malefícios provocados –  permitem construções pelo seu uso contínuo linguísticas e prolongado durante •  mais simples e curtas uma determinada •  que exigem menos tarefa descrições posicionais 29/06/2001 Joana Lúcio Paulo 19
  • Vantagens Aplicação de Técnicas de Língua Natural •  os utilizadores esco- •  os utilizadores tendem a Interfaces Multimodais Inteligentes lhem a modalidade a mudar de modali- que lhes parece dade de cada vez que cometer menos erros tentam fazer uma para cada tarefa e tarefa e cometem um para cada ambiente erro o que facilita a recuperação de erros •  linguagem de coman- •  a frustração subjectiva dos é mais simples e mais expressiva é menor quando há erros e a interface é –  reduz a complexidade multimodal do processamento de língua natural: maior •  Suporta desambigua- de eficiência ção mútua devido à –  reduz os erros feitos no redundância reconhecimento de fala –  Robustez e estabilidade 29/06/2001 Joana Lúcio Paulo 20
  • Vantagens Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes • 90 a 100% dos utilizadores preferem este tipo de interface • Há mais utilizadores a querer e a poder usá-los em mais situações e em mais ambientes de formas mais variadas 29/06/2001 Joana Lúcio Paulo 21
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo A Ideia Inicial: “Put that there!” 22
  • O “Put that there!” Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes “faz uma mesa!” (E aparece uma mesa de madeira no meio do chão) “em cima da mesa põe um vaso!” (e faz um gesto usando os pulsos para explicar que quer o vaso em cima da mesa que acabou de criar - o vaso aparece no sítio certo) “perto da mesa põe “vê a cena a partir uma cadeira!” (e a desta cadeira aparece ao lado da direcção” (enquanto que mesa) aponta como uma mão “Roda-a desta através da outra, a cena maneira” (enquanto que roda até acertar com a com as mãos faz a mesa rodar direcção das mãos) à volta da mesa) 29/06/2001 Joana Lúcio Paulo 23
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo Arquitectura Inicial 24
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Facilitator Joana Lúcio Paulo 25
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo (Members-Teams Committee) Arquitectura MTC 26
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 trabalhos) Joana Lúcio Paulo Estado da Arte (alguns 27
  • OGI’s QuickSet Multimodal System Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes •  baseado em agentes e na arquitectura MTC •  permite criar entidades de posição num mapa recorrendo a comandos de fala, de gestos e manipulação directa. •  simulação. •  criar identidades –  dizendo o seu nome –  as suas características –  enquanto indica a sua localização e forma –  “medical company facing this way” (seta) 29/06/2001 Joana Lúcio Paulo 28
  • Human-Centric Word Processor Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes Combina o reconhecimento de fala com a compreensão de língua natural com um sistema de reconhecimento de gestos baseado em cane- tas que seleccionam e apon- tam para objectos, criando um sistema de processa- mento de texto multimodal. Foi desenhado para resolver “Apaga esta palavra um dos maiores problemas aqui!” <apontando para de usabilidade dos sistemas a palavra> normais de ditado: a “Sublinha daqui até necessidade de corrigir, aqui!” <apontando para manipular e formatar o texto de uma forma simples e fácil o início e o fim do texto a depois de ter sido ditado. sublinhar> 29/06/2001 Joana Lúcio Paulo 29
  • Boeing’s VR Aircraft Maintenance Training Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes •  É usado na manutenção: –  novos modelos de aviões –  treino dos mecânicos 29/06/2001 Joana Lúcio Paulo 30
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Training Joana Lúcio Paulo Boeing’s VR Aircraft Maintenance 31
  • Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes 29/06/2001 Joana Lúcio Paulo Avaliação e o “Place it here!” 32
  • Avaliação Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes • Vantagens: –  O reconhecimento de gestos não é tão eficiente como o reconhecimento de fala –  O vocabulário falado tem mais interpretações que um gesto –  Gestos e comandos de fala complementam-se –  Os ambientes gráficos de manipulação de objectos são os que se adequam melhor a este tipo de interface 29/06/2001 Joana Lúcio Paulo 33
  • Avaliação Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes • Desvantagens: –  Os gestos têm pouca relação com as operações –  Os comandos têm que ser introduzidos sequencialmente –  Operações anteriores não podem ser referidas –  Os utilizadores seguem uma ordem arbitrária na introdução dos comandos –  Há poucos sistemas “livres” disponíveis para o público em geral –  Falta explorar melhor outras combinações de modalidades (não apenas gestos e fala) 29/06/2001 Joana Lúcio Paulo 34
  • “Place it here!” Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes •  Projecto conjunto das cadeiras de Interfaces Multimodais Inteligentes e de Complementos de Visualização •  Sistema com multimodalidade –  Reconhece comandos de fala –  Complementados com manipulação directa (através de rato) •  Sistema de desenho e manipulação de objectos gráficos •  Enriquecido com um agente de interface que comunica com o utilizador para lhe pedir –  Dados adicionais –  Confirmação de comandos –  Enriquecimento da descrição dos objectos 29/06/2001 Joana Lúcio Paulo 35
  • Dúvidas?! Aplicação de Técnicas de Língua Natural a Interfaces Multimodais Inteligentes Perguntas Objecções Clarificações Interrogações Interpolações Contra-Propostas Observações 29/06/2001 Joana Lúcio Paulo 36