Humanoid Robot Presentation  
     Through Multimodal  
Presentation  Markup Language




            Author
          Dos...
Introduction
♦ Not only documents but also multi­modal contents including 
    visual and auditory information are used in...
MULTIMODAL PRESENTATION 
MARKUP LANGUAGE MPMLA
Features of MPML
♦ Independent of particular systems
♦ Character control function
♦ Easy description
♦ Media synchronizati...
MPML family
♦ There are several versions of MPML in the MPML family. 
♦ MPML Ver.1.0 is the first version developed. 
♦ MP...
MPML tags




     Figure 2: Specification tree of MPML­HR
A SYSTEM OF MPML­HR 
 PRESENTATION

            A
            S
            I
            M
            O
System Configuration
♦   Humanoid robot ASIMO
♦   Control Servers
♦   ASIMO Voice Server
♦   Receive Server
♦    MPML­HR pa...
Figure 7: System configuration
MPML­HR Parser




     Figure 8: MPML­HR control diagram
..2 
MPML­HR Parser
♦ Opens the MPML­HR source code
♦ Examines it with its XML format.
♦ XSLT processor converts source co...
Making Presentation More Life­like
♦ Parallel execution of the action command and the speech 
 command
…2
Making Presentation More Life­like
♦ 2 threads are generated in the Receive Server.
♦ The Receive Server receives the o...
…3
Making Presentation More Life­like
♦ Autonomous head motion
                           ♦Action thread is in idle state ...
…4
Making Presentation More Life­like
♦This happens only when  
speech thread is in busy state 
and action thread is in id...
Conclusions:
♦ MPML­HR is an extension of MPML.
♦ MPML­HR is very simple language
♦ Anyone can write attractive multimodal...
Humanoid Robot Presentation Through Multimodal
Upcoming SlideShare
Loading in …5
×

Humanoid Robot Presentation Through Multimodal

2,470 views

Published on

Published in: Technology

Humanoid Robot Presentation Through Multimodal

  1. 1. Humanoid Robot Presentation   Through Multimodal   Presentation  Markup Language Author  Doshi Pratik H.
  2. 2. Introduction ♦ Not only documents but also multi­modal contents including  visual and auditory information are used in media and  interface fields these days. ♦ In order to make multi­modal contents using life­like  characters easily, several languages have been developed  [1]. ♦ As MPML is a medium­level scripting language, anyone can  write multi­modal presentation with life­like characters. ♦ Humanoid Robot  are expected to play an important role in  all types of fields. ♦ The presentation by the humanoid robot gives a di erent  impression, as more life like. ♦ Here MPML­HR uses humanoid robots as presenter, we can  extend presentation contents explaining actual objects
  3. 3. MULTIMODAL PRESENTATION  MARKUP LANGUAGE MPMLA
  4. 4. Features of MPML ♦ Independent of particular systems ♦ Character control function ♦ Easy description ♦ Media synchronization ♦ Meta­data description
  5. 5. MPML family ♦ There are several versions of MPML in the MPML family.  ♦ MPML Ver.1.0 is the first version developed.  ♦ MPML Ver.2.0e [7], is an extension of Ver.2.0. ♦ In MPML Ver.3.0, some extensions including a graphical  editor have been incorporated.  ♦ MPML­VR [8] stands for MPML for Virtual Reality. ♦ MPML­HR is designed based on this Ver.2.0e. 
  6. 6. MPML tags Figure 2: Specification tree of MPML­HR
  7. 7. A SYSTEM OF MPML­HR  PRESENTATION A S I M O
  8. 8. System Configuration ♦ Humanoid robot ASIMO ♦ Control Servers ♦ ASIMO Voice Server ♦ Receive Server ♦  MPML­HR parser ♦ Browser ♦ LCD projector  ♦ Speaker  ♦ Vertical large screen 
  9. 9. Figure 7: System configuration
  10. 10. MPML­HR Parser Figure 8: MPML­HR control diagram
  11. 11. ..2  MPML­HR Parser ♦ Opens the MPML­HR source code ♦ Examines it with its XML format. ♦ XSLT processor converts source code to operation data. ♦ It is understandable for the Receive Server. ♦ The Receive Server is connected with the ASIMO Voice  Server, Control Servers and the Browser. ♦ The Receive Server interprets the data into control commands  referring the mapping table and sends the commands through  the TCP/IP connection to the ASIMO control.
  12. 12. Making Presentation More Life­like ♦ Parallel execution of the action command and the speech  command
  13. 13. …2 Making Presentation More Life­like ♦ 2 threads are generated in the Receive Server. ♦ The Receive Server receives the operation data from the  MPML­HR parser, and dispatches the commands to the  ASIMO Voice Server or Control Servers or Browser. ♦ If  action thread is in idle state when Receive Server receives   action command, the action command is sent to the Control  Servers immediately to check for state of speech thread. ♦  When the Receive Server sends an action/speech command   to the Control/voice Server, the action/speech thread turns  into busy state from idle state until the end signal is received  from the Control Servers. ♦ If the action thread is in busy, the action command is sent to  the Control Servers after both thread come in idle state.
  14. 14. …3 Making Presentation More Life­like ♦ Autonomous head motion ♦Action thread is in idle state  while speaking. ♦ To make more life­like, the  head action command is  automatically sent at random. ♦ The head action command  makes the robot move his  head right & left, and up &  down.  ♦It is sent at the time when  the robot is speaking with no  action. 
  15. 15. …4 Making Presentation More Life­like ♦This happens only when   speech thread is in busy state  and action thread is in idle  state.  ♦There are two situations in  receiving the head action  command, as shown in the  figure.  ♦One is that the robot is  speaking with no action.  ♦The other is, if the robot is  speaking with the short action  which ends before the speech  Ti i ofaut m ng    onom ous head  oton  m i ends. executon i
  16. 16. Conclusions: ♦ MPML­HR is an extension of MPML. ♦ MPML­HR is very simple language ♦ Anyone can write attractive multimodal presentation  modules using a humanoid robot without expertise. ♦ The Receive Server has 2 threads to allow parallel execution  of the action command and the speech command making the  robot presentation more life­like. ♦ It gives stronger impression looking at the humanoid robot  presentation.

×