Introduc)on to New 
Media 
Lecture 3 
Textual narra)ves and 
audio 
Cyberspace is created by transforming a 
data matrix i...
Topics 
•  The narra)ve self 
•  Branching the experiences. Hypertext 
•  Distributed narra)ves 
•  Narra)ve media, digita...
Ques)ons 
•  Does new media narra)ve change our iden)ty? 
(Will new media lead us back to the global 
tribe?) 
•  What are...
Tribal iden)ty 
•  Separateness of the individual, con4nuity of space 
and of 4me, and uniformity of codes are the prime 
...
Tribal iden)ty 
•  Ac)ng as an organ of the cosmos, tribal man 
accepted his bodily func4ons as modes of 
par4cipa4on in t...
Iden)ty‐determina)on by narra)ve 
media)on 
•  Bruner’s (1996) cultural‐psychological approach 
to educa)on emphasizes nar...
Concept: a narra)ve 
•  A narra)ve is the semio4c representa4on of a 
series of events meaningfully connected in a 
tempor...
Iden)ty as a mul)layered self 
•  Every iden4ty is constantly mediated through 
mul)ple pla^orms and standards. 
•  We fee...
Language and printed books 
•  Language does for intelligence what the wheel does for 
the feet and the body. It enables t...
Tradi)onal narra)ves 
•  According to Kurland (2000) the following are the 
general characteris)cs of tradi)onal stories: ...
Tradi)onal narra)ves 
–  4) The structure of the story may be linear progressing from 
unfolding the conflict, rising ac4on...
To invent nonlineal logics  
•  In Western literate society it is s)ll plausible 
and acceptable to say that something 
"f...
Branching experience: Vannever Bush 
(1945), As We May Think 
•  Vannever Bush had 
the idea of a massive 
branching struc...
Ted Nelson’s “hypertext” 
•  1965 – in the ar)cle A File Structure for the 
Complex, the Changing, and the Indeterminate 
...
Nelson: Consequences of hypertexts 
•  Nelson (1965) understood well what his 
“hypertext” ideas meant for cultural prac)c...
Distributed narra)ves 
•  While postmodern narra)ves open out into 
fragments and bricolage in content, plot and 
style, d...
Distributed narra)ves 
•  Distribu4on in Time: The narra)ve cannot be 
experienced in one consecu)ve period of 
)me. 
For ...
h[p://
www.protagonize.com/ 
Distributed narra)ves 
•  Distribu4on in Space: There is no single place in 
which the whole narra)ve can be experienced. ...
Personal narra)ve as an 
ac)vity flow, narra)ng 
(media)ng) yourself to the 
surroundings 
Personal extensibility in places 
Represen)ng stories in new formats 
•  Jay Bushman has been experimen)ng with 
transla4ons of famous authors’ stories into...
Sequen)al fragmented narra)ves 
•  A typical approach in 
these environments 
is to segment and 
order the story into 
sma...
Sequen)al fragmented narra)ves 
•  140 novel in 
Twi[er
h[p://twi[er.com/
140novel 
•   Smallplaces in 
Twi[er 
h[p://twi[...
Twiller h[p://twiller.tcrouzet.com 
Distributed narra)ves 
•  Distribu4on of Authorship: No single author or 
group of authors can have complete control of 
f...
Distributed narra)ves 
•  An even more radical distribu)on of 
authorship is that which is automated, where 
an algorithm ...
Stories from the aggregated narra)ves  
•  Digg Swarm h[p://labs.digg.com/ 
•  h[p://a.parsons.edu/~drumb588/tweetcatcha/ 
Open ques)ons about distributed 
narra)ves 
•  How can we define and categorize a 
phenomenon that consists of connec4ons 
...
Embodied narra)ves 
•  As we now live in mul4ple 
reali4es, as we now 
occupy mul4ple spaces, 
our cultural dreampool 
wil...
New standards of 
wri)ng narra)ves in 
par)cipatory web? 
•  Crang (1998) has noted that 
different modes of wri)ng may 
ex...
Spa)al narra)ves 
•  Some authors have embedded their novels into 
the real geographical loca)ons and provide 
i4neraries ...
Images geotagged with 
“shadow” tag on Tallinn map 
Virtual i)nerary with 
geotagged contents may be 
collabora)vely const...
Spa)al narra)ves 
Spa)al narra)ves 
Access to the 
communi)es and 
individuals 
Conceptual spaces 
marked with tags 
Geotags 
Ac)vity poten)...
Swarm narra)ves 
•  Emerges without predetermined themes or plot  
•  Appears as a result of many authors’ individual 
sto...
Swarm narra)ves 
•  Appears as a cluster of close‐bye and 
interrelated perspec4ves, but each reader 
embodies the story d...
Personal news‐mining 
•  h[p://www.meehive.com/ 
•  h[p://www.trackle.com 
•  h[p://topix.net 
•  h[p://flare.prefuse.org/ 
Opinion‐mining 
h[p://moebio.com/plasma/ 
•  Opinion mining is determining 
the a{tude of a speaker or a 
writer with resp...
Concept: Digital storytelling  
•  Hartley & McWilliam (2009:4‐5) argue that at this 
moment in )me digital storytelling p...
Concept: Web 2.0 storytelling 
•  Bryan Alexander and Alan Levine (2008) 
summarized in their white paper “Web 2.0 
storyt...
Concept: New media narra)ve 
•  Jason Ohler (2008) used 
 the term 'new media narra4ve'.   
•  Bringing together 'new medi...
Concept: cross‐media narra)ve 
‐  the par)cipant ‘lives’ inside of 
‐  a story or experience  
‐  the journey  
‐  followi...
Narra)ve prac)ces as new form of 
learning 
•  Learning through developing and discussing 
narra7ves in the social hybrid ...
Narra)ve learning environments 
•  Narra4ve learning environments (NLEs) aim 
to exploit its educa)onal poten)al by 
engag...
Storytron 
•  The Storytron (h[p://www.storytron.com/) is 
an interac)ve storytelling development system, 
designed and pr...
Narra)ve learning environments 
– C) Centralized reasoning based on rules as many 
expert systems, based on cases, on plan...
Alphabe)c versus oral cultures 
•  Only alphabe)c cultures have ever mastered connected 
lineal sequences as pervasive for...
The power of the voice to shape air 
and space into verbal pa[erns  
•  Because of its ac)on in extending our central nerv...
Film music’s narra)ve func)ons  
•  Film music’s narra)ve func)ons (Eisenstein et 
al., 1928/1998; Thiel, 1981): 
– Audio‐...
Interac)ve media music necessitates a 
different concep)on! 
•  It cannot refer only to the virtual scene in 
computer game...
Music narra)ves 
•  Music is not included in mixed‐media 
environments just as an end in itself, but 
performs vital narra...
Film music’s narra)ve func)ons  
•  1. Musical illustra)on of movement and sounds 
(known as Micky Mousing), 
•  2. Emphas...
Film music’s narra)ve func)ons  
•  10. Means of immersion, 
•  11. Symbol (e.g., na)onal anthems), 
•  12. An)cipa)on of ...
Film music’s narra)ve func)ons  
•  Emo)ve Class: emo4onalize content and ac4ng; 
•  Informa)ve Class: communica4on of mea...
Comprehension of new media 
narra)ves 
•  It is an open research ques)on how do we 
comprehend new media narra)ves that ar...
Metro 
•  Whenever in a big city, I like to travel with local transport: 
trains, buses, taxi, and metro!  Most metro syst...
The Red Square 
 I arrived in the late evening, and the first view of the Red 
Square was sunset from the top of the 'Rossi...
Expository text structures 
Analyze the texts Metro and The 
Red Square using these text 
structure schemes. 
Which story ...
Inferring the meaning from text 
structure 
HEADING 
SUBHEADING OR CHAPTER 
PROPOSITIONS 
Text Organiza)on and Its Rela)on...
Text Organiza)on and Its Rela)on to Reading Comprehension: A Synthesis of the 
Research. Shirley V. Dickson, Deborah C. Si...
Comprehension at reading process: 
Van Dijk & Kintsch 
•  Construc)on‐integra)on model (Kintsch, 1988), 
updated theory (K...
Comprehension at reading process: 
Van Dijk & Kintsch 
•  The steps in construc)ng a text base according to 
the construc4...
Comprehension at reading process: 
Van Dijk & Kintsch 
W – words 
P – proposi)ons 
h[p://www.youtube.com/watch?v=aGowCojcI...
Embodied narra)ves 
Are narra4ves primarily inter‐subjec4ve devices 
that are used to tell stories to others or do we 
use...
Embodied music 
•  Embodied music cogni)on tends to see music 
percep4on as based on ac4on.  
•  For example, many people ...
Newmedia3
Newmedia3
Upcoming SlideShare
Loading in …5
×

Newmedia3

1,135 views

Published on

Cognitive approaches to new media I: Textual narratives and audio

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,135
On SlideShare
0
From Embeds
0
Number of Embeds
184
Actions
Shares
0
Downloads
16
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Newmedia3

  1. 1. Introduc)on to New  Media  Lecture 3  Textual narra)ves and  audio  Cyberspace is created by transforming a  data matrix into a landscape where  narra7ves can happen  Hayles, 1999 
  2. 2. Topics  •  The narra)ve self  •  Branching the experiences. Hypertext  •  Distributed narra)ves  •  Narra)ve media, digital storytelling and other  concepts  •  Audio as a new media  •  Comprehension of texts and narra)ves 
  3. 3. Ques)ons  •  Does new media narra)ve change our iden)ty?  (Will new media lead us back to the global  tribe?)  •  What are new standards for wri)ng narra)ves  with new media? 
  4. 4. Tribal iden)ty  •  Separateness of the individual, con4nuity of space  and of 4me, and uniformity of codes are the prime  marks of literate and civilized socie)es.    •  Tribal cultures cannot entertain the possibility of the  individual or of the separate ci)zen. Their ideas of  spaces and 4mes are neither con4nuous nor uniform,  but compassional and compressional in their intensity.  •  Literate man, civilized man, tends to restrict and  enclose space and to separate func4ons, whereas  tribal man had freely extended the form of his body  to include the universe.   McLuhan (1964): Understanding Media: the extensions of Man 
  5. 5. Tribal iden)ty  •  Ac)ng as an organ of the cosmos, tribal man  accepted his bodily func4ons as modes of  par4cipa4on in the divine energies.   •  The city and the home in the tribal world can be  accepted as iconic embodiments of the word,  the divine mythos, the universal aspira)on.   •  Even in our present electric age, many people  yearn for this inclusive strategy of acquiring  significance for their own private and isolated  beings.   McLuhan (1964): Understanding Media: the extensions of Man 
  6. 6. Iden)ty‐determina)on by narra)ve  media)on  •  Bruner’s (1996) cultural‐psychological approach  to educa)on emphasizes narra4ves as vehicles  for meaning making and iden4ty‐determina4on.   •  According to Winslade, J., & Monk, G. (2000),  “narra4ve media4on” is a concept that suggests  that we enact with the world through telling  stories, in which we seek to establish coherence  for ourselves and produce lives, careers,  rela)onships and communi)es.  
  7. 7. Concept: a narra)ve  •  A narra)ve is the semio4c representa4on of a  series of events meaningfully connected in a  temporal and causal way.   •  Films, plays, comic strips, novels, newsreels,  diaries, chronicles and trea)ses of geological  history are all narra)ves in this wider sense.  •  Narra4ves can therefore be constructed using an  ample variety of semio4c media: wri[en or  spoken language, visual images, gestures and  ac)ng, as well as a combina)on of these.   Does embodied cogni)on view narra)ves differently than merely representa)ons? 
  8. 8. Iden)ty as a mul)layered self  •  Every iden4ty is constantly mediated through  mul)ple pla^orms and standards.  •  We feel our iden4ty not anymore as an  indivisible whole, but as composed of different  pieces that are deeply and reciprocally influenced  by our online experience.   •  Iden44es are formed of layers of the enriched  self by mul4ple par4al representa4ons of the  self in a mul)layered form.  Alessandro Ludovico h[p://nextnode.net/sites/emst/wp/?p=273 
  9. 9. Language and printed books  •  Language does for intelligence what the wheel does for  the feet and the body. It enables them to move from  thing to thing with greater ease and speed and ever  less involvement.   •  The printed book had encouraged ar)sts to reduce all  forms of expression as much as possible to the single  descrip4ve and narra4ve plane of the printed word.   McLuhan (1964): Understanding Media: the extensions of Man 
  10. 10. Tradi)onal narra)ves  •  According to Kurland (2000) the following are the  general characteris)cs of tradi)onal stories:  –  1) They have a plot, a geographical seIng, where and  when the story takes place, and characters who are  involved into the plot by taking ac)ons.    –  2) The plot of the story usually involves conflicts and  its resolu4on.   –  3) Stories are generally read and appreciated only in  their en4rety, to understand the story we must follow  the complete unfolding and resolu4on of the plot.  
  11. 11. Tradi)onal narra)ves  –  4) The structure of the story may be linear progressing from  unfolding the conflict, rising ac4on, climax and resolu4on.  Alterna)vely, the paJerns of ac4ons and interrela)onship  of characters may occur throughout the story.   –  5) The author of a story plays oeen an ac)ve role in the  story either as the first person narrator who par)cipates in  the story as an observer, minor character or even the major  par4cipant or the third person narrator, who stands outside  the story itself and can be all‐knowing and might describe  ac)on from many character's viewpoint, evalua)ng  par)cipants and ac)ons in the story.   •  These characteris)cs of novels are deeply rooted in our  minds – but does new media change the tradi4onal  narra4ves? 
  12. 12. To invent nonlineal logics   •  In Western literate society it is s)ll plausible  and acceptable to say that something  "follows" from something, as if there were  some cause at work that makes such a  sequence.   •  Today in the electric age we feel as free to  invent  nonlineal logics as we do to make non‐ Euclidean geometries.    McLuhan (1964): Understanding Media: the extensions of Man 
  13. 13. Branching experience: Vannever Bush  (1945), As We May Think  •  Vannever Bush had  the idea of a massive  branching structure,  a memex ‐ as a  beJer way to  organize data and to  represent human  experience.  •  h[p:// www.theatlan)c.co m/magazine/ archive/1969/12/as‐ we‐may‐think/3881/  Memex 
  14. 14. Ted Nelson’s “hypertext”  •  1965 – in the ar)cle A File Structure for the  Complex, the Changing, and the Indeterminate  Nelson talks about new complex  interconnec4vity of texts and pictures without  specifying any par)cular mechanisms that can be  employed to achieve it.  –  Let me introduce the word “hypertext” to mean a body  of wriFen or pictorial material interconnected in such  a complex way that it could not be conveniently be  presented or represented on paper (1965).  –  ’Hypertext’‐ is not technology but poten&ally the  fullest generaliza&on of documents and literature  (2007).  h[p://ted.hyperland.net/ 
  15. 15. Nelson: Consequences of hypertexts  •  Nelson (1965) understood well what his  “hypertext” ideas meant for cultural prac)ces  and concepts:  •   “The philosophical consequences of all this are  very grave. Our concepts of ‘reading’, ‘wri&ng’,  and ‘book’ fall apart, and we are challenged to  design ‘hyperfiles’ and write ‘hypertext’ that may  have more teaching power than anything that  could ever be printed on paper”. 
  16. 16. Distributed narra)ves  •  While postmodern narra)ves open out into  fragments and bricolage in content, plot and  style, distributed narra4ves take this further,  opening up the formal and physical aspects  of the work and spreading themselves across  4me, space and the network.  •  Tracking these distributed narra4ves is what  fascinates us about reading them  (Walker, “Distributed Narra)ve… ”).h[p://jilltxt.net/txt/Walker‐AoIR‐3500words.pdf 
  17. 17. Distributed narra)ves  •  Distribu4on in Time: The narra)ve cannot be  experienced in one consecu)ve period of  )me.  For example: Emails, online newspapers,  weblogs  h[p://jilltxt.net/txt/Walker‐AoIR‐3500words.pdf  Time layers in blogs 
  18. 18. h[p:// www.protagonize.com/ 
  19. 19. Distributed narra)ves  •  Distribu4on in Space: There is no single place in  which the whole narra)ve can be experienced.  For example: any weblog is distributed in )me,  but the narra4ve can also be distributed in  virtual space when the narra)ve on an individual  weblog is combined with textual performance in  other media such as images, tweets etc. or even  hybrid space when real loca)ons are connected  with the narra)ve  •  h[p://twi[ervision.com/  h[p://jilltxt.net/txt/Walker‐AoIR‐3500words.pdf 
  20. 20. Personal narra)ve as an  ac)vity flow, narra)ng  (media)ng) yourself to the  surroundings  Personal extensibility in places 
  21. 21. Represen)ng stories in new formats  •  Jay Bushman has been experimen)ng with  transla4ons of famous authors’ stories into the  microblogging format (eg. The Good Captain  h[p://www.loose‐fish.com/waifpole/the‐good‐ captain/  •  His aim is embedding fic4on between the  streams of nonfic4on that is constantly present  in our daily lives.   •  His goal is to blur the line between the real  world and the story world (Shaer, 2008).  •  h[p://cwd.co.uk/storysofar/  
  22. 22. Sequen)al fragmented narra)ves  •  A typical approach in  these environments  is to segment and  order the story into  small chapters or  tweets and make it  available to a broad  audience that is  allowed to rate or  comment the story.  
  23. 23. Sequen)al fragmented narra)ves  •  140 novel in  Twi[er h[p://twi[er.com/ 140novel  •   Smallplaces in  Twi[er  h[p://twi[er.com/ smallplaces;  
  24. 24. Twiller h[p://twiller.tcrouzet.com 
  25. 25. Distributed narra)ves  •  Distribu4on of Authorship: No single author or  group of authors can have complete control of  form of the narra)ve.   •  For example: Twi[erers have familiar stories (e.g.  War of the Worlds) in 140‐character bursts.   •  h[p://www.convergenceculture.org/weblog/ 2008/11/distributed_collec)vity_story.php  •  h[p://www.neoformix.com/Projects/ Twi[erStreamGraphs/view.php  •  h[p://socialcollider.net/  h[p://jilltxt.net/txt/Walker‐AoIR‐3500words.pdf 
  26. 26. Distributed narra)ves  •  An even more radical distribu)on of  authorship is that which is automated, where  an algorithm or search is the only thing that  draws the narra)ve together. These  aggregated narra4ves or emergent narra4ves  require algorithms and interfaces designed  by humans for us to see them.  h[p://jilltxt.net/txt/Walker‐AoIR‐3500words.pdf 
  27. 27. Stories from the aggregated narra)ves   •  Digg Swarm h[p://labs.digg.com/  •  h[p://a.parsons.edu/~drumb588/tweetcatcha/ 
  28. 28. Open ques)ons about distributed  narra)ves  •  How can we define and categorize a  phenomenon that consists of connec4ons  rather than discrete objects?   •  How do we tell and read stories that consist  of fragments without explicit links?  •  How do these unlinked fragmented narra4ves  relate to hypertext fic4ons?  •  What about the episodic nature of distributed  narra)ves?  h[p://jilltxt.net/txt/Walker‐AoIR‐3500words.pdf 
  29. 29. Embodied narra)ves  •  As we now live in mul4ple  reali4es, as we now  occupy mul4ple spaces,  our cultural dreampool  will soon include the very  real, or lived, experiences  of embodiment in virtual  worlds, and in turn, new  narra4ves will emerge.  Doyle & Kim (2007). Embodied narra4ve: The virtual nomad  and the meta dreamer  h[p://www.atypon‐link.com/INT/doi/pdf/10.1386/padm. 3.2‐3.209_1?cookieSet=1  Pata, 2010  Embodiment of virtual stories 
  30. 30. New standards of  wri)ng narra)ves in  par)cipatory web?  •  Crang (1998) has noted that  different modes of wri)ng may  express different rela4onships  to space and mobility.   •  Spa4ality that is common to  both stories and human  geography is a key concept in  new emerging narra4ves in  hybrid environments.   Embedding bronze soldier memory from conceptual space into the real space 
  31. 31. Spa)al narra)ves  •  Some authors have embedded their novels into  the real geographical loca)ons and provide  i4neraries for exploring the novels parallel in  real and virtual world   •  to enable for the readers embodiment of the  fic4onal story as part of city reality   •  eg. Carlos Ruiz Zafon, “The Shadow of the Wind”  h[p://www.carlosruizzafon.co.uk/shadow‐ walk.html 
  32. 32. Images geotagged with  “shadow” tag on Tallinn map  Virtual i)nerary with  geotagged contents may be  collabora)vely constructed 
  33. 33. Spa)al narra)ves 
  34. 34. Spa)al narra)ves  Access to the  communi)es and  individuals  Conceptual spaces  marked with tags  Geotags  Ac)vity poten)als  Part of the  geographic  trajectory   Part of the  narra)ve  trajectory   User‐accumulated  LITERARY PLACES, TOURISM AND THE HERITAGE EXPERIENCE by David Herbert  Annals of Tourism Research, Vol. 28, No. 2, pp. 312–333, 2001 
  35. 35. Swarm narra)ves  •  Emerges without predetermined themes or plot   •  Appears as a result of many authors’ individual  storytelling   •  Is an agglomera4on of differently combinable  content por4ons  •  Can be understood from por)ons of content  which can be no)ced and integrated differently  depending of the perspec4ve of the reader    Pata & Fuksas, 2009 
  36. 36. Swarm narra)ves  •  Appears as a cluster of close‐bye and  interrelated perspec4ves, but each reader  embodies the story differently depending of the  sequence and selec)on of perspec)ves   •  Can be enacted in the real and virtual spaces  •  Each author strengthens par)cular personally  preferred perspec)ves, thus dynamically  changing the hybrid system and adjus)ng it for  himself and par)cipants alike, thereby allowing  community forma4on and func4oning   Pata & Fuksas, 2009 
  37. 37. Personal news‐mining  •  h[p://www.meehive.com/  •  h[p://www.trackle.com  •  h[p://topix.net  •  h[p://flare.prefuse.org/ 
  38. 38. Opinion‐mining  h[p://moebio.com/plasma/  •  Opinion mining is determining  the a{tude of a speaker or a  writer with respect to some  topic from web 2.0 resources.   •  Search is based on associa4ng  seman4c opinion orienta4ons  with certain adjec4ves  –  their judgment or evalua)on  –  their affec)ve state or   –  the intended emo)onal  communica)on 
  39. 39. Concept: Digital storytelling   •  Hartley & McWilliam (2009:4‐5) argue that at this  moment in )me digital storytelling provides a  pivotal term that can be used to represent:   –  An emergent form, combining the personal narra)ve  and documentary  –  A new media prac4ce, combining individual tui)on  with new publishing devices  –  An ac4vist/community movement, combining  experts with consumer led ac)vity  –  A textual system, challenging the tradi)onal view of  the producer/consumer model and new forms of  literacy. 
  40. 40. Concept: Web 2.0 storytelling  •  Bryan Alexander and Alan Levine (2008)  summarized in their white paper “Web 2.0  storytelling: emergence of the new genre”:  Web 2.0 storytelling in educa4on serves as  composi4on pla]orm and as curricular  object.   •  They considered Web 2.0 storytelling as a  distributed art form that can go beyond the  immediate control of an ini4al creator. 
  41. 41. Concept: New media narra)ve  •  Jason Ohler (2008) used   the term 'new media narra4ve'.    •  Bringing together 'new media' and 'narra4ve'  rather than 'digital' and 'storytelling' Ohler  emphasises both the wide range of poten)al  forms that this approach can be used for and that  the final products can take.    •  The use of new media narra4ve he also suggests  captures the 'decentralized spirit' of media  produc4on and consump4on being available to  everyone.  
  42. 42. Concept: cross‐media narra)ve  ‐  the par)cipant ‘lives’ inside of  ‐  a story or experience   ‐  the journey   ‐  following his own path   ‐  personalizing the experience  ‐  the storyline will invite for mul)‐dimensional communica)on  ‐  linkages across devices   ‐  distributed across media pla^orms   ‐  content is distributed across many pla^orms  ‐  an aggrega)on  •  h[p://www.youtube.com/watch? v=3FmryV9KVQU&feature=related  •  h[p://stamen.com/clients/mtv 
  43. 43. Narra)ve prac)ces as new form of  learning  •  Learning through developing and discussing  narra7ves in the social hybrid spaces has become  a new form of informal learning.   •  In the study report of the European Commission  Joint Research Centre “Pedagogical innova)ons in  new ICT‐facilitated learning communi)es Kirs)  Ala‐Mutka (2009)” emphasizes that wri4ng  narra4ves, or storytelling, is one of the  innova4ve aspects that learning in Web 2.0  communi4es has introduced to educa4on.  
  44. 44. Narra)ve learning environments  •  Narra4ve learning environments (NLEs) aim  to exploit its educa)onal poten)al by  engaging the learner in technology‐mediated  ac)vity where stories related to the learning  task play a central role.   – A)Pure emergent narra4ve, systems without  explicit direc)on where the story appears as a  result of the interac)on  – B)The mul4form plot to be processable without  reasoning (e. g. Erasmatron & Storyron) 
  45. 45. Storytron  •  The Storytron (h[p://www.storytron.com/) is  an interac)ve storytelling development system,  designed and programmed by Chris Crawford.  h[p://www.erasmatazz.com/  •  In a Storytronic storyworld, you aren't just  walking down a predetermined path  •  In essence, a storyworld is a machine that  generates stories.  
  46. 46. Narra)ve learning environments  – C) Centralized reasoning based on rules as many  expert systems, based on cases, on planning  algorithms or specific‐purpose algorithms for  media)ng in the dilemma of interac)ve  storytelling  h[p://federicopeinado.com/projects/kiids/ 
  47. 47. Alphabe)c versus oral cultures  •  Only alphabe)c cultures have ever mastered connected  lineal sequences as pervasive forms of psychic and social  organiza4on. The breaking up of every kind of experience  into uniform units in order to produce faster ac)on and  change of form (applied knowledge) has been the secret of  Western power over man and nature alike. To act without  reac4ng, without involvement, is the peculiar advantage  of Western literate man.   •  In tribal cultures, experience is arranged by a dominant  auditory sense‐life that represses visual values. The  auditory sense, unlike the cool and neutral eye, is hyper‐ esthe)c and delicate and all‐inclusive. Oral cultures act  and react at the same 4me.   McLuhan (1964): Understanding Media: the extensions of Man 
  48. 48. The power of the voice to shape air  and space into verbal pa[erns   •  Because of its ac)on in extending our central nervous  system, electric technology seems to favor the  inclusive and par4cipa4onal spoken word over the  specialist wriJen word.   •  The world of the ear is more embracing and inclusive  than that of the eye can ever be. The ear is  hypersensi)ve. The eye is cool and detached. The ear  turns man over to universal panic while the eye,  extended by literacy and mechanical )me, leaves some  gaps and some islands free from the unremi{ng  acous4c pressure and reverbera4on.   McLuhan (1964): Understanding Media: the extensions of Man 
  49. 49. Film music’s narra)ve func)ons   •  Film music’s narra)ve func)ons (Eisenstein et  al., 1928/1998; Thiel, 1981):  – Audio‐visual Parallelism, comprising music that  follows and expresses the visual content  – Counterpoint, describing music that controverts  the scene  – Affirma)ve Picture Interpreta)on and Illustra)on —comprising music that adds new non‐visible  content but does not contradict the scene.  h[p://wwwisg.cs.uni‐magdeburg.de/visual/files/publica)ons/2008/Berndt_2008_ICIDSb.pdf 
  50. 50. Interac)ve media music necessitates a  different concep)on!  •  It cannot refer only to the virtual scene in  computer games or virtual worlds, surrounding  the player, demo)ng him to an external outsider,  but take a stand on himself and his ac4ng.  •  Music can be used as a regulator for the player’s  aJen4on, emo4onal state, and playing behavior  by an adap4ve musical soundtrack that  dynamically reacts and mediate a personalized  playing experience  h[p://wwwisg.cs.uni‐magdeburg.de/visual/files/publica)ons/2008/Berndt_2008_ICIDSb.pdf 
  51. 51. Music narra)ves  •  Music is not included in mixed‐media  environments just as an end in itself, but  performs vital narra4ve func4ons  •  Music becomes meaningful as a narra4ve  medium that does not even express emo)ons  and mood, but also becomes a means for  expression of associa4ons and comments.  h[p://wwwisg.cs.uni‐magdeburg.de/visual/files/publica)ons/2008/Berndt_2008_ICIDSb.pdf 
  52. 52. Film music’s narra)ve func)ons   •  1. Musical illustra)on of movement and sounds  (known as Micky Mousing),  •  2. Emphasis of movement,  •  3. Stylizing of real sounds,  •  4. Representa)on of loca)ons (geographic, ethnic,  social),  •  5. Representa)on of )me (for historical associa)ons),  •  6. Deforma)on of sound (for aliena)on effects),  •  7. Comment (audio‐visual counterpoint),  •  8. Source music (diege)c music),  •  9. Expression of (actor’s) emo)ons,  h[p://wwwisg.cs.uni‐magdeburg.de/visual/files/publica)ons/2008/Berndt_2008_ICIDSb.pdf 
  53. 53. Film music’s narra)ve func)ons   •  10. Means of immersion,  •  11. Symbol (e.g., na)onal anthems),  •  12. An)cipa)on of subsequent ac)ons,  •  13. Enhancement and demarca)on of the film’s formal structure,  •  14. Mul)‐func)onality of music (the func)ons are not mutually  excluding),  •  15. Sound effects (and the mixing with music),  •  16. Speech/Dialog (e.g., punctua)on tasks of music),  •  17. The func)on of silence (’The rest belongs to the music as well.’  Stefan Zweig),  •  18. Non‐func)onal aspects (for inner‐musical and aesthe)c  purpose).  h[p://wwwisg.cs.uni‐magdeburg.de/visual/files/publica)ons/2008/Berndt_2008_ICIDSb.pdf  Zofia Lissa’s categoriza)on 
  54. 54. Film music’s narra)ve func)ons   •  Emo)ve Class: emo4onalize content and ac4ng;  •  Informa)ve Class: communica4on of meaning;  communica)on of values; establishing recogni)on;  •  Depic)ve Class: describing seIngs; describing  physical ac4vity;  •  Guiding Class: aJen4on guidance; mask (out)  unwanted or weak elements;  •  Temporal Class: provide con4nuity; define structure  and form  •  Rhetorical Class: comment, make a statement, judge. 
  55. 55. Comprehension of new media  narra)ves  •  It is an open research ques)on how do we  comprehend new media narra)ves that are:  – distributed,   – spa)al in hybrid spaces,   – are embodied 
  56. 56. Metro  •  Whenever in a big city, I like to travel with local transport:  trains, buses, taxi, and metro!  Most metro systems look  more or less the same, but not the ones in Moscow and St.‐ Petersburg!  These subways have style, and making a trip  on the metro and ge{ng off at all the sta)ons an excursion  on its own! First of all, the metro system is deep, very  deep... It takes a couple of minutes of steep escalators to  reach the pla^orms.  And every escalator has an  "a[endant" in a li[le booth, and he or she can speed up or  slow down the escalator, to adjust for the crowds.  The  reason these subways are so deep below the surface is that  they were designed to resist under heavy bombing  condi)ons.  Actually, there is a lot down there, far more  than you can see as a commuter on the metro...  Read this text and try to comprehend its meaning! Can you reconstruct it well? 
  57. 57. The Red Square   I arrived in the late evening, and the first view of the Red  Square was sunset from the top of the 'Rossia' Hotel ‐ a  spectacular sight.   In the evening, I made a walk on the Red Square.  The  evening light created a special atmosphere.     My first impression was that the square is in fact not that  big... much smaller than I had expected.   Also Lenin's mausoleum looked actually much smaller than  the pictures I remembered from sovjet )mes, when the  sovjet leaders were standing on top of it, salu)ng the  military parades...   Read this text and try to comprehend its meaning! Can you reconstruct it well? 
  58. 58. Expository text structures  Analyze the texts Metro and The  Red Square using these text  structure schemes.  Which story can you repeat  be[er?  Text Organiza)on and Its Rela)on to Reading Comprehension: A Synthesis of the  Research. Shirley V. Dickson, Deborah C. Simmons, Edward J. Kameenui 
  59. 59. Inferring the meaning from text  structure  HEADING  SUBHEADING OR CHAPTER  PROPOSITIONS  Text Organiza)on and Its Rela)on to Reading Comprehension: A Synthesis of the  Research. Shirley V. Dickson, Deborah C. Simmons, Edward J. Kameenui  Analyze the texts Metro and The Red Square using these text structure schemes.  What is the macrostructure of these texts?  Text organiza)on at different levels  affects comprehensibility:  1. Microstructure ‐ local structure  2. Macrostructure ‐ global structure 
  60. 60. Text Organiza)on and Its Rela)on to Reading Comprehension: A Synthesis of the  Research. Shirley V. Dickson, Deborah C. Simmons, Edward J. Kameenui  Text organiza)on includes physical  presenta)on and text structures 
  61. 61. Comprehension at reading process:  Van Dijk & Kintsch  •  Construc)on‐integra)on model (Kintsch, 1988),  updated theory (Kintsch, 1998).   •  The theory describes the complete reading  process, from recognizing words un)l  construc)ng a representa)on of the meaning of  the text.   •  The emphasis of the theory is on understanding  the meaning of a text.   •  On the basis of the linguis4c and proposi4onal  processing of the text people construct a  “situa4onal model”. 
  62. 62. Comprehension at reading process:  Van Dijk & Kintsch  •  The steps in construc)ng a text base according to  the construc4on‐integra4on model:   –  (a) forming the concepts and proposi)ons directly  corresponding to the linguis)c input;  –  (b) elabora)ng each of these elements by selec)ng a  small number of its most closely associated neighbors  from the general knowledge net;   –  (c) inferring certain addi)onal proposi)ons;  –  (d) assigning connec)on strengths to all pairs of  elements that have been created. 
  63. 63. Comprehension at reading process:  Van Dijk & Kintsch  W – words  P – proposi)ons  h[p://www.youtube.com/watch?v=aGowCojcI_4 Watch this video! 
  64. 64. Embodied narra)ves  Are narra4ves primarily inter‐subjec4ve devices  that are used to tell stories to others or do we  use narra4ves as mediators of our ac4ons in the  world?  •  Personal narra)ves are supposed to constrain the  choice of ac4ons available to us; they are  supposed to indicate to us what to do.  •  The embodied agent uses narra4ves to decide  and deliberate and to understand itself  h[p://uow.academia.edu/documents/0011/4311/embodied_narra)ves.pdf  We will focus on embodied cogni)on in the last lecture! 
  65. 65. Embodied music  •  Embodied music cogni)on tends to see music  percep4on as based on ac4on.   •  For example, many people move when they listen to  music. Through movement, it is assumed that people  give meaning to music.  •  This is different from a disembodied approach to music  cogni)on, which sees musical meaning as being based  on a percep)on‐based analysis of musical structure.   •  The embodied grounding of music percep)on is based  on a mul)‐modal encoding of auditory informa)on and  on principles that ensure the coupling of percep4on  and ac4on. 

×