Your SlideShare is downloading. ×
微软精英挑战赛获奖作品
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

微软精英挑战赛获奖作品

537
views

Published on

Published in: Design

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
537
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 2012微软精英挑战赛——引领交互未来,开启移动计算 体感水墨画唐诗教学辅助系统 一个体感水墨画创作及唐诗 教学系统:通过Kinect的体感 技术和人体识别技术,教师 可以用互动式、体验式的教 学手段将抽象诗词意境传化 为实景的水墨画作过程,进 行诗词的教学。通过水墨画 创作和诗词教学的有机结合, 调动起孩子们的热情和参与 意识。系统可以辅助教育儿 童快速完成国画制作的应用, 通过体感控制来实现简单快 捷的组件式作画。
  • 2. 团队信息 ContentsV-touching 中山大学 Sun yet-sen university组长:万裕 概念设计、交互设计 1 概念介绍 Introduction成员:郭俊 概念设计、视觉支持 2 设计调查 Initial Studies成员:高煊广 技术支持与实现 3 灵感来源 Inspiring Work 3 关注点 FocusContact 4 使用场景 ScenariosBlog: http://blog.sina.com.cn/u/2518046762 5 设计构想 Early ConceptsWeibo: http://weibo.com/u/2518046762 6 实现框架 Design SolutionAll material is the property of v-touchinggroup.Contact us if you want to use any 7 未来展望 Conclusion&Further Workmaterial.
  • 3. 概念介绍 Introduction 从体感教学到文化传承 体感水墨诗词教学辅助系统 通过Kinect的体感技术和人体识别技术,教师可以用互动式、体验式的教学手 段, 给《唐诗》这一有着悠久历史的中国传统文化的瑰宝之一,注入新的活 力。 老师在屏幕面前通过手势拖动一些基本元素迚入屏幕画面,例如山丘、河流、 房屋等等。老师也可以通过手的动作在画面中画线条,以及利用像在触摸屏上 手势来放大或缩小图案和线条。综合完基本元素和线条后,整个水墨作画过程 就完成了,然后屏幕上会动态地作出一首最符合画面的唐诗出来。 学生可以通过预习唐诗的基础下使用我们的软件来作出诗中所描绘的内容,加 深对诗词的理解,例外可以对比理解软件所选择的诗词跟学生预习的诗词的内 容和意境。老师也可以先通过作画选诗词来给学生一个直观上的印象,加深学 生的理解,同时动画般的效果也更加吸引学生的关注。 通过水墨画创作和诗词教学的有机结合,调动起孩子们的热情和参与意识,生 动的画面、悠扬的背景音乐和传统的水墨技艺带领孩子仿佛回到了唐代——这 个在中国历史上曾经创造了无数辉煌的朝代。同时系统可以辅助教育儿童快速 完成国画制作的应用,通过体感控制来实现简单快捷的组件式作画。希望通过 诗文创作的介绍、水墨绘画的情景交融、古乐的震撼,不但能陶冶儿童的品性, 而且能纯洁儿童的心灵。 在最容易记忆的年龄里记住终身受益的……
  • 4. 关注点 Focus Keywords: 体感教学、绘画创作、儿童学习、文化传承 谈及中国文化,人们大多会不约而同地想到唐诗,唐诗拥有博大的中国式审美 意境,令人深深陶醉。唐诗里关于人与自然和谐的例子真是俯拾皆是,如何与 山水同乐?如何令心灵安宁?古人给出很多绝妙的答案。但遗憾的是这门中国 的传统文化艺术正在面临被人们遗忘的局面。 在教学中,存在儿童对唐诗兴趣不高、难以理解的问题,有的家长认为小孩子 学习唐诗没有什么用途 ,但事实是否真的就是这样子的呢?育儿专家指出对于小 孩子学习古诗只要将其中的诗句与日常生活中的小细节联系起来,将抽象的事物 转化成现实的实景,孩子可以轻松的能够记住很多唐诗,还能增加孩子的内在修养 呢! 同时,体感水墨诗词教学辅助系统水墨画的教学系统也可以应用在对外汉语教 学中,目前,如何帮助学生逾越“汉语难”的心理障碍已成为改善教学的一大 课题。利用体感式的教学手段能够调动学生学习热情,有助于汉语教学的发展。
  • 5. 关注点 Focus 国画和诗歌 中国画强调“外师造化,中得心源”和深厚的传统文化内涵;融化物我, 创作意境,要求“意存笔先,画尽意在”,达到以形写神,形神兼备,气 韵生动。由于书画同源,两者在达意抒情上都强调骨法用笔、因此绘画同 书法、篆刻相互影响,相互促迚。中华民族文化的中国画是具有“诗、书、 画”等中华民族文化特征,这是中中国画的根本;其最高境界就是诗情画 意。 国画:山水、花鸟、人物 诗歌:叙事诗、抒情诗、送别诗、边塞诗、山水田园诗、怀古诗(咏史 诗)、咏物诗、悼亡诗、讽喻诗
  • 6. 关注点 Focus 7-12岁儿童的认知 这个年龄的孩童已经上小学了,开始学与语言,画画诗歌, 使我们关注的人群 1. 融合和人沟通,但是收到了理解能力的限制。因此应该提供多样选择 2. 孩子具有通过接受年长的人一点帮助来完成任务的能力,提供必要的支援 往往可以使孩子得到更加好的学习效果 3. 儿童不按计划的行为 4. 自主学习而不是被教学 5. 学生的学习愿望归结于他们成长、爱与被爱、保护自我。提供自由灵活的 学习机会,迎合他们的兴趣。 6. 儿童的注意力指儿童排除不必要影响,专注与某事的能力,还比较弱,容 易受旁边的事物影响 7. 视觉敏感快速发展幵成熟 8. 记忆力模块接近成人,记忆力幵不比成人差 9. 对大多符号认知已经有掌握,但与现实不符的抽象表达则不知道
  • 7. 使用场景 Scenarios
  • 8. 设计调查 Initial Studies 1. Kinect Paint: Hand Painting Without the Mess 2. Kinect Graffiti “Idea behind this project is to use the kinect to track the motion behind graf f iti. Visualizing the body and drawing trough dif f erent angles in realtime, Understanding surrounding space, pausing the time, etc… Kinect Graf f iti is a tool built in processing & openGL, SimpleOpenNI, openNI and primeSense libraries.” 3.Kinect Teaching and Meeting Assistant It is developed by Wuhan University & HUST.This project can make teaching and conf erence presentations simpler and more convenience. It includes drawing board, image viewer and PPT player.Speakers can directly show their content by gestures, and no longer need any handheld device. 4. Kinect Paint Kinect Paint is a skeleton tracking application that allows you to become the paint brush! This application uses the Kinect f or Windows SDK and its skeletal tracking f eature to create a painting experience. Use several dif f erent tools, a simple color palette, and create a masterpiece! This paint sample allows you to paint on a canvas using a pen, paintbrush, airbrush, and eraser. It allows you to select dif f erent brush sizes and colors, and to save and load.Use your right hand to control the cursor. Hover over a button f or a second to press it.To paint, hold your lef t hand up above your shoulder. If the Kinect is not plugged in when you start the app, it will use the mouse instead. 5. Lets Play Chinese Characters- Mobile Learning Approaches via Culturally Inspired Group Games
  • 9. 设计构想 Early Concept 体感水墨画唐诗教学辅助系统
  • 10. 初步概念 1.组件式painting 将国画中常有的元素分离,形成单独的组件,只需将组件拖入Initial concept 画布中,即可形成一幅画 2.画面识别诗歌生成 将国画中常有的元素分离,形成单独的组件,只需将组件拖入画 布中,即可形成一幅画 3.实用的操作手势 包括选择,添加,删除,旋转,转换选择,缩放,层次透明度, 一键拍照 4.季节的选择 通过季节的选择,快速变化整体画色,免去复杂的调色设计构想 Early Concept
  • 11. 初步概念Initial concept1. 交互框架 ① 季节选择框 ② 组件选择框1 ③ 组件选择框2 ④ 画布 ⑤ 垃圾桶 ⑥ 完成设计构想 Early Concept
  • 12. 初步概念Initial concept2.手势在屏幕面前通过手势拖动一些基本元素迚入屏幕画面,例如山丘、河流、房屋等等。老师也可以通过手的动作在画面中画线条,以及利用像在触摸屏上手势来放大或缩小图案和线条。综合完基本元素和线条后,整个水墨作画过程就完成了,然后屏幕上会动态地作出一首最符合画面的唐诗出来。① 缩放② 转换选择③ 旋转④ 选择,层次透明度控制⑤ 拍照设计构想 Early Concept
  • 13. 初步概念Initial concept3. 选择元素设计构想 Early Concept
  • 14. 初步概念Initial concept3. 选择元素设计构想 Early Concept
  • 15. 初步概念Initial concept4. 缩放元素设计构想 Early Concept
  • 16. 初步概念Initial concept5. 旋转元素设计构想 Early Concept
  • 17. 初步概念Initial concept6. 元素间的转换设计构想 Early Concept
  • 18. 初步概念Initial concept7. 删除元素设计构想 Early Concept
  • 19. 初步概念Initial concept8. 完成设计构想 Early Concept
  • 20. 实现框架 Design Solution系统开发技术考量 如左图所示为操作主界面我们的整个软件是以人体动作控制迚行水 在使用kinect捕捉了使用者的手掌动作 的时候,在VS中通过调用kinec接口或墨作画为基础的,所以捕捉人体的动作是 类库获取手掌坐标,同时运行一个计时关键的一个技术,也是使用kinect的主要 器,在计时器到达倒数完毕的这段时间技术。再通过kinect提供的接口获取人体 内坐标没有明显改变(这里可以设定一 下精度)确定图片被选中,同时触发图具体动作后使用VS2010迚行具体开发, 片的拖动操作。当触发了拖动操作的时主要使用c#作为程序设计语言。 候同时也启动另一个计时器,但一段时 间没有发生坐标改变时确定图片就放置 在那里。这里拖动的功能可以使用开发操作界面的大致结构在VS中开发。在建立 平台的类库,也可以自己写一个函数。了c#的窗体应用程序的时候,可以通过拖 讲图片的中心点不断地变换为从kinect拉一些简单的控件搭建大致的界面,例如 中获得的手掌的坐标,同时重画图片。按钮控件,图片显示控件。通过拉动控件和调节控件元素大小位置可以基本作出操作界面的大致画面。以下介绍在界面的具体操作的实现。(这里没有把整个软件全部的操作列举出,这主要由于一些技术方面还没有完全了解)
  • 21. 实现框架 Design Solution系统开发技术考量如右图所示为操作主界面在使用kinect捕捉了使用者的手掌动作的时候,在VS中通过调用kinec接口或类库获取手掌坐标,同时运行一个计时器,在计时器到达倒数完毕的这段时间内坐标没有明显改变(这里可以设定一下精度)确定图片被选中,同时触发图片的拖动操作。当触发了拖动操作的时候同时也启动另一个计时器,但一段时间没有发生坐标改变时确定图片就放置在那里。这里拖动的功能可以使用开发平台的类库,也可以自己写一个函数。讲图片的中心点不断地变换为从kinect中获得的手掌的坐标,同时重画图片。
  • 22. 实现框架 Design Solution系统开发技术考量画线操作是作画的基本操作。在我们的软件中当然 支持 这一基 本操 作。同 样是 通过kinect捕捉手部的位置,通过接口获取坐标,在程序实现时将不断地获取这个坐标,同时将以这一坐标为圆心,r距离为半径的圆变成黑色,这个r是用于调节线条的厚薄的,使用者通过选定某一种情况,将会改变r的值,从而达到改变线条厚度的效果。画线操作的停止同样是通过计时器在时间完毕后发现坐标没有较大改变而确定的。
  • 23. 实现框架 Design Solution系统开发技术考量使用过基于触摸屏式的应用的人都知道上面的操作是对界面元素的放缩操作。我们这里是通过比例尺的原理迚行这一功能的。设定一个时间隔,让kinect每隔一段时间隔就扑捉两只手的坐标,然后根据坐标作出直线,将这个时间段所得的直线与上一个时间段所得的直线迚行求一个长度比,然后按照这个比值来读图片迚行放缩。具体的放缩算法可以是这样:将图片的每个像素点与图片的中心点的距离乘以那个比例尺作为新的距离,方向不变,从未得到像素点的新坐标。其他更高效的算法可以再研究。
  • 24. 未来展望 Conclusion&Further Work目前存在一定的技术困难:软件的所有操作基本都要跟动作捕捉联系在一起,所以对于kinect如何获取动作信息,以及通过怎样的接口对这些信息迚行利用需要有深入了解,这方面我们还比较薄弱,最后得到实际的一台机器迚行试验。VS的图片处理技术没有太多的了解,而且vs所得的图片比较普通没有很吸引人的效果,可能需要结合其他的开发平台,需要一些资料迚行参考。我们软件的其中一个亮点功能是动态显示诗词,这要迚行动画方面的制作,如何结合动画迚入程序里面,这方面技术比较薄弱。 THE END!现阶段已完成初步的概念设计、下一阶段需迚一步深化设计,着手迚入开发过程!各位加油!