SlideShare a Scribd company logo
1 of 24
2012微软精英挑战赛——引领交互未来,开启移动计算

   体感水墨画唐诗教学辅助系统
               一个体感水墨画创作及唐诗
               教学系统:通过Kinect的体感
               技术和人体识别技术,教师
               可以用互动式、体验式的教
               学手段将抽象诗词意境传化
               为实景的水墨画作过程,进
               行诗词的教学。通过水墨画
               创作和诗词教学的有机结合,
               调动起孩子们的热情和参与
               意识。系统可以辅助教育儿
               童快速完成国画制作的应用,
               通过体感控制来实现简单快
               捷的组件式作画。
团队信息                                         Contents
V-touching 中山大学 Sun yet-sen university

组长:万裕         概念设计、交互设计                      1   概念介绍 Introduction

成员:郭俊         概念设计、视觉支持                      2   设计调查 Initial Studies

成员:高煊广 技术支持与实现                               3   灵感来源 Inspiring Work

                                             3   关注点     Focus
Contact
                                             4   使用场景 Scenarios
Blog: http://blog.sina.com.cn/u/2518046762
                                             5   设计构想 Early Concepts
Weibo: http://weibo.com/u/2518046762
                                             6   实现框架 Design Solution
All material is the property of v-touching
group.Contact us if you want to use any      7   未来展望 Conclusion&Further Work
material.
概念介绍   Introduction

                      从体感教学到文化传承
                      体感水墨诗词教学辅助系统
                      通过Kinect的体感技术和人体识别技术,教师可以用互动式、体验式的教学手
                      段, 给《唐诗》这一有着悠久历史的中国传统文化的瑰宝之一,注入新的活
                      力。
                      老师在屏幕面前通过手势拖动一些基本元素迚入屏幕画面,例如山丘、河流、
                      房屋等等。老师也可以通过手的动作在画面中画线条,以及利用像在触摸屏上
                      手势来放大或缩小图案和线条。综合完基本元素和线条后,整个水墨作画过程
                      就完成了,然后屏幕上会动态地作出一首最符合画面的唐诗出来。


                      学生可以通过预习唐诗的基础下使用我们的软件来作出诗中所描绘的内容,加
                      深对诗词的理解,例外可以对比理解软件所选择的诗词跟学生预习的诗词的内
                      容和意境。老师也可以先通过作画选诗词来给学生一个直观上的印象,加深学
                      生的理解,同时动画般的效果也更加吸引学生的关注。


                      通过水墨画创作和诗词教学的有机结合,调动起孩子们的热情和参与意识,生
                      动的画面、悠扬的背景音乐和传统的水墨技艺带领孩子仿佛回到了唐代——这
                      个在中国历史上曾经创造了无数辉煌的朝代。同时系统可以辅助教育儿童快速
                      完成国画制作的应用,通过体感控制来实现简单快捷的组件式作画。希望通过
                      诗文创作的介绍、水墨绘画的情景交融、古乐的震撼,不但能陶冶儿童的品性,
                      而且能纯洁儿童的心灵。


                      在最容易记忆的年龄里记住终身受益的……
关注点   Focus
              Keywords:
              体感教学、绘画创作、儿童学习、文化传承

              谈及中国文化,人们大多会不约而同地想到唐诗,唐诗拥有博大的中国式审美
              意境,令人深深陶醉。唐诗里关于人与自然和谐的例子真是俯拾皆是,如何与
              山水同乐?如何令心灵安宁?古人给出很多绝妙的答案。但遗憾的是这门中国
              的传统文化艺术正在面临被人们遗忘的局面。


              在教学中,存在儿童对唐诗兴趣不高、难以理解的问题,有的家长认为小孩子
              学习唐诗没有什么用途 ,但事实是否真的就是这样子的呢?育儿专家指出对于小
              孩子学习古诗只要将其中的诗句与日常生活中的小细节联系起来,将抽象的事物
              转化成现实的实景,孩子可以轻松的能够记住很多唐诗,还能增加孩子的内在修养
              呢!


              同时,体感水墨诗词教学辅助系统水墨画的教学系统也可以应用在对外汉语教
              学中,目前,如何帮助学生逾越“汉语难”的心理障碍已成为改善教学的一大
              课题。利用体感式的教学手段能够调动学生学习热情,有助于汉语教学的发展。
关注点   Focus

              国画和诗歌
              中国画强调“外师造化,中得心源”和深厚的传统文化内涵;融化物我,
              创作意境,要求“意存笔先,画尽意在”,达到以形写神,形神兼备,气
              韵生动。由于书画同源,两者在达意抒情上都强调骨法用笔、因此绘画同
              书法、篆刻相互影响,相互促迚。中华民族文化的中国画是具有“诗、书、
              画”等中华民族文化特征,这是中中国画的根本;其最高境界就是诗情画
              意。


              国画:山水、花鸟、人物
              诗歌:叙事诗、抒情诗、送别诗、边塞诗、山水田园诗、怀古诗(咏史
              诗)、咏物诗、悼亡诗、讽喻诗
关注点   Focus

              7-12岁儿童的认知
              这个年龄的孩童已经上小学了,开始学与语言,画画诗歌,
              使我们关注的人群
              1. 融合和人沟通,但是收到了理解能力的限制。因此应该提供多样选择
              2. 孩子具有通过接受年长的人一点帮助来完成任务的能力,提供必要的支援
              往往可以使孩子得到更加好的学习效果
              3. 儿童不按计划的行为
              4. 自主学习而不是被教学
              5. 学生的学习愿望归结于他们成长、爱与被爱、保护自我。提供自由灵活的
              学习机会,迎合他们的兴趣。
              6. 儿童的注意力指儿童排除不必要影响,专注与某事的能力,还比较弱,容
              易受旁边的事物影响
              7. 视觉敏感快速发展幵成熟
              8. 记忆力模块接近成人,记忆力幵不比成人差
              9. 对大多符号认知已经有掌握,但与现实不符的抽象表达则不知道
使用场景   Scenarios
设计调查   Initial Studies
                         1. Kinect Paint: Hand Painting Without the Mess
                         2. Kinect Graffiti
                         “Idea behind this project is to use the kinect to track the motion behind graf f iti.
                         Visualizing the body and drawing trough dif f erent angles in realtime, Understanding
                         surrounding space, pausing the time, etc… Kinect Graf f iti is a tool built in processing
                         & openGL, SimpleOpenNI, openNI and primeSense libraries.”
                         3.Kinect Teaching and Meeting Assistant
                         It is developed by Wuhan University & HUST.This project can make teaching and
                         conf erence presentations simpler and more convenience. It includes drawing board,
                         image viewer and PPT player.Speakers can directly show their content by gestures,
                         and no longer need any handheld device.
                         4. Kinect Paint
                         Kinect Paint is a skeleton tracking application that allows you to become the paint
                         brush! This application uses the Kinect f or Windows SDK and its skeletal tracking
                         f eature to create a painting experience. Use several dif f erent tools, a simple color
                         palette, and create a masterpiece!
                         This paint sample allows you to paint on a canvas using a pen, paintbrush, airbrush,
                         and eraser. It allows you to select dif f erent brush sizes and colors, and to save and
                         load.Use your right hand to control the cursor. Hover over a button f or a second to
                         press it.To paint, hold your lef t hand up above your shoulder. If the Kinect is not
                         plugged in when you start the app, it will use the mouse instead.
                         5. Let's Play Chinese Characters-
                         Mobile Learning Approaches via Culturally Inspired Group Games
设计构想   Early Concept




        体感水墨画唐诗教学辅助系统
初步概念                1.组件式painting   将国画中常有的元素分离,形成单独的组件,只需将组件拖入
Initial concept                     画布中,即可形成一幅画




                    2.画面识别诗歌生成      将国画中常有的元素分离,形成单独的组件,只需将组件拖入画
                                    布中,即可形成一幅画




                    3.实用的操作手势       包括选择,添加,删除,旋转,转换选择,缩放,层次透明度,
                                    一键拍照




                    4.季节的选择         通过季节的选择,快速变化整体画色,免去复杂的调色




设计构想          Early Concept
初步概念
Initial concept



1. 交互框架

 ①   季节选择框
 ②   组件选择框1
 ③   组件选择框2
 ④   画布
 ⑤   垃圾桶
 ⑥   完成




设计构想          Early Concept
初步概念
Initial concept



2.手势
在屏幕面前通过手势拖动一些基本元素
迚入屏幕画面,例如山丘、河流、房屋
等等。老师也可以通过手的动作在画面
中画线条,以及利用像在触摸屏上手势
来放大或缩小图案和线条。综合完基本
元素和线条后,整个水墨作画过程就完
成了,然后屏幕上会动态地作出一首最
符合画面的唐诗出来。


①   缩放
②   转换选择
③   旋转
④   选择,层次透明度控制
⑤   拍照




设计构想          Early Concept
初步概念
Initial concept



3. 选择元素




设计构想          Early Concept
初步概念
Initial concept



3. 选择元素




设计构想          Early Concept
初步概念
Initial concept



4. 缩放元素




设计构想          Early Concept
初步概念
Initial concept



5. 旋转元素




设计构想          Early Concept
初步概念
Initial concept



6. 元素间的转换




设计构想          Early Concept
初步概念
Initial concept



7. 删除元素




设计构想          Early Concept
初步概念
Initial concept



8. 完成




设计构想          Early Concept
实现框架     Design Solution


系统开发技术考量
                           如左图所示为操作主界面

我们的整个软件是以人体动作控制迚行水         在使用kinect捕捉了使用者的手掌动作
                           的时候,在VS中通过调用kinec接口或
墨作画为基础的,所以捕捉人体的动作是
                           类库获取手掌坐标,同时运行一个计时
关键的一个技术,也是使用kinect的主要      器,在计时器到达倒数完毕的这段时间

技术。再通过kinect提供的接口获取人体      内坐标没有明显改变(这里可以设定一
                           下精度)确定图片被选中,同时触发图
具体动作后使用VS2010迚行具体开发,
                           片的拖动操作。当触发了拖动操作的时
主要使用c#作为程序设计语言。            候同时也启动另一个计时器,但一段时
                           间没有发生坐标改变时确定图片就放置
                           在那里。这里拖动的功能可以使用开发
操作界面的大致结构在VS中开发。在建立
                           平台的类库,也可以自己写一个函数。
了c#的窗体应用程序的时候,可以通过拖        讲图片的中心点不断地变换为从kinect

拉一些简单的控件搭建大致的界面,例如         中获得的手掌的坐标,同时重画图片。

按钮控件,图片显示控件。通过拉动控件
和调节控件元素大小位置可以基本作出操
作界面的大致画面。以下介绍在界面的具
体操作的实现。(这里没有把整个软件全
部的操作列举出,这主要由于一些技术方
面还没有完全了解)
实现框架    Design Solution


系统开发技术考量
如右图所示为操作主界面
在使用kinect捕捉了使用者的手掌动作的时
候,在VS中通过调用kinec接口或类库获取
手掌坐标,同时运行一个计时器,在计时器
到达倒数完毕的这段时间内坐标没有明显改
变(这里可以设定一下精度)确定图片被选
中,同时触发图片的拖动操作。当触发了拖
动操作的时候同时也启动另一个计时器,但
一段时间没有发生坐标改变时确定图片就放
置在那里。这里拖动的功能可以使用开发平
台的类库,也可以自己写一个函数。讲图片
的中心点不断地变换为从kinect中获得的手
掌的坐标,同时重画图片。
实现框架     Design Solution


系统开发技术考量
画线操作是作画的基本操作。在我们的软件
中当然 支持 这一基 本操 作。同 样是 通过
kinect捕捉手部的位置,通过接口获取坐标,
在程序实现时将不断地获取这个坐标,同时
将以这一坐标为圆心,r距离为半径的圆变成
黑色,这个r是用于调节线条的厚薄的,使用
者通过选定某一种情况,将会改变r的值,从
而达到改变线条厚度的效果。画线操作的停
止同样是通过计时器在时间完毕后发现坐标
没有较大改变而确定的。
实现框架     Design Solution


系统开发技术考量

使用过基于触摸屏式的应用的人都知道上
面的操作是对界面元素的放缩操作。我们
这里是通过比例尺的原理迚行这一功能的。
设定一个时间隔,让kinect每隔一段时间隔
就扑捉两只手的坐标,然后根据坐标作出
直线,将这个时间段所得的直线与上一个
时间段所得的直线迚行求一个长度比,然
后按照这个比值来读图片迚行放缩。具体
的放缩算法可以是这样:将图片的每个像
素点与图片的中心点的距离乘以那个比例
尺作为新的距离,方向不变,从未得到像
素点的新坐标。其他更高效的算法可以再
研究。
未来展望       Conclusion&Further Work


目前存在一定的技术困难:软件的所有操作基本都要跟动作捕捉
联系在一起,所以对于kinect如何获取动作信息,以及通过怎样
的接口对这些信息迚行利用需要有深入了解,这方面我们还比较
薄弱,最后得到实际的一台机器迚行试验。VS的图片处理技术没
有太多的了解,而且vs所得的图片比较普通没有很吸引人的效果,
可能需要结合其他的开发平台,需要一些资料迚行参考。我们软
件的其中一个亮点功能是动态显示诗词,这要迚行动画方面的制
作,如何结合动画迚入程序里面,这方面技术比较薄弱。
                                     THE END!
现阶段已完成初步的概念设计、下一阶段需迚一步深化设计,着
手迚入开发过程!
各位加油!

More Related Content

Viewers also liked

Viewers also liked (19)

Shekel March 2010
Shekel March 2010Shekel March 2010
Shekel March 2010
 
5 To Dos for Recruiters in a Weak Economy
5 To Dos for Recruiters in a Weak Economy5 To Dos for Recruiters in a Weak Economy
5 To Dos for Recruiters in a Weak Economy
 
20110602 ure corporate presentation (june 2011)
20110602 ure corporate presentation (june 2011)20110602 ure corporate presentation (june 2011)
20110602 ure corporate presentation (june 2011)
 
Art Photography
Art PhotographyArt Photography
Art Photography
 
Ur-Energy September 2013 Corporate Presentation
Ur-Energy September 2013 Corporate PresentationUr-Energy September 2013 Corporate Presentation
Ur-Energy September 2013 Corporate Presentation
 
Join Kessef Today
Join Kessef TodayJoin Kessef Today
Join Kessef Today
 
All Possible Worlds iab mx_public
All Possible Worlds  iab mx_publicAll Possible Worlds  iab mx_public
All Possible Worlds iab mx_public
 
Do the crime_do_the_time
Do the crime_do_the_timeDo the crime_do_the_time
Do the crime_do_the_time
 
20110322 ure corporate presentation (march 2011 webcast)
20110322 ure corporate presentation (march 2011 webcast)20110322 ure corporate presentation (march 2011 webcast)
20110322 ure corporate presentation (march 2011 webcast)
 
Css3
Css3Css3
Css3
 
Morumotto
MorumottoMorumotto
Morumotto
 
Ucc Tunnes
Ucc TunnesUcc Tunnes
Ucc Tunnes
 
The Here-Now Generation
The Here-Now GenerationThe Here-Now Generation
The Here-Now Generation
 
Gifts For You
Gifts For YouGifts For You
Gifts For You
 
Master Networking List 7 4 12
Master Networking List 7 4 12Master Networking List 7 4 12
Master Networking List 7 4 12
 
Can you trust_the_web
Can you trust_the_webCan you trust_the_web
Can you trust_the_web
 
C2c screenshots
C2c screenshotsC2c screenshots
C2c screenshots
 
Baby center 21cm mama report 2011
Baby center 21cm mama report 2011Baby center 21cm mama report 2011
Baby center 21cm mama report 2011
 
CAS2012 Analytics 1 - SEOmom
CAS2012 Analytics 1 - SEOmomCAS2012 Analytics 1 - SEOmom
CAS2012 Analytics 1 - SEOmom
 

Similar to 微软精英挑战赛获奖作品

宏碁數創企劃書6
宏碁數創企劃書6宏碁數創企劃書6
宏碁數創企劃書6t2001ray
 
種子學校活動紀錄表 攝影筆
種子學校活動紀錄表 攝影筆種子學校活動紀錄表 攝影筆
種子學校活動紀錄表 攝影筆t2001ray
 
媒體素養藝起來 全
媒體素養藝起來 全媒體素養藝起來 全
媒體素養藝起來 全t2001ray
 
User study as weapon of product innovation - public optimized pdf version
User study as weapon of product innovation - public optimized pdf versionUser study as weapon of product innovation - public optimized pdf version
User study as weapon of product innovation - public optimized pdf versionNTUST
 
Design Thinking 20220918
Design Thinking 20220918Design Thinking 20220918
Design Thinking 20220918Winny Wang
 
以移動視點探討電子日記本中的審美互動
以移動視點探討電子日記本中的審美互動以移動視點探討電子日記本中的審美互動
以移動視點探討電子日記本中的審美互動科融 曾
 
宏碁數創企劃書7
宏碁數創企劃書7宏碁數創企劃書7
宏碁數創企劃書7t2001ray
 
Design Method & Skill_20211217
Design Method & Skill_20211217Design Method & Skill_20211217
Design Method & Skill_20211217Winny Wang
 
媒體素養藝起來 第二節
媒體素養藝起來 第二節媒體素養藝起來 第二節
媒體素養藝起來 第二節t2001ray
 
E learning中的教学设计
E learning中的教学设计E learning中的教学设计
E learning中的教学设计yshuaiy
 
聖約翰大學 新媒體時代技職教育教師的媒體應用能力2012.09.04
聖約翰大學 新媒體時代技職教育教師的媒體應用能力2012.09.04聖約翰大學 新媒體時代技職教育教師的媒體應用能力2012.09.04
聖約翰大學 新媒體時代技職教育教師的媒體應用能力2012.09.04FengNien Han
 
想像力等於孩子的超能力
想像力等於孩子的超能力想像力等於孩子的超能力
想像力等於孩子的超能力Arty Kuo
 
教師課程計畫大綱 封四維
教師課程計畫大綱 封四維教師課程計畫大綱 封四維
教師課程計畫大綱 封四維純哥 吳
 
A new way to use Wikipedia for collaborative innovation"
 A new way to use Wikipedia for collaborative innovation" A new way to use Wikipedia for collaborative innovation"
A new way to use Wikipedia for collaborative innovation"TEDxFuzhou
 
造艦計畫 102年 啟動大會報告
造艦計畫 102年 啟動大會報告造艦計畫 102年 啟動大會報告
造艦計畫 102年 啟動大會報告Szu-Yin Lin
 

Similar to 微软精英挑战赛获奖作品 (18)

宏碁數創企劃書6
宏碁數創企劃書6宏碁數創企劃書6
宏碁數創企劃書6
 
種子學校活動紀錄表 攝影筆
種子學校活動紀錄表 攝影筆種子學校活動紀錄表 攝影筆
種子學校活動紀錄表 攝影筆
 
媒體素養藝起來 全
媒體素養藝起來 全媒體素養藝起來 全
媒體素養藝起來 全
 
User study as weapon of product innovation - public optimized pdf version
User study as weapon of product innovation - public optimized pdf versionUser study as weapon of product innovation - public optimized pdf version
User study as weapon of product innovation - public optimized pdf version
 
Design Thinking 20220918
Design Thinking 20220918Design Thinking 20220918
Design Thinking 20220918
 
以移動視點探討電子日記本中的審美互動
以移動視點探討電子日記本中的審美互動以移動視點探討電子日記本中的審美互動
以移動視點探討電子日記本中的審美互動
 
宏碁數創企劃書7
宏碁數創企劃書7宏碁數創企劃書7
宏碁數創企劃書7
 
DMS 20221223
DMS 20221223DMS 20221223
DMS 20221223
 
Design Method & Skill_20211217
Design Method & Skill_20211217Design Method & Skill_20211217
Design Method & Skill_20211217
 
媒體素養藝起來 第二節
媒體素養藝起來 第二節媒體素養藝起來 第二節
媒體素養藝起來 第二節
 
E learning中的教学设计
E learning中的教学设计E learning中的教学设计
E learning中的教学设计
 
南港簡報精簡英文版
南港簡報精簡英文版南港簡報精簡英文版
南港簡報精簡英文版
 
聖約翰大學 新媒體時代技職教育教師的媒體應用能力2012.09.04
聖約翰大學 新媒體時代技職教育教師的媒體應用能力2012.09.04聖約翰大學 新媒體時代技職教育教師的媒體應用能力2012.09.04
聖約翰大學 新媒體時代技職教育教師的媒體應用能力2012.09.04
 
想像力等於孩子的超能力
想像力等於孩子的超能力想像力等於孩子的超能力
想像力等於孩子的超能力
 
教師課程計畫大綱 封四維
教師課程計畫大綱 封四維教師課程計畫大綱 封四維
教師課程計畫大綱 封四維
 
20211026 sd
20211026 sd20211026 sd
20211026 sd
 
A new way to use Wikipedia for collaborative innovation"
 A new way to use Wikipedia for collaborative innovation" A new way to use Wikipedia for collaborative innovation"
A new way to use Wikipedia for collaborative innovation"
 
造艦計畫 102年 啟動大會報告
造艦計畫 102年 啟動大會報告造艦計畫 102年 啟動大會報告
造艦計畫 102年 啟動大會報告
 

More from dasiyjun

Vinci2011会议演讲PPT
Vinci2011会议演讲PPTVinci2011会议演讲PPT
Vinci2011会议演讲PPTdasiyjun
 
Vinci2011会议演讲PPT
Vinci2011会议演讲PPTVinci2011会议演讲PPT
Vinci2011会议演讲PPTdasiyjun
 
社会化数字音乐服务设计研究 ——以Last.fm的用户标签行为数据分析为例
社会化数字音乐服务设计研究 ——以Last.fm的用户标签行为数据分析为例 社会化数字音乐服务设计研究 ——以Last.fm的用户标签行为数据分析为例
社会化数字音乐服务设计研究 ——以Last.fm的用户标签行为数据分析为例 dasiyjun
 
解读信息设计
解读信息设计解读信息设计
解读信息设计dasiyjun
 
解读信息设计
解读信息设计解读信息设计
解读信息设计dasiyjun
 
Fewthingsaboutsmartcity
FewthingsaboutsmartcityFewthingsaboutsmartcity
Fewthingsaboutsmartcitydasiyjun
 
解读信息设计[郭俊]Final
解读信息设计[郭俊]Final解读信息设计[郭俊]Final
解读信息设计[郭俊]Finaldasiyjun
 
社会网络可视化
社会网络可视化社会网络可视化
社会网络可视化dasiyjun
 

More from dasiyjun (9)

作品Ji
作品Ji作品Ji
作品Ji
 
Vinci2011会议演讲PPT
Vinci2011会议演讲PPTVinci2011会议演讲PPT
Vinci2011会议演讲PPT
 
Vinci2011会议演讲PPT
Vinci2011会议演讲PPTVinci2011会议演讲PPT
Vinci2011会议演讲PPT
 
社会化数字音乐服务设计研究 ——以Last.fm的用户标签行为数据分析为例
社会化数字音乐服务设计研究 ——以Last.fm的用户标签行为数据分析为例 社会化数字音乐服务设计研究 ——以Last.fm的用户标签行为数据分析为例
社会化数字音乐服务设计研究 ——以Last.fm的用户标签行为数据分析为例
 
解读信息设计
解读信息设计解读信息设计
解读信息设计
 
解读信息设计
解读信息设计解读信息设计
解读信息设计
 
Fewthingsaboutsmartcity
FewthingsaboutsmartcityFewthingsaboutsmartcity
Fewthingsaboutsmartcity
 
解读信息设计[郭俊]Final
解读信息设计[郭俊]Final解读信息设计[郭俊]Final
解读信息设计[郭俊]Final
 
社会网络可视化
社会网络可视化社会网络可视化
社会网络可视化
 

微软精英挑战赛获奖作品

  • 1. 2012微软精英挑战赛——引领交互未来,开启移动计算 体感水墨画唐诗教学辅助系统 一个体感水墨画创作及唐诗 教学系统:通过Kinect的体感 技术和人体识别技术,教师 可以用互动式、体验式的教 学手段将抽象诗词意境传化 为实景的水墨画作过程,进 行诗词的教学。通过水墨画 创作和诗词教学的有机结合, 调动起孩子们的热情和参与 意识。系统可以辅助教育儿 童快速完成国画制作的应用, 通过体感控制来实现简单快 捷的组件式作画。
  • 2. 团队信息 Contents V-touching 中山大学 Sun yet-sen university 组长:万裕 概念设计、交互设计 1 概念介绍 Introduction 成员:郭俊 概念设计、视觉支持 2 设计调查 Initial Studies 成员:高煊广 技术支持与实现 3 灵感来源 Inspiring Work 3 关注点 Focus Contact 4 使用场景 Scenarios Blog: http://blog.sina.com.cn/u/2518046762 5 设计构想 Early Concepts Weibo: http://weibo.com/u/2518046762 6 实现框架 Design Solution All material is the property of v-touching group.Contact us if you want to use any 7 未来展望 Conclusion&Further Work material.
  • 3. 概念介绍 Introduction 从体感教学到文化传承 体感水墨诗词教学辅助系统 通过Kinect的体感技术和人体识别技术,教师可以用互动式、体验式的教学手 段, 给《唐诗》这一有着悠久历史的中国传统文化的瑰宝之一,注入新的活 力。 老师在屏幕面前通过手势拖动一些基本元素迚入屏幕画面,例如山丘、河流、 房屋等等。老师也可以通过手的动作在画面中画线条,以及利用像在触摸屏上 手势来放大或缩小图案和线条。综合完基本元素和线条后,整个水墨作画过程 就完成了,然后屏幕上会动态地作出一首最符合画面的唐诗出来。 学生可以通过预习唐诗的基础下使用我们的软件来作出诗中所描绘的内容,加 深对诗词的理解,例外可以对比理解软件所选择的诗词跟学生预习的诗词的内 容和意境。老师也可以先通过作画选诗词来给学生一个直观上的印象,加深学 生的理解,同时动画般的效果也更加吸引学生的关注。 通过水墨画创作和诗词教学的有机结合,调动起孩子们的热情和参与意识,生 动的画面、悠扬的背景音乐和传统的水墨技艺带领孩子仿佛回到了唐代——这 个在中国历史上曾经创造了无数辉煌的朝代。同时系统可以辅助教育儿童快速 完成国画制作的应用,通过体感控制来实现简单快捷的组件式作画。希望通过 诗文创作的介绍、水墨绘画的情景交融、古乐的震撼,不但能陶冶儿童的品性, 而且能纯洁儿童的心灵。 在最容易记忆的年龄里记住终身受益的……
  • 4. 关注点 Focus Keywords: 体感教学、绘画创作、儿童学习、文化传承 谈及中国文化,人们大多会不约而同地想到唐诗,唐诗拥有博大的中国式审美 意境,令人深深陶醉。唐诗里关于人与自然和谐的例子真是俯拾皆是,如何与 山水同乐?如何令心灵安宁?古人给出很多绝妙的答案。但遗憾的是这门中国 的传统文化艺术正在面临被人们遗忘的局面。 在教学中,存在儿童对唐诗兴趣不高、难以理解的问题,有的家长认为小孩子 学习唐诗没有什么用途 ,但事实是否真的就是这样子的呢?育儿专家指出对于小 孩子学习古诗只要将其中的诗句与日常生活中的小细节联系起来,将抽象的事物 转化成现实的实景,孩子可以轻松的能够记住很多唐诗,还能增加孩子的内在修养 呢! 同时,体感水墨诗词教学辅助系统水墨画的教学系统也可以应用在对外汉语教 学中,目前,如何帮助学生逾越“汉语难”的心理障碍已成为改善教学的一大 课题。利用体感式的教学手段能够调动学生学习热情,有助于汉语教学的发展。
  • 5. 关注点 Focus 国画和诗歌 中国画强调“外师造化,中得心源”和深厚的传统文化内涵;融化物我, 创作意境,要求“意存笔先,画尽意在”,达到以形写神,形神兼备,气 韵生动。由于书画同源,两者在达意抒情上都强调骨法用笔、因此绘画同 书法、篆刻相互影响,相互促迚。中华民族文化的中国画是具有“诗、书、 画”等中华民族文化特征,这是中中国画的根本;其最高境界就是诗情画 意。 国画:山水、花鸟、人物 诗歌:叙事诗、抒情诗、送别诗、边塞诗、山水田园诗、怀古诗(咏史 诗)、咏物诗、悼亡诗、讽喻诗
  • 6. 关注点 Focus 7-12岁儿童的认知 这个年龄的孩童已经上小学了,开始学与语言,画画诗歌, 使我们关注的人群 1. 融合和人沟通,但是收到了理解能力的限制。因此应该提供多样选择 2. 孩子具有通过接受年长的人一点帮助来完成任务的能力,提供必要的支援 往往可以使孩子得到更加好的学习效果 3. 儿童不按计划的行为 4. 自主学习而不是被教学 5. 学生的学习愿望归结于他们成长、爱与被爱、保护自我。提供自由灵活的 学习机会,迎合他们的兴趣。 6. 儿童的注意力指儿童排除不必要影响,专注与某事的能力,还比较弱,容 易受旁边的事物影响 7. 视觉敏感快速发展幵成熟 8. 记忆力模块接近成人,记忆力幵不比成人差 9. 对大多符号认知已经有掌握,但与现实不符的抽象表达则不知道
  • 7. 使用场景 Scenarios
  • 8. 设计调查 Initial Studies 1. Kinect Paint: Hand Painting Without the Mess 2. Kinect Graffiti “Idea behind this project is to use the kinect to track the motion behind graf f iti. Visualizing the body and drawing trough dif f erent angles in realtime, Understanding surrounding space, pausing the time, etc… Kinect Graf f iti is a tool built in processing & openGL, SimpleOpenNI, openNI and primeSense libraries.” 3.Kinect Teaching and Meeting Assistant It is developed by Wuhan University & HUST.This project can make teaching and conf erence presentations simpler and more convenience. It includes drawing board, image viewer and PPT player.Speakers can directly show their content by gestures, and no longer need any handheld device. 4. Kinect Paint Kinect Paint is a skeleton tracking application that allows you to become the paint brush! This application uses the Kinect f or Windows SDK and its skeletal tracking f eature to create a painting experience. Use several dif f erent tools, a simple color palette, and create a masterpiece! This paint sample allows you to paint on a canvas using a pen, paintbrush, airbrush, and eraser. It allows you to select dif f erent brush sizes and colors, and to save and load.Use your right hand to control the cursor. Hover over a button f or a second to press it.To paint, hold your lef t hand up above your shoulder. If the Kinect is not plugged in when you start the app, it will use the mouse instead. 5. Let's Play Chinese Characters- Mobile Learning Approaches via Culturally Inspired Group Games
  • 9. 设计构想 Early Concept 体感水墨画唐诗教学辅助系统
  • 10. 初步概念 1.组件式painting 将国画中常有的元素分离,形成单独的组件,只需将组件拖入 Initial concept 画布中,即可形成一幅画 2.画面识别诗歌生成 将国画中常有的元素分离,形成单独的组件,只需将组件拖入画 布中,即可形成一幅画 3.实用的操作手势 包括选择,添加,删除,旋转,转换选择,缩放,层次透明度, 一键拍照 4.季节的选择 通过季节的选择,快速变化整体画色,免去复杂的调色 设计构想 Early Concept
  • 11. 初步概念 Initial concept 1. 交互框架 ① 季节选择框 ② 组件选择框1 ③ 组件选择框2 ④ 画布 ⑤ 垃圾桶 ⑥ 完成 设计构想 Early Concept
  • 20. 实现框架 Design Solution 系统开发技术考量 如左图所示为操作主界面 我们的整个软件是以人体动作控制迚行水 在使用kinect捕捉了使用者的手掌动作 的时候,在VS中通过调用kinec接口或 墨作画为基础的,所以捕捉人体的动作是 类库获取手掌坐标,同时运行一个计时 关键的一个技术,也是使用kinect的主要 器,在计时器到达倒数完毕的这段时间 技术。再通过kinect提供的接口获取人体 内坐标没有明显改变(这里可以设定一 下精度)确定图片被选中,同时触发图 具体动作后使用VS2010迚行具体开发, 片的拖动操作。当触发了拖动操作的时 主要使用c#作为程序设计语言。 候同时也启动另一个计时器,但一段时 间没有发生坐标改变时确定图片就放置 在那里。这里拖动的功能可以使用开发 操作界面的大致结构在VS中开发。在建立 平台的类库,也可以自己写一个函数。 了c#的窗体应用程序的时候,可以通过拖 讲图片的中心点不断地变换为从kinect 拉一些简单的控件搭建大致的界面,例如 中获得的手掌的坐标,同时重画图片。 按钮控件,图片显示控件。通过拉动控件 和调节控件元素大小位置可以基本作出操 作界面的大致画面。以下介绍在界面的具 体操作的实现。(这里没有把整个软件全 部的操作列举出,这主要由于一些技术方 面还没有完全了解)
  • 21. 实现框架 Design Solution 系统开发技术考量 如右图所示为操作主界面 在使用kinect捕捉了使用者的手掌动作的时 候,在VS中通过调用kinec接口或类库获取 手掌坐标,同时运行一个计时器,在计时器 到达倒数完毕的这段时间内坐标没有明显改 变(这里可以设定一下精度)确定图片被选 中,同时触发图片的拖动操作。当触发了拖 动操作的时候同时也启动另一个计时器,但 一段时间没有发生坐标改变时确定图片就放 置在那里。这里拖动的功能可以使用开发平 台的类库,也可以自己写一个函数。讲图片 的中心点不断地变换为从kinect中获得的手 掌的坐标,同时重画图片。
  • 22. 实现框架 Design Solution 系统开发技术考量 画线操作是作画的基本操作。在我们的软件 中当然 支持 这一基 本操 作。同 样是 通过 kinect捕捉手部的位置,通过接口获取坐标, 在程序实现时将不断地获取这个坐标,同时 将以这一坐标为圆心,r距离为半径的圆变成 黑色,这个r是用于调节线条的厚薄的,使用 者通过选定某一种情况,将会改变r的值,从 而达到改变线条厚度的效果。画线操作的停 止同样是通过计时器在时间完毕后发现坐标 没有较大改变而确定的。
  • 23. 实现框架 Design Solution 系统开发技术考量 使用过基于触摸屏式的应用的人都知道上 面的操作是对界面元素的放缩操作。我们 这里是通过比例尺的原理迚行这一功能的。 设定一个时间隔,让kinect每隔一段时间隔 就扑捉两只手的坐标,然后根据坐标作出 直线,将这个时间段所得的直线与上一个 时间段所得的直线迚行求一个长度比,然 后按照这个比值来读图片迚行放缩。具体 的放缩算法可以是这样:将图片的每个像 素点与图片的中心点的距离乘以那个比例 尺作为新的距离,方向不变,从未得到像 素点的新坐标。其他更高效的算法可以再 研究。
  • 24. 未来展望 Conclusion&Further Work 目前存在一定的技术困难:软件的所有操作基本都要跟动作捕捉 联系在一起,所以对于kinect如何获取动作信息,以及通过怎样 的接口对这些信息迚行利用需要有深入了解,这方面我们还比较 薄弱,最后得到实际的一台机器迚行试验。VS的图片处理技术没 有太多的了解,而且vs所得的图片比较普通没有很吸引人的效果, 可能需要结合其他的开发平台,需要一些资料迚行参考。我们软 件的其中一个亮点功能是动态显示诗词,这要迚行动画方面的制 作,如何结合动画迚入程序里面,这方面技术比较薄弱。 THE END! 现阶段已完成初步的概念设计、下一阶段需迚一步深化设计,着 手迚入开发过程! 各位加油!