Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
6*45 
$SPXE1PXFSFE1BSBNFUFSOBMZTJT 
GPS7JTVBM%FTJHOYQMPSBUJPO 
:VLJ,PZBNB%BJTVLF4BLBNPUP5BLFP*HBSBTIJ 
Not Good Good 
Para...
)PXDBODPNQVUBUJPOIFMQEFTJHO  
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
)PXDBODPNQVUBUJPOIFMQEFTJHO  
5BSHFUEFTJHOFYQMPSBUJPOCZQBSBNFUFSUXFBLJOH 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPS...
)PXDBODPNQVUBUJPOIFMQEFTJHO  
5BSHFUEFTJHOFYQMPSBUJPOCZQBSBNFUFSUXFBLJOH 
7JEFP 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJ...
0VSQQSPBDI 
 OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO 
TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT 
 *OUSPEVDFVTFSJOUFSGBDFTGPSE...
0VSQQSPBDI 
 OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO 
TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT 
 *OUSPEVDFVTFSJOUFSGBDFTGPSE...
0VSQQSPBDI 
 OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO 
TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT 
 *OUSPEVDFVTFSJOUFSGBDFTGPSE...
8PSLPX 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
Design Task 
design parameters 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
Design Task Analysis 
design parameters 
parameter space 
parameter 1 
parameter 2 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%...
Design Task Analysis 
design parameters 
parameter space 
parameter 1 
parameter 2 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%...
Design Task Analysis 
design parameters 
parameter space 
parameter 1 
parameter 2 
crowd workers 
$SPXE1PXFSFE1BSBNFUFSOB...
Design Task Analysis 
design parameters 
parameter space 
7JEFP 
parameter 1 
parameter 2 
crowd workers 
$SPXE1PXFSFE1BSB...
Design Task Analysis 
design parameters 
not good good 
parameter space 
parameter 1 
parameter 2 
crowd workers 
$SPXE1PX...
Design Task Analysis 
design parameters 
f : n 
not good good 
parameter space 
parameter 1 
parameter 2 
crowd workers 
$...
Design Task Analysis 
f : n 
User Interface 
VisOpt Slider 
design parameters 
not good good 
parameter space 
parameter 1...
%FNP	6TFS*OUFSGBDF
 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
3FBM5JNF%FNP 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
3FMBUFE8PSL 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
$PMMBCPSBUJWF,OPXMFEHFGPS%FTJHO 
6UJMJ[FEJTUSJCVUJPOPG 
VTFSDSFBUFEHPPEEFTJHOT 
 
à /PUEFTJHOFEGPSPOEFNBOEBOBMZTJT 
$SPXE...
$PMMBCPSBUJWF,OPXMFEHFGPS%FTJHO 
6UJMJ[FEJTUSJCVUJPOPG 
VTFSDSFBUFEHPPEEFTJHOT 
 
à /PUEFTJHOFEGPSPOEFNBOEBOBMZTJT 
$SPXE...
$SPXE1PXFSFEOBMZTJTPG%FTJHO4QBDFT 
'POU0ˏ%POPWBO 7JFX%JSFDUJPO4FDPSE 8FC3FJOFDLF 
à 6TFEPNBJOTQFDJDLOPXMFEHF 
 
/PUF0VST...
$SPXE1PXFSFEOBMZTJTPG%FTJHO4QBDFT 
'POU0ˏ%POPWBO 7JFX%JSFDUJPO4FDPSE 8FC3FJOFDLF 
à 6TFEPNBJOTQFDJDLOPXMFEHF 
 
/PUF0VST...
4VHHFTUJWF*OUFSGBDF 
%FTJHO(BMMFSJFT.BSLT #SBJOTUPSNGUFSFDUT 
à/PUCBTFEPOIVNBOˏTBFTUIFUJDT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJT...
4MJEFS*OUFSGBDF 
WJTVBMJ[FEFTJHOQSFWJFXT WJTVBMJ[FSFMBUFEEBUB 
4JEF7JFXT5FSSZ 4DFOUFE8JEHFU8JMMFUU 
à ˑ3BX˒JOGPSNBUJPO	OP...
4MJEFS*OUFSGBDF 
WJTVBMJ[FEFTJHOQSFWJFXT WJTVBMJ[FSFMBUFEEBUB 
4JEF7JFXT5FSSZ 4DFOUFE8JEHFU8JMMFUU 
à ˑ3BX˒JOGPSNBUJPO	OP...
4MJEFS*OUFSGBDF 
WJTVBMJ[FEFTJHOQSFWJFXT WJTVBMJ[FSFMBUFEEBUB 
4JEF7JFXT5FSSZ 4DFOUFE8JEHFU8JMMFUU 
à ˑ3BX˒JOGPSNBUJPO	OP...
OBMZTJT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
OBMZTJT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
4BNQMJOH 
1BSBNFUFS4FUT 
(BUIFSJOH1BJSXJTF 
$PNQBSJTPOT 
T...
OBMZTJT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
4BNQMJOH 
1BSBNFUFS4FUT 
(BUIFSJOH1BJSXJTF 
$PNQBSJTPOT 
T...
OBMZTJT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
4BNQMJOH 
1BSBNFUFS4FUT 
(BUIFSJOH1BJSXJTF 
$PNQBSJTPOT 
T...
4BNQMJOH 
1BSBNFUFS4FUT 
(BUIFSJOH1BJSXJTF 
$PNQBSJTPOT 
crowd workers 
TUJNBUJOH(PPEOFTT 
7BMVFTPG1PJOUT 
'JUUJOHB(PPEOFT...
OBMZTJT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
4BNQMJOH 
1BSBNFUFS4FUT 
(BUIFSJOH1BJSXJTF 
$PNQBSJTPOT 
T...
OBMZTJT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
4BNQMJOH 
1BSBNFUFS4FUT 
(BUIFSJOH1BJSXJTF 
$PNQBSJTPOT 
T...
6TFS*OUFSGBDF 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
6TFS*OUFSGBDF4NBSU4VHHFTUJPO 
4VHHFTUJPOTCBTFEPOHPPEOFTT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
6TFS*OUFSGBDF4NBSU4VHHFTUJPO 
*NQMFNFOUBUJPO 
 (FOFSBUFEFTJHOT 
SBOEPNMZ 
 4IPXCFTUEFTJHOT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGP...
6TFS*OUFSGBDF7JT0QU4MJEFS 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
xi 
xj 
xi 
xj 
7JTVBMJ[BUJPO	7JT
6TFS*OUFSGBDF7JT0QU4MJEFS 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
xi 
xj 
xi 
xj 
7JTVBMJ[BUJPO	7JT
 
DVSS...
6TFS*OUFSGBDF7JT0QU4MJEFS 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
xi 
xj 
xi 
xj 
7JTVBMJ[BUJPO	7JT
6TFS*OUFSGBDF7JT0QU4MJEFS 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
xi 
xj 
xi 
xj 
7JTVBMJ[BUJPO	7JT
6TFS*OUFSGBDF7JT0QU4MJEFS 
7JTVBMJ[BUJPO	7JT
0QUJNJ[BUJPO	0QU
 VUPNBUJD 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
xi 
xj 
xi 
xj 
BEKVTUNFOU 
6TFSˏTFEJU
QQMJDBUJPOT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
QQMJDBUJPO	
$PMPS$PSSFDUJPO 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
QBSBNFUFSTJOUPUBM 
7JEFP
7JEFP 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
QQMJDBUJPO	
$BNFSB-JHIU 
(PBM 
OEBHPPEWJFX 
 
QBSBNFUFSTJOUPUBM 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
	...
QQMJDBUJPO	
$BNFSB-JHIU 
(PBM 
OEBHPPEWJFX 
 
QBSBNFUFSTJOUPUBM 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
	...
7JEFP 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
QQMJDBUJPO	
4IBEFS	QQFBSBODF
 
5BTLEFTJHOJOHBQQFBSBODFPGTUBJOMFTTUFBQPU 
7JEFP 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJH...
QQMJDBUJPO	
4IBEFS	QQFBSBODF
 
5BTLEFTJHOJOHBQQFBSBODFPGTUBJOMFTTUFBQPU 
$SJUFSJBˑSFBMJTUJD˒BTTUBJOMFTT 
 
QBSBNFUFSTJOUPU...
7JEFP 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
QQMJDBUJPO	
'BDJBMYQSFTTJPO 
#MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST 
7JEFP 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQ...
QQMJDBUJPO	
'BDJBMYQSFTTJPO 
#MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST 
3BOEPNEFTJHOT 
à.PTUEFTJHOTBSFVOOBUVSBM	CSPLFO
 
$S...
QQMJDBUJPO	
'BDJBMYQSFTTJPO 
#MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJP...
7JEFP 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
QQMJDBUJPO	
'BDJBMYQSFTTJPO 
  
OPUOBUVSBM OBUVSBM 
00..1155 00..3311 00..4499 00..6611 0.88 
àDIJFWFEWJTVBMMZQMBVTJCMFFT...
QQMJDBUJPO4UBUJTUJDT 
$PMPS 
$PSSFDUJPO 
$BNFSB 
-JHIU 
4IBEFS 'BDJBM 
YQSFTTJPO 
QBSBNFUFST     
DSJUFSJB HPPE HPPE SFBMJ...
WBMVBUJPO 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
WBMVBUJPOOBMZTJT 
$POWFSHFODF	XSUDPNQBSJTPOT
 $SPTT7BMJEBUJPO 
̔4FFUIFQBQFSGPSEFUBJMT 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTV...
WBMVBUJPO6TFS*OUFSGBDFT 
6TFSTUVEZ 
BTLFETUVEFOUTUPVTFPVSJOUFSGBDFT 
 
4ZTUFN6TBCJMJUZ4DBMF#BOHPS 
àˑHPPE˒	WFSBHF
4%
 
̔4...
%JTDVTTJPO$PODMVTJPO 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
-JNJUBUJPO 
• /FFESFDSPXETPVSDJOHXIFOUIFUBTL 
DIBOHFT 
• QQMJDBCMFUPPOMZDPOUJOVPVT 
QBSBNFUFST	OPUEJTDSFUFPOFT
 
$SPXE1PXF...
-JNJUBUJPO 
• /FFESFDSPXETPVSDJOHXIFOUIFUBTL 
DIBOHFT 
• QQMJDBCMFUPPOMZDPOUJOVPVT 
QBSBNFUFST	OPUEJTDSFUFPOFT
 
$SPXE1PXF...
-JNJUBUJPO 
• /FFESFDSPXETPVSDJOHXIFOUIFUBTL 
DIBOHFT 
• QQMJDBCMFUPPOMZDPOUJOVPVT 
QBSBNFUFST	OPUEJTDSFUFPOFT
 
$SPXE1PXF...
$PODMVTJPO 
• OBMZTJTPG	BSCJUSBSZ
EFTJHOTQBDFT 
CZVTJOHIVNBODPNQVUBUJPO 
• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO 
4NBSU4VHHFTUJPO...
$PODMVTJPO 
• OBMZTJTPG	BSCJUSBSZ
EFTJHOTQBDFT 
CZVTJOHIVNBODPNQVUBUJPO 
• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO 
4NBSU4VHHFTUJPO...
$PODMVTJPO 
• OBMZTJTPG	BSCJUSBSZ
EFTJHOTQBDFT 
CZVTJOHIVNBODPNQVUBUJPO 
• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO 
4NBSU4VHHFTUJPO...
$PODMVTJPO 
• OBMZTJTPG	BSCJUSBSZ
EFTJHOTQBDFT 
CZVTJOHIVNBODPNQVUBUJPO 
• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO 
4NBSU4VHHFTUJPO...
5IBOL:PV 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
Not Good Good 
Parameter Space Suggested Designs 
Visuali...
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
.JDSP5BTLGPS$SPXETPVSDJOH 
8IBUJTUIFHPPEOFTTTDPSF  
✗OB®WFBQQSPBDI	BTLBCTPMVUFWBMVF
 
• EJDVMUUPDPOTJTUFOUMZBOTXFSFWFSZUJ...
.JDSP5BTLGPS$SPXETPVSDJOH 
QBJSXJTFDPNQBSJTPO 
4FDPSE(JOHPME$IBVEPIVSJ 
8IJDIJTCFUUFS  
àFBTZGPSOPOFYQFSUT
TVJUBCMFGPSDSP...
.JDSP5BTLGPS$SPXETPVSDJOH 
Which of the two images of OPVOis more BEKFDUJWF? 
For example, DMBVTF. 
Please choose the most...
.JDSP5BTLGPS$SPXETPVSDJOH 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
2
2VBMJUZ$POUSPM 
ˑ%VQMJDBUF˒BQQSPBDI4FDPSE
(JOHPME
$IBVEIVSJ 
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 
2 
   ...
2VBMJUZ$POUSPM 
ˑ%VQMJDBUF˒BQQSPBDI4FDPSE(JOHPME$IBVEIVSJ 
 TLRVFTUJPOTSTU 
 TLUIFTBNFRVFTUJPOTXJUIJQQFEBSSBOHFNFOUT 
 
...
Upcoming SlideShare
Loading in …5
×

Crowd-Powered Parameter Analysis for Visual Design Exploration (UIST 2014)

3,944 views

Published on

http://www-ui.is.s.u-tokyo.ac.jp/~koyama/project/CrowdPoweredAnalysis/index.html

Published in: Technology
  • Be the first to comment

Crowd-Powered Parameter Analysis for Visual Design Exploration (UIST 2014)

  1. 1. 6*45 $SPXE1PXFSFE1BSBNFUFSOBMZTJT GPS7JTVBM%FTJHOYQMPSBUJPO :VLJ,PZBNB%BJTVLF4BLBNPUP5BLFP*HBSBTIJ Not Good Good Parameter Space Suggested Designs Visualization User’s Edit Interactive Optimization Not Good Good Parameter Space Suggested Designs Visualization User’s Edit Interactive Optimization
  2. 2. )PXDBODPNQVUBUJPOIFMQEFTJHO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  3. 3. )PXDBODPNQVUBUJPOIFMQEFTJHO 5BSHFUEFTJHOFYQMPSBUJPOCZQBSBNFUFSUXFBLJOH $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  4. 4. )PXDBODPNQVUBUJPOIFMQEFTJHO 5BSHFUEFTJHOFYQMPSBUJPOCZQBSBNFUFSUXFBLJOH 7JEFP $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  5. 5. 0VSQQSPBDI OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT *OUSPEVDFVTFSJOUFSGBDFTGPSEFTJHOFYQMPSBUJPO 4NBSU4VHHFTUJPO 7JT0QU4MJEFS $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  6. 6. 0VSQQSPBDI OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT *OUSPEVDFVTFSJOUFSGBDFTGPSEFTJHOFYQMPSBUJPO 4NBSU4VHHFTUJPO 7JT0QU4MJEFS $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  7. 7. 0VSQQSPBDI OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT *OUSPEVDFVTFSJOUFSGBDFTGPSEFTJHOFYQMPSBUJPO 4NBSU4VHHFTUJPO 7JT0QU4MJEFS $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  8. 8. 8PSLPX $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  9. 9. Design Task design parameters $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  10. 10. Design Task Analysis design parameters parameter space parameter 1 parameter 2 $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  11. 11. Design Task Analysis design parameters parameter space parameter 1 parameter 2 $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  12. 12. Design Task Analysis design parameters parameter space parameter 1 parameter 2 crowd workers $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  13. 13. Design Task Analysis design parameters parameter space 7JEFP parameter 1 parameter 2 crowd workers $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  14. 14. Design Task Analysis design parameters not good good parameter space parameter 1 parameter 2 crowd workers $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  15. 15. Design Task Analysis design parameters f : n not good good parameter space parameter 1 parameter 2 crowd workers $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  16. 16. Design Task Analysis f : n User Interface VisOpt Slider design parameters not good good parameter space parameter 1 parameter 2 crowd workers $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  17. 17. %FNP 6TFS*OUFSGBDF $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  18. 18. 3FBM5JNF%FNP $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  19. 19. 3FMBUFE8PSL $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  20. 20. $PMMBCPSBUJWF,OPXMFEHFGPS%FTJHO 6UJMJ[FEJTUSJCVUJPOPG VTFSDSFBUFEHPPEEFTJHOT à /PUEFTJHOFEGPSPOEFNBOEBOBMZTJT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 5BMUPO 7PZBOU9V (BUIFSGFFECBDLGPSBDFSUBJOEFTJHO à/PUFYQMPSBUJPOPGQBSBNFUFSTQBDF
  21. 21. $PMMBCPSBUJWF,OPXMFEHFGPS%FTJHO 6UJMJ[FEJTUSJCVUJPOPG VTFSDSFBUFEHPPEEFTJHOT à /PUEFTJHOFEGPSPOEFNBOEBOBMZTJT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 5BMUPO 7PZBOU9V (BUIFSGFFECBDLGPSBDFSUBJOEFTJHO à/PUFYQMPSBUJPOPGQBSBNFUFSTQBDF
  22. 22. $SPXE1PXFSFEOBMZTJTPG%FTJHO4QBDFT 'POU0ˏ%POPWBO 7JFX%JSFDUJPO4FDPSE 8FC3FJOFDLF à 6TFEPNBJOTQFDJDLOPXMFEHF /PUF0VSTJTBQQMJDBCMFUPBSCJUSBSZEFTJHOTQBDFT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  23. 23. $SPXE1PXFSFEOBMZTJTPG%FTJHO4QBDFT 'POU0ˏ%POPWBO 7JFX%JSFDUJPO4FDPSE 8FC3FJOFDLF à 6TFEPNBJOTQFDJDLOPXMFEHF /PUF0VSTJTBQQMJDBCMFUPBSCJUSBSZEFTJHOTQBDFT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  24. 24. 4VHHFTUJWF*OUFSGBDF %FTJHO(BMMFSJFT.BSLT #SBJOTUPSNGUFSFDUT à/PUCBTFEPOIVNBOˏTBFTUIFUJDT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  25. 25. 4MJEFS*OUFSGBDF WJTVBMJ[FEFTJHOQSFWJFXT WJTVBMJ[FSFMBUFEEBUB 4JEF7JFXT5FSSZ 4DFOUFE8JEHFU8JMMFUU à ˑ3BX˒JOGPSNBUJPO OPUHPPEOFTTWBMVFT à/PPQUJNJ[BUJPOGVODUJPO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  26. 26. 4MJEFS*OUFSGBDF WJTVBMJ[FEFTJHOQSFWJFXT WJTVBMJ[FSFMBUFEEBUB 4JEF7JFXT5FSSZ 4DFOUFE8JEHFU8JMMFUU à ˑ3BX˒JOGPSNBUJPO OPUHPPEOFTTWBMVFT à/PPQUJNJ[BUJPOGVODUJPO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  27. 27. 4MJEFS*OUFSGBDF WJTVBMJ[FEFTJHOQSFWJFXT WJTVBMJ[FSFMBUFEEBUB 4JEF7JFXT5FSSZ 4DFOUFE8JEHFU8JMMFUU à ˑ3BX˒JOGPSNBUJPO OPUHPPEOFTTWBMVFT à/PPQUJNJ[BUJPOGVODUJPO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  28. 28. OBMZTJT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  29. 29. OBMZTJT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 4BNQMJOH 1BSBNFUFS4FUT (BUIFSJOH1BJSXJTF $PNQBSJTPOT TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT 'JUUJOHB(PPEOFTT 'VODUJPO TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT TBNQMJOH QPJOUT QBJSXJTF DPNQBSJTPO HPPEOFTT FTUJNBUJPO POQPJOUT HPPEOFTT FTUJNBUJPO DPOUJOVPVT
  30. 30. OBMZTJT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 4BNQMJOH 1BSBNFUFS4FUT (BUIFSJOH1BJSXJTF $PNQBSJTPOT TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT 'JUUJOHB(PPEOFTT 'VODUJPO TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT TBNQMJOH QPJOUT QBJSXJTF DPNQBSJTPO HPPEOFTT FTUJNBUJPO POQPJOUT HPPEOFTT FTUJNBUJPO DPOUJOVPVT
  31. 31. OBMZTJT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 4BNQMJOH 1BSBNFUFS4FUT (BUIFSJOH1BJSXJTF $PNQBSJTPOT TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT 'JUUJOHB(PPEOFTT 'VODUJPO TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT TBNQMJOH QPJOUT QBJSXJTF DPNQBSJTPO HPPEOFTT FTUJNBUJPO POQPJOUT HPPEOFTT FTUJNBUJPO DPOUJOVPVT
  32. 32. 4BNQMJOH 1BSBNFUFS4FUT (BUIFSJOH1BJSXJTF $PNQBSJTPOT crowd workers TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT 'JUUJOHB(PPEOFTT 'VODUJPO TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT TBNQMJOH QPJOUT QBJSXJTF DPNQBSJTPO HPPEOFTT FTUJNBUJPO POQPJOUT HPPEOFTT FTUJNBUJPO DPOUJOVPVT OBMZTJT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  33. 33. OBMZTJT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 4BNQMJOH 1BSBNFUFS4FUT (BUIFSJOH1BJSXJTF $PNQBSJTPOT TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT 'JUUJOHB(PPEOFTT 'VODUJPO TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT TBNQMJOH QPJOUT QBJSXJTF DPNQBSJTPO HPPEOFTT FTUJNBUJPO POQPJOUT HPPEOFTT FTUJNBUJPO DPOUJOVPVT -FBTUTRVBSFNFUIPE
  34. 34. OBMZTJT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 4BNQMJOH 1BSBNFUFS4FUT (BUIFSJOH1BJSXJTF $PNQBSJTPOT TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT 'JUUJOHB(PPEOFTT 'VODUJPO TUJNBUJOH(PPEOFTT 7BMVFTPG1PJOUT TBNQMJOH QPJOUT QBJSXJTF DPNQBSJTPO HPPEOFTT FTUJNBUJPO POQPJOUT HPPEOFTT FTUJNBUJPO DPOUJOVPVT 3#'JOUFSQPMBUJPO à4FFUIFQBQFSGPSEFUBJMT
  35. 35. 6TFS*OUFSGBDF $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  36. 36. 6TFS*OUFSGBDF4NBSU4VHHFTUJPO 4VHHFTUJPOTCBTFEPOHPPEOFTT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  37. 37. 6TFS*OUFSGBDF4NBSU4VHHFTUJPO *NQMFNFOUBUJPO (FOFSBUFEFTJHOT SBOEPNMZ 4IPXCFTUEFTJHOT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  38. 38. 6TFS*OUFSGBDF7JT0QU4MJEFS $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO xi xj xi xj 7JTVBMJ[BUJPO 7JT
  39. 39. 6TFS*OUFSGBDF7JT0QU4MJEFS $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO xi xj xi xj 7JTVBMJ[BUJPO 7JT DVSSFOUQBSBNFUFS
  40. 40. 6TFS*OUFSGBDF7JT0QU4MJEFS $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO xi xj xi xj 7JTVBMJ[BUJPO 7JT
  41. 41. 6TFS*OUFSGBDF7JT0QU4MJEFS $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO xi xj xi xj 7JTVBMJ[BUJPO 7JT
  42. 42. 6TFS*OUFSGBDF7JT0QU4MJEFS 7JTVBMJ[BUJPO 7JT
  43. 43. 0QUJNJ[BUJPO 0QU VUPNBUJD $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO xi xj xi xj BEKVTUNFOU 6TFSˏTFEJU
  44. 44. QQMJDBUJPOT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  45. 45. QQMJDBUJPO $PMPS$PSSFDUJPO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO QBSBNFUFSTJOUPUBM 7JEFP
  46. 46. 7JEFP $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  47. 47. QQMJDBUJPO $BNFSB-JHIU (PBM OEBHPPEWJFX QBSBNFUFSTJOUPUBM $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO Y Z [ JOUFOTJUZ Y Z [ GPW
  48. 48. QQMJDBUJPO $BNFSB-JHIU (PBM OEBHPPEWJFX QBSBNFUFSTJOUPUBM $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO Y Z [ JOUFOTJUZ Y Z [ GPW
  49. 49. 7JEFP $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  50. 50. QQMJDBUJPO 4IBEFS QQFBSBODF 5BTLEFTJHOJOHBQQFBSBODFPGTUBJOMFTTUFBQPU 7JEFP $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  51. 51. QQMJDBUJPO 4IBEFS QQFBSBODF 5BTLEFTJHOJOHBQQFBSBODFPGTUBJOMFTTUFBQPU $SJUFSJBˑSFBMJTUJD˒BTTUBJOMFTT QBSBNFUFSTJOUPUBM h)JTGPS)PNF FHTUBJOMFTT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  52. 52. 7JEFP $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  53. 53. QQMJDBUJPO 'BDJBMYQSFTTJPO #MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST 7JEFP $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  54. 54. QQMJDBUJPO 'BDJBMYQSFTTJPO #MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST 3BOEPNEFTJHOT à.PTUEFTJHOTBSFVOOBUVSBM CSPLFO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  55. 55. QQMJDBUJPO 'BDJBMYQSFTTJPO #MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO $SJUFSJBOBUVSBM OPUCSPLFO QBSBNFUFSTJOUPUBM
  56. 56. 7JEFP $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  57. 57. QQMJDBUJPO 'BDJBMYQSFTTJPO OPUOBUVSBM OBUVSBM 00..1155 00..3311 00..4499 00..6611 0.88 àDIJFWFEWJTVBMMZQMBVTJCMFFTUJNBUJPO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  58. 58. QQMJDBUJPO4UBUJTUJDT $PMPS $PSSFDUJPO $BNFSB -JHIU 4IBEFS 'BDJBM YQSFTTJPO QBSBNFUFST DSJUFSJB HPPE HPPE SFBMJTUJD OBUVSBM DPNQBSJTPOT UPUBMDPTU 64% 64% 64% 64% UPUBMUJNF NJO NJO NJO NJO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  59. 59. WBMVBUJPO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  60. 60. WBMVBUJPOOBMZTJT $POWFSHFODF XSUDPNQBSJTPOT $SPTT7BMJEBUJPO ̔4FFUIFQBQFSGPSEFUBJMT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  61. 61. WBMVBUJPO6TFS*OUFSGBDFT 6TFSTUVEZ BTLFETUVEFOUTUPVTFPVSJOUFSGBDFT 4ZTUFN6TBCJMJUZ4DBMF#BOHPS àˑHPPE˒ WFSBHF 4% ̔4FFUIFQBQFSGPSEFUBJMT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  62. 62. %JTDVTTJPO$PODMVTJPO $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  63. 63. -JNJUBUJPO • /FFESFDSPXETPVSDJOHXIFOUIFUBTL DIBOHFT • QQMJDBCMFUPPOMZDPOUJOVPVT QBSBNFUFST OPUEJTDSFUFPOFT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  64. 64. -JNJUBUJPO • /FFESFDSPXETPVSDJOHXIFOUIFUBTL DIBOHFT • QQMJDBCMFUPPOMZDPOUJOVPVT QBSBNFUFST OPUEJTDSFUFPOFT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  65. 65. -JNJUBUJPO • /FFESFDSPXETPVSDJOHXIFOUIFUBTL DIBOHFT • QQMJDBCMFUPPOMZDPOUJOVPVT QBSBNFUFST OPUEJTDSFUFPOFT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  66. 66. $PODMVTJPO • OBMZTJTPG BSCJUSBSZ EFTJHOTQBDFT CZVTJOHIVNBODPNQVUBUJPO • *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO 4NBSU4VHHFTUJPO 7JT0QU4MJEFS • FYBNQMFBQQMJDBUJPOT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  67. 67. $PODMVTJPO • OBMZTJTPG BSCJUSBSZ EFTJHOTQBDFT CZVTJOHIVNBODPNQVUBUJPO • *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO 4NBSU4VHHFTUJPO 7JT0QU4MJEFS • FYBNQMFBQQMJDBUJPOT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  68. 68. $PODMVTJPO • OBMZTJTPG BSCJUSBSZ EFTJHOTQBDFT CZVTJOHIVNBODPNQVUBUJPO • *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO 4NBSU4VHHFTUJPO 7JT0QU4MJEFS • FYBNQMFBQQMJDBUJPOT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  69. 69. $PODMVTJPO • OBMZTJTPG BSCJUSBSZ EFTJHOTQBDFT CZVTJOHIVNBODPNQVUBUJPO • *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO 4NBSU4VHHFTUJPO 7JT0QU4MJEFS • FYBNQMFBQQMJDBUJPOT $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  70. 70. 5IBOL:PV $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO Not Good Good Parameter Space Suggested Designs Visualization User’s Edit Interactive Optimization Not Good Good Parameter Space Suggested Designs Visualization User’s Edit Interactive Optimization
  71. 71. $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  72. 72. .JDSP5BTLGPS$SPXETPVSDJOH 8IBUJTUIFHPPEOFTTTDPSF ✗OB®WFBQQSPBDI BTLBCTPMVUFWBMVF • EJDVMUUPDPOTJTUFOUMZBOTXFSFWFSZUJNF • EJFSFOUTDBMFGPSFBDIXPSLFS $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
  73. 73. .JDSP5BTLGPS$SPXETPVSDJOH QBJSXJTFDPNQBSJTPO 4FDPSE(JOHPME$IBVEPIVSJ 8IJDIJTCFUUFS àFBTZGPSOPOFYQFSUT TVJUBCMFGPSDSPXETPVSDJOH $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO ✔
  74. 74. .JDSP5BTLGPS$SPXETPVSDJOH Which of the two images of OPVOis more BEKFDUJWF? For example, DMBVTF. Please choose the most appropriate one from the 5 options below. $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO YBNQMFPGVTFSˏTTQFDJDBUJPO OPVO vegetable BEKFDUJWF good DMBVTF suppose that you had to choose one of these two images to appear in a magazine or product advertisement
  75. 75. .JDSP5BTLGPS$SPXETPVSDJOH $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 2
  76. 76. 2VBMJUZ$POUSPM ˑ%VQMJDBUF˒BQQSPBDI4FDPSE (JOHPME $IBVEIVSJ $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO 2 2 %FUFDUDPOUSBEJDUJPO
  77. 77. 2VBMJUZ$POUSPM ˑ%VQMJDBUF˒BQQSPBDI4FDPSE(JOHPME$IBVEIVSJ TLRVFTUJPOTSTU TLUIFTBNFRVFTUJPOTXJUIJQQFEBSSBOHFNFOUT *GBQBJSPGBOTXFSTJTDPOUSBEJDUFE $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO àEJTDBSEUIFN *GPWFSIBMGBOTXFSTBSFDPOUSBEJDUFE àEJTDBSEBMMPGUIFN
  78. 78. $SPXETPVSDJOH)VNBO$PNQVUBUJPO $SPXE1PXFSFE )VNBO$PNQVUBUJPO $SPXETPVSDJOHBTLDSPXEXPSLFSTUPEPTPNFUBTLT )VNBO$PNQVUBUJPOBTTVNFIVNBOBTBQSPDFTTPS $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO )VNBO@ $PNQVUBUJPO@ @$SPXETPVSDJOH àTFF2VJOOGPSEFUBJMT

×