This document describes a crowd-powered approach to analyzing design spaces and exploring visual design parameters. It involves analyzing a design space by sampling parameter sets and gathering pairwise comparisons from crowd workers to estimate goodness values for points. User interfaces like a smart suggestion interface and VisOpt slider are introduced to facilitate design exploration based on the estimated goodness function.

1. 6*45
$SPXE1PXFSFE1BSBNFUFSOBMZTJT
GPS7JTVBM%FTJHOYQMPSBUJPO
:VLJ,PZBNB%BJTVLF4BLBNPUP5BLFP*HBSBTIJ
Not Good Good
Parameter Space Suggested Designs
Visualization
User’s Edit
Interactive
Optimization
Not Good Good
Parameter Space Suggested Designs
Visualization
User’s Edit
Interactive
Optimization

2. )PXDBODPNQVUBUJPOIFMQEFTJHO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

3. )PXDBODPNQVUBUJPOIFMQEFTJHO
5BSHFUEFTJHOFYQMPSBUJPOCZQBSBNFUFSUXFBLJOH
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

4. )PXDBODPNQVUBUJPOIFMQEFTJHO
5BSHFUEFTJHOFYQMPSBUJPOCZQBSBNFUFSUXFBLJOH
7JEFP
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

5. 0VSQQSPBDI
OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO
TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT
*OUSPEVDFVTFSJOUFSGBDFTGPSEFTJHOFYQMPSBUJPO
4NBSU4VHHFTUJPO
7JT0QU4MJEFS
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

6. 0VSQQSPBDI
OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO
TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT
*OUSPEVDFVTFSJOUFSGBDFTGPSEFTJHOFYQMPSBUJPO
4NBSU4VHHFTUJPO
7JT0QU4MJEFS
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

7. 0VSQQSPBDI
OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO
TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT
*OUSPEVDFVTFSJOUFSGBDFTGPSEFTJHOFYQMPSBUJPO
4NBSU4VHHFTUJPO
7JT0QU4MJEFS
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

8. 8PSLPX
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

9. Design Task
design parameters
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

10. Design Task Analysis
design parameters
parameter space
parameter 1
parameter 2
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

11. Design Task Analysis
design parameters
parameter space
parameter 1
parameter 2
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

12. Design Task Analysis
design parameters
parameter space
parameter 1
parameter 2
crowd workers
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

13. Design Task Analysis
design parameters
parameter space
7JEFP
parameter 1
parameter 2
crowd workers
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

14. Design Task Analysis
design parameters
not good good
parameter space
parameter 1
parameter 2
crowd workers
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

15. Design Task Analysis
design parameters
f : n
not good good
parameter space
parameter 1
parameter 2
crowd workers
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

16. Design Task Analysis
f : n
User Interface
VisOpt Slider
design parameters
not good good
parameter space
parameter 1
parameter 2
crowd workers
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

17. %FNP 6TFS*OUFSGBDF
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

18. 3FBM5JNF%FNP
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

19. 3FMBUFE8PSL
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

20. $PMMBCPSBUJWF,OPXMFEHFGPS%FTJHO
6UJMJ[FEJTUSJCVUJPOPG
VTFSDSFBUFEHPPEEFTJHOT
à /PUEFTJHOFEGPSPOEFNBOEBOBMZTJT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
5BMUPO
7PZBOU9V
(BUIFSGFFECBDLGPSBDFSUBJOEFTJHO
à/PUFYQMPSBUJPOPGQBSBNFUFSTQBDF

21. $PMMBCPSBUJWF,OPXMFEHFGPS%FTJHO
6UJMJ[FEJTUSJCVUJPOPG
VTFSDSFBUFEHPPEEFTJHOT
à /PUEFTJHOFEGPSPOEFNBOEBOBMZTJT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
5BMUPO
7PZBOU9V
(BUIFSGFFECBDLGPSBDFSUBJOEFTJHO
à/PUFYQMPSBUJPOPGQBSBNFUFSTQBDF

22. $SPXE1PXFSFEOBMZTJTPG%FTJHO4QBDFT
'POU0ˏ%POPWBO 7JFX%JSFDUJPO4FDPSE 8FC3FJOFDLF
à 6TFEPNBJOTQFDJDLOPXMFEHF
/PUF0VSTJTBQQMJDBCMFUPBSCJUSBSZEFTJHOTQBDFT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

23. $SPXE1PXFSFEOBMZTJTPG%FTJHO4QBDFT
'POU0ˏ%POPWBO 7JFX%JSFDUJPO4FDPSE 8FC3FJOFDLF
à 6TFEPNBJOTQFDJDLOPXMFEHF
/PUF0VSTJTBQQMJDBCMFUPBSCJUSBSZEFTJHOTQBDFT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

24. 4VHHFTUJWF*OUFSGBDF
%FTJHO(BMMFSJFT.BSLT #SBJOTUPSNGUFSFDUT
à/PUCBTFEPOIVNBOˏTBFTUIFUJDT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

25. 4MJEFS*OUFSGBDF
WJTVBMJ[FEFTJHOQSFWJFXT WJTVBMJ[FSFMBUFEEBUB
4JEF7JFXT5FSSZ 4DFOUFE8JEHFU8JMMFUU
à ˑ3BX˒JOGPSNBUJPO OPUHPPEOFTTWBMVFT
à/PPQUJNJ[BUJPOGVODUJPO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

26. 4MJEFS*OUFSGBDF
WJTVBMJ[FEFTJHOQSFWJFXT WJTVBMJ[FSFMBUFEEBUB
4JEF7JFXT5FSSZ 4DFOUFE8JEHFU8JMMFUU
à ˑ3BX˒JOGPSNBUJPO OPUHPPEOFTTWBMVFT
à/PPQUJNJ[BUJPOGVODUJPO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

27. 4MJEFS*OUFSGBDF
WJTVBMJ[FEFTJHOQSFWJFXT WJTVBMJ[FSFMBUFEEBUB
4JEF7JFXT5FSSZ 4DFOUFE8JEHFU8JMMFUU
à ˑ3BX˒JOGPSNBUJPO OPUHPPEOFTTWBMVFT
à/PPQUJNJ[BUJPOGVODUJPO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

28. OBMZTJT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

29. OBMZTJT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
4BNQMJOH
1BSBNFUFS4FUT
(BUIFSJOH1BJSXJTF
$PNQBSJTPOT
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
'JUUJOHB(PPEOFTT
'VODUJPO
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
TBNQMJOH
QPJOUT
QBJSXJTF
DPNQBSJTPO
HPPEOFTT
FTUJNBUJPO
POQPJOUT
HPPEOFTT
FTUJNBUJPO
DPOUJOVPVT

30. OBMZTJT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
4BNQMJOH
1BSBNFUFS4FUT
(BUIFSJOH1BJSXJTF
$PNQBSJTPOT
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
'JUUJOHB(PPEOFTT
'VODUJPO
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
TBNQMJOH
QPJOUT
QBJSXJTF
DPNQBSJTPO
HPPEOFTT
FTUJNBUJPO
POQPJOUT
HPPEOFTT
FTUJNBUJPO
DPOUJOVPVT

31. OBMZTJT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
4BNQMJOH
1BSBNFUFS4FUT
(BUIFSJOH1BJSXJTF
$PNQBSJTPOT
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
'JUUJOHB(PPEOFTT
'VODUJPO
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
TBNQMJOH
QPJOUT
QBJSXJTF
DPNQBSJTPO
HPPEOFTT
FTUJNBUJPO
POQPJOUT
HPPEOFTT
FTUJNBUJPO
DPOUJOVPVT

32. 4BNQMJOH
1BSBNFUFS4FUT
(BUIFSJOH1BJSXJTF
$PNQBSJTPOT
crowd workers
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
'JUUJOHB(PPEOFTT
'VODUJPO
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
TBNQMJOH
QPJOUT
QBJSXJTF
DPNQBSJTPO
HPPEOFTT
FTUJNBUJPO
POQPJOUT
HPPEOFTT
FTUJNBUJPO
DPOUJOVPVT
OBMZTJT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

33. OBMZTJT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
4BNQMJOH
1BSBNFUFS4FUT
(BUIFSJOH1BJSXJTF
$PNQBSJTPOT
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
'JUUJOHB(PPEOFTT
'VODUJPO
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
TBNQMJOH
QPJOUT
QBJSXJTF
DPNQBSJTPO
HPPEOFTT
FTUJNBUJPO
POQPJOUT
HPPEOFTT
FTUJNBUJPO
DPOUJOVPVT
-FBTUTRVBSFNFUIPE

34. OBMZTJT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
4BNQMJOH
1BSBNFUFS4FUT
(BUIFSJOH1BJSXJTF
$PNQBSJTPOT
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
'JUUJOHB(PPEOFTT
'VODUJPO
TUJNBUJOH(PPEOFTT
7BMVFTPG1PJOUT
TBNQMJOH
QPJOUT
QBJSXJTF
DPNQBSJTPO
HPPEOFTT
FTUJNBUJPO
POQPJOUT
HPPEOFTT
FTUJNBUJPO
DPOUJOVPVT
3#'JOUFSQPMBUJPO
à4FFUIFQBQFSGPSEFUBJMT

35. 6TFS*OUFSGBDF
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

36. 6TFS*OUFSGBDF4NBSU4VHHFTUJPO
4VHHFTUJPOTCBTFEPOHPPEOFTT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

37. 6TFS*OUFSGBDF4NBSU4VHHFTUJPO
*NQMFNFOUBUJPO
(FOFSBUFEFTJHOT
SBOEPNMZ
4IPXCFTUEFTJHOT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

38. 6TFS*OUFSGBDF7JT0QU4MJEFS
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
xi
xj
xi
xj
7JTVBMJ[BUJPO 7JT

39. 6TFS*OUFSGBDF7JT0QU4MJEFS
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
xi
xj
xi
xj
7JTVBMJ[BUJPO 7JT
DVSSFOUQBSBNFUFS

40. 6TFS*OUFSGBDF7JT0QU4MJEFS
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
xi
xj
xi
xj
7JTVBMJ[BUJPO 7JT

41. 6TFS*OUFSGBDF7JT0QU4MJEFS
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
xi
xj
xi
xj
7JTVBMJ[BUJPO 7JT

42. 6TFS*OUFSGBDF7JT0QU4MJEFS
7JTVBMJ[BUJPO 7JT

43. 0QUJNJ[BUJPO 0QU
VUPNBUJD
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
xi
xj
xi
xj
BEKVTUNFOU
6TFSˏTFEJU

44. QQMJDBUJPOT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

45. QQMJDBUJPO
$PMPS$PSSFDUJPO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
QBSBNFUFSTJOUPUBM
7JEFP

46. 7JEFP
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

47. QQMJDBUJPO
$BNFSB-JHIU
(PBM
OEBHPPEWJFX
QBSBNFUFSTJOUPUBM
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
Y
Z
[
JOUFOTJUZ
Y
Z
[
GPW

48. QQMJDBUJPO
$BNFSB-JHIU
(PBM
OEBHPPEWJFX
QBSBNFUFSTJOUPUBM
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
Y
Z
[
JOUFOTJUZ
Y
Z
[
GPW

49. 7JEFP
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

50. QQMJDBUJPO
4IBEFS QQFBSBODF
5BTLEFTJHOJOHBQQFBSBODFPGTUBJOMFTTUFBQPU
7JEFP
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

51. QQMJDBUJPO
4IBEFS QQFBSBODF
5BTLEFTJHOJOHBQQFBSBODFPGTUBJOMFTTUFBQPU
$SJUFSJBˑSFBMJTUJD˒BTTUBJOMFTT
QBSBNFUFSTJOUPUBM
h)JTGPS)PNF
FHTUBJOMFTT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

52. 7JEFP
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

53. QQMJDBUJPO
'BDJBMYQSFTTJPO
#MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST
7JEFP
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

54. QQMJDBUJPO
'BDJBMYQSFTTJPO
#MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST
3BOEPNEFTJHOT
à.PTUEFTJHOTBSFVOOBUVSBM CSPLFO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

55. QQMJDBUJPO
'BDJBMYQSFTTJPO
#MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
$SJUFSJBOBUVSBM OPUCSPLFO
QBSBNFUFSTJOUPUBM

56. 7JEFP
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

57. QQMJDBUJPO
'BDJBMYQSFTTJPO
OPUOBUVSBM OBUVSBM
00..1155 00..3311 00..4499 00..6611 0.88
àDIJFWFEWJTVBMMZQMBVTJCMFFTUJNBUJPO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

58. QQMJDBUJPO4UBUJTUJDT
$PMPS
$PSSFDUJPO
$BNFSB
-JHIU
4IBEFS 'BDJBM
YQSFTTJPO
QBSBNFUFST
DSJUFSJB HPPE HPPE SFBMJTUJD OBUVSBM
DPNQBSJTPOT
UPUBMDPTU 64% 64% 64% 64%
UPUBMUJNF NJO NJO NJO NJO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

59. WBMVBUJPO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

60. WBMVBUJPOOBMZTJT
$POWFSHFODF XSUDPNQBSJTPOT
$SPTT7BMJEBUJPO
̔4FFUIFQBQFSGPSEFUBJMT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

61. WBMVBUJPO6TFS*OUFSGBDFT
6TFSTUVEZ
BTLFETUVEFOUTUPVTFPVSJOUFSGBDFT
4ZTUFN6TBCJMJUZ4DBMF#BOHPS
àˑHPPE˒ WFSBHF
4%
̔4FFUIFQBQFSGPSEFUBJMT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

62. %JTDVTTJPO$PODMVTJPO
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

63. -JNJUBUJPO
• /FFESFDSPXETPVSDJOHXIFOUIFUBTL
DIBOHFT
• QQMJDBCMFUPPOMZDPOUJOVPVT
QBSBNFUFST OPUEJTDSFUFPOFT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

64. -JNJUBUJPO
• /FFESFDSPXETPVSDJOHXIFOUIFUBTL
DIBOHFT
• QQMJDBCMFUPPOMZDPOUJOVPVT
QBSBNFUFST OPUEJTDSFUFPOFT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

65. -JNJUBUJPO
• /FFESFDSPXETPVSDJOHXIFOUIFUBTL
DIBOHFT
• QQMJDBCMFUPPOMZDPOUJOVPVT
QBSBNFUFST OPUEJTDSFUFPOFT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

66. $PODMVTJPO
• OBMZTJTPG BSCJUSBSZ
EFTJHOTQBDFT
CZVTJOHIVNBODPNQVUBUJPO
• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO
4NBSU4VHHFTUJPO
7JT0QU4MJEFS
• FYBNQMFBQQMJDBUJPOT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

67. $PODMVTJPO
• OBMZTJTPG BSCJUSBSZ
EFTJHOTQBDFT
CZVTJOHIVNBODPNQVUBUJPO
• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO
4NBSU4VHHFTUJPO
7JT0QU4MJEFS
• FYBNQMFBQQMJDBUJPOT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

68. $PODMVTJPO
• OBMZTJTPG BSCJUSBSZ
EFTJHOTQBDFT
CZVTJOHIVNBODPNQVUBUJPO
• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO
4NBSU4VHHFTUJPO
7JT0QU4MJEFS
• FYBNQMFBQQMJDBUJPOT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

69. $PODMVTJPO
• OBMZTJTPG BSCJUSBSZ
EFTJHOTQBDFT
CZVTJOHIVNBODPNQVUBUJPO
• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO
4NBSU4VHHFTUJPO
7JT0QU4MJEFS
• FYBNQMFBQQMJDBUJPOT
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

70. 5IBOL:PV
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
Not Good Good
Parameter Space Suggested Designs
Visualization
User’s Edit
Interactive
Optimization
Not Good Good
Parameter Space Suggested Designs
Visualization
User’s Edit
Interactive
Optimization

71. $SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

72. .JDSP5BTLGPS$SPXETPVSDJOH
8IBUJTUIFHPPEOFTTTDPSF
✗OB®WFBQQSPBDI BTLBCTPMVUFWBMVF
• EJDVMUUPDPOTJTUFOUMZBOTXFSFWFSZUJNF
• EJFSFOUTDBMFGPSFBDIXPSLFS
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO

73. .JDSP5BTLGPS$SPXETPVSDJOH
QBJSXJTFDPNQBSJTPO
4FDPSE(JOHPME$IBVEPIVSJ
8IJDIJTCFUUFS
àFBTZGPSOPOFYQFSUT
TVJUBCMFGPSDSPXETPVSDJOH
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
✔

74. .JDSP5BTLGPS$SPXETPVSDJOH
Which of the two images of OPVOis more BEKFDUJWF?
For example, DMBVTF.
Please choose the most appropriate one from the 5 options below.
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
YBNQMFPGVTFSˏTTQFDJDBUJPO
OPVO vegetable
BEKFDUJWF good
DMBVTF suppose that you had to choose one of these two images to
appear in a magazine or product advertisement

75. .JDSP5BTLGPS$SPXETPVSDJOH
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
2

76. 2VBMJUZ$POUSPM
ˑ%VQMJDBUF˒BQQSPBDI4FDPSE
(JOHPME
$IBVEIVSJ
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
2
2
%FUFDUDPOUSBEJDUJPO

77. 2VBMJUZ$POUSPM
ˑ%VQMJDBUF˒BQQSPBDI4FDPSE(JOHPME$IBVEIVSJ
TLRVFTUJPOTSTU
TLUIFTBNFRVFTUJPOTXJUIJQQFEBSSBOHFNFOUT
*GBQBJSPGBOTXFSTJTDPOUSBEJDUFE
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
àEJTDBSEUIFN
*GPWFSIBMGBOTXFSTBSFDPOUSBEJDUFE
àEJTDBSEBMMPGUIFN

78. $SPXETPVSDJOH)VNBO$PNQVUBUJPO
$SPXE1PXFSFE
)VNBO$PNQVUBUJPO
$SPXETPVSDJOHBTLDSPXEXPSLFSTUPEPTPNFUBTLT
)VNBO$PNQVUBUJPOBTTVNFIVNBOBTBQSPDFTTPS
$SPXE1PXFSFE1BSBNFUFSOBMZTJTGPS7JTVBM%FTJHOYQMPSBUJPO
)VNBO@
$PNQVUBUJPO@ @$SPXETPVSDJOH
àTFF2VJOOGPSEFUBJMT