SlideShare a Scribd company logo
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
DLゼミ
2024/6/3
阿部 拓真
北海道大学 大学院情報科学院
情報理工学コース 調和系工学研究室
修士2年 阿部 拓真
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
論文概要 2
タイトル
Generating Automatic Feedback on UI Mockups
with Large Language Models
著者
Peitong Duan, Jeremy Warner, Yang Li, Bjoern
Hartmann
発表
2024/5/11(CHI ’24)
リンク
https://dl.acm.org/doi/10.1145/3613904.3642782
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
論文要点(落合陽一方式) 3
どんなもの?
GPT-4を使ったFigmaプラグインで、UIモックアップの自動評価
とフィードバックを行うツールを作った
先行研究と比べてどこがすごいの?
人手を介さずに自動でUIを評価することができるところ
技術や手法の"キモ"はどこにある?
GPT4ベースをFigmaプラグインで実装。
UIをJSON形式に変換し、GPT-4がガイドライン違反を検出。
フィードバックを提供。
どうやって有効だと検証した?
51個のUIを対象に、3人のデザイナーがGPT-4の評価結果の正確
性と有用性を評価。また、12人のデザイナーによる手動評価と
比較し、さらに別の12人のデザイナーがこのツールを使用して
UIを反復的に改善する実験を行った。
議論はあるか?
まだ不完全。何回も修正した後に実行したフィードバックの有
効性は低下した。一部のフィードバックは曖昧で具体的な修正
案が不足しているし、GPT-4は一部のガイドラインに対しては
性能が低下した
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
イントロ 4
UIは機械と人間とどう相互作用するかを形成する重要な領域
UIデザインにはFBや修正を何回も反復する
FBを自動化することが可能になった
現在UI評価の1指標はヒューリスティック評価
時間をかけて開発された一連のデザインガイドラインに基づいてイン
ターフェイスをチェックするもの
簡単そうだけど評価者の過去の経験や正確に依存するためかなり主観
的
AIが支援する機会がありそう
LLMが自動化に適している理由はいくつかある
ルールベースの推論を含む
デザインガイドラインはテキスト形式
フィードバックを返せる
新しいタスクやデータに一般化できる能力がある
一方で注意も必要
テキストのみの入力だが実際は複雑なもの(画像なども含む)
LLMは虚偽の情報を出す
ハルシネーション
誤ったガイドライン違反を特定してしまうかも
本当に自動化できるか試してみた
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
研究の貢献内容 5
任意のデザインガイドラインを使用してUI
モックアップのヒューリスティック評価を自
動化するGPT-4を使用したFigmaプラグインの
作成
GPT-4のヒューリスティック評価を自動化す
る能力の調査。
このツールが見つけた違反と人間の専門家が
特定した違反の比較
このツールが既存のデザイン実践にどのよう
に適合するかの調査。
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
関連研究 6
AI強化デザインツール
デザインにおける生成AIの応用
AI強化ソフトテスト
アプリのバグ検出など
ヒューリスティックとデザインガイドライン
広く使用されているガイドラインセットのひとつに
Nielsenの10 Usability Heuristics
インタラクションデザインのための一般的な原則のセット
教科書やリソースからインターフェースに適した7つの視覚
デザイン原則に整理した
新しいガイドラインセットに適応するためには、人間
が解釈し、適用する必要があり、特に初心者のデザイ
ナーにとって時間がかかる
デザインFBのためのUI
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
システムの詳細(デザイン目標) 7
任意のUIプロトタイプに対応可能
ヒューリスティックに依存しない
様々なガイドラインやヒューリスティックを使用
可能に
LLMが検出したガイド違反は効果的に提示
LLMのフィードバックは批評されたデザイン
の文脈で提示
ギャップを狭めてデザイナーが解釈しやすくする
LLMが間違った場合フィードバックを隠すこ
とができるべき
LLMに閉じたことを送信
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
システムの詳細(処理手順) 8
UIをプロトタイプ、プラグインを実行
ヒューリスティック評価に使用するガイドライン
を選択
LLMが検出したすべての違反のテキスト説明とUI
スクリーンショットが渡される
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
システムの詳細(機能説明) 9
機能はこんなかんじ
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
システムの詳細(そのほか) 10
修正後再実行可能
プラグインにはテキストベースで情報を渡す
UIに関するセマンティック情報を伝えるため
に、レイヤーパネル内のグループに正確な名
前を付ける必要あり
ナビゲーションバー内のアイコングループには
「navbar」など
手動だと大変なので自動で補完するツールを作成
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
実装 11
Figma Plugin APIを使用してTypescriptで
実装
OpenAIのGPT-4にLLMクエリのAPIリク
エストを送信
LLMはテキストのみを入力として受け入
れることができるため、プラグインはUI
のJSON表現
当時既にマルチモーダルはあったが、
GPT-4のほうがはるかに性能が良かった
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
JSONについて 12
ツリー構造はUI全体の構成を示しており、UI要素が
リーフとして、小グループのグループとして中間
ノードとして表示
このJSONツリーの各ノードには、その要素またはグ
ループの意味情報および視覚データが含まれる
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
全体構造について 13
すべての不要または冗長な情報を削除し、冗
長な詳細を簡潔なJSON構造に凝縮(3)
LLMの応答はTypeScriptコード(5)によって
解析され、デザイナーにとって解釈可能な形
式にレンダリング(6)
役に立たなかった提案は次評価に組み込み
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
実際のプロンプト 14
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
LLM性能向上 15
GPT-4は性能が高いが、ファインチューニングを未サ
ポート、コンテキストウィンドウ制限もある(8.1k
トークン)
few shotやchain-of-thoughtができない
Figma UI JSONには3-5kトークン必要
ガイドラインは2k
なのでプロンプトに明示的な指示を追加して一般的
なミスを避けるようにした
最も確度の高い違反を返すようにtemperatureは0に
コンテキストウィンドウの残りスペースにはデザイ
ナーが非表示にした提案を割り当て
これらは次のプロンプトの会話履歴に組み込まれ、不正確
な提案の例として使用される
GPT-4が間違ってた理由を反省させてプロンプトと応
答を会話履歴に追加
自己反省は性能向上につながる
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
プロンプトエンジニアリング 16
複雑なプロンプトを簡素化できないか試行錯
誤
分析に12UIを使用
デザインの異なる側面をカバーする3つの
ヒューリスティックスセットを使用
LLMにプロンプトのバリエーションをクエリ
し、報告された違反の総数と役立つ違反の数
(著者の判断に基づく)を計算し、違反を定
性的にも検討
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
プロンプト: ワンコール 17
ヒューリスティック評価を実行するための1
つのLLMコールと、結果を建設的なフィード
バックに言い換えるためのもう1つのLLMコー
ルの2つを行うが、ひとつにまとめてみる
定量的には違反総数は変わらないが役立つ違
反数は減少
ワンコールでは出力が正しくフォーマットさ
れていない
GPT-4は修正方法などを省略することも
正しい出力フォーマットじゃないとだめなの
でまとめられない
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
プロンプト: ヒューリスティックなし 18
ヒューリスティックを省略して「視覚デザインの問題」、
「ユーザビリティの問題」、または「意味グループの問
題」を探すようにプロンプトを編集
ヒューリスティックスをプロンプトに含めなかった場合、
GPT-4が提供した提案の総数が少なく(50対63)、役立つ
提案の数もかなり少なかったこと(14対38)がわかる
ヒューリスティックスを通過させないと、グループメン
バーの意味的関連性に関する違反のみが発生し、ガイドラ
インを通過させると、見つかった問題のセットがより多様
になった
質が劣ると結論付けた
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
プロンプト: 一般的なUIフィードバック 19
特定の指示がないときのふるまい方を調査
プロンプト内の「ガイドライン」という言葉をすべて
削除し、「違反」を「フィードバック」に置き換え
定量的には、この条件のパフォーマンスは劣って
いた
質的には、GPT-4はある程度ヒューリスティック
評価を行った
より厳密で組織的な方法ではない
フィードバックの多様性に欠ける
多様な違反があっても1種類の問題に焦点を当て
がち
もっともらしい出力は生成できるが特定の指示与
えたほうが良い結果を得られると結論付けた
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
他のLLMを使った場合 20
Claude 2、GPT-3.5-turbo-16k、およびPaLM 2な
どの最新のLLMの可能性を探った
Llama 2は4kのコンテキストウィンドウサイズでこのタ
スクには不十分であるため除外
Claude 2、GPT-3.5-turbo-16k、およびPaLM 2は
すべて、GPT-4よりもはるかにパフォーマンスが
悪い
GPT-3.5-turbo-16kとPaLM 2はプロンプトの指示に従う
のが難しかった
パラメータ数的にGPT-4レベルがないと難しそう
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
研究方法 21
3つ実施
性能研究
3人のデザイナーが51の
UIモックアップについ
てGPT-4が生成した提案
の正確性と有用性を評
価
パフォーマンス指標を
確率
ヒューリスティック評
価研究
12人の専門家が6UIのガ
イドライン違反を手動
で特定するヒューリス
ティック評価を実施
インタビューで各々が
見つけた違反とGPT-4が
発見した違反を比較
反復利用研究
別の12人がツールを利
用して3UIを反復改良、
ツールがどう既存の仕
事に適合するかインタ
ビューで議論
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
モックアップの取得 22
FigmaコミュニティからUI取得
金融・eコマースなど様々なアプリカテゴリから
検索
ガイドラインに基づき改善の余地があるUIを
選出、GPT-4コンテキストウィンドウに収ま
るJson表現を持つものを選定
WebUIは大きすぎるのでモバイルUIのみ使用
各UIはレイヤーのグループ構造が見た目のグ
ループ構造と一致するように調整
レイヤーの名前のないグループに、意味的に
情報豊富な名前を自動生成するツールを使用
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
実験詳細: パフォーマンス研究 23
学術機関の広告を通し3人のデザイナーを募集
各参加者は3-4年のデザイン経験を所持
専門はモバイル/Web/プロダクト/UXデザイン
全参加者が同じ提案を見るために51UIのガイドライ
ン違反を事前計算
評価者間の一致度を算出可能
51UIを3グループに分割、各グループは1組のガイド
ラインを使用して評価
各参加者は1週間時間を与え、平均6.8hかかった
各提案には正確性を1-3で評価
1: 不正確, 2: 部分的に正確, 3: 正確
評価の簡単な1文説明を求めた
提案の有用性を1-5で評価
1: 全く有用でない, 5: 非常に有用
簡単な説明を求めた
すべてのGPT-4の提案、匿名化評価データ、説明、UI
JSONはデータセットとして補足資料で公開
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
実験詳細: ヒューリスティック研究 24
大手技術企業と学術機関で広告を出稿、12人
の参加者を収集
2人: 3年未満 6人: 3-5年 2人: 6-10年 1人: 15年
90分のリモートで実施、参加者は6UIのガイ
ドライン違反を探索
各UIに1組のガイドライン
前半75分: ヒューリスティック評価
違反内容とその説明
違反のユーザビリティの深刻度評価
12UIが使用、各UIについて6人がフィード
バックを生成
LLMの違反点と自分の違反点を比較
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
実験詳細: 反復使用研究 25
大手技術企業,学術機関で広告を出稿し参加者12人を募集
先程とは別グループ
1人: 3年未満 5人: 3-5年 3人: 6-10年 2人: 11-15年 1人: 32年以上
90分の対面orリモートで実施
3UIを提供
それぞれに対応するヒューリスティックが評価用に割り当てられてい
る
1回で1UIを処理
UI1,3: 1回の編集と2回の評価
UI2: 2回の編集と3回の評価
LLMの反復性能を評価するため
パフォーマンス研究で使用された指標に従ってGPT-4提案の正
確性と有用性を評価
有用な提案に基づきモックアップを編集
全体の再構築といった大量の作業が必要な修正はなし
UI修正後再度プラグインを実行、新しい提案について再評価
手動評価研究と同様に12UIセットを使用
評価はすべて同じガイドライン
評価者の一致度を評価するために、再び各UIの最初の回の提案
を事前に計算
全タスク終了後インタビューを実施
全体的な印象や潜在的欠点/危険性/反復使用の可能性/デザイン作業へ
の適合性について聞いた
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
定量評価: パフォーマンス研究 26
提案のうち52%が正確、19%が部分的に正確、29%が不正確
49%: 非常に有用or有用 15%: 部分的に有用 36%わずかに有用、全く有
用でない
差はCrowdCritの視覚ガイドラインで最も大きく、Semantic Groupingの
ガイドラインで最も小さい
平均評価はCrowdCritが正確性と有用性で優れており、特に有用性で大
きく上回った
Semantic Groupingは正確性で最も低い評価を受け、Nielsen Normanは
有用性で最も低い評価となった
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
個々のガイドライン毎の評価 27
正確性は、「再認識よりも想起」、「システムと現実の一致」、
および「一貫性と標準性」のユーザビリティヒューリスティッ
クで最も高い(図の上部緑部分)
「一貫性と標準性」の違反が有用
位置ずれやサイズ不一致など
「美的およびミニマリストデザイン」のガイドラインは一般的
に不正確(赤部分)
CrowdCritの「強調」の原則(オレンジ色)は二峰性で、「正
確」と「不正確」、「非常に有用」と「有用でない」評価の分
布がほぼ均等
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
評価者間の信頼性 28
Fleiss’ Kappaを使用して評価者間の信頼性を
計算
主観的な性質は既に研究済みなので、特徴づけを
行った
正確性の評価は一致度スコア0.112、有用性の評価
はスコア0.100であり、わずかな一致しか示してい
ない
このタスクの主観的な性質に加えて、提案の表現
の選択が一致度スコアを低下させる可能性も
「このグループのアイコンは、テキストラベルを追加す
ることでユーザーフレンドリーになる可能性がありま
す」→テキストラベルが必要かどうかについて主観的な
意見を求めており、評価者が合理的に意見を異にする可
能性があるため
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
定量評価:人間評価との比較 29
12人の専門家は12UIに対して72の異なるガイド
ライン違反を発見
時折ひとつの要素などに複数を組合わせて報告した内
容もある(アイコン間のスペースが一貫していない、ま
た下部メニューは中央ぞろえされていない)
個別に分割
91に違反に増加
GPT-4は同じものに対して38の有用な違反を発見
9つは人間が見逃していた
つまり
9違反: GPT-4のみ発見
29違反: どっちも発見
62違反: 人間のみが発見
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
定量評価:人間評価との比較 30
100違反からグランドトゥルースデータセットを構築
GPT-4の精度、再現率、F1パフォーマンス指標を計算(表2)
個々の人間評価者の平均パフォーマンスを計算
平均を取った(表2)
人間のほうがGPT-4より高い精度
平均精度が1未満なのは時折使用されているヒューリ
スティックに関係ない問題を発見したため
GPT-4は人間よりわずかに高い再現率、F1はわずかに
低いスコア
精度に比べたら全然小さい
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
定量評価: 反復利用研究 31
最初の結果は5.1(パフォーマンス研究)と同様
提案のうち52%が正確、28%が部分的に正確、
20%が不正確
47%: 非常に有用or有用 19%: 部分的に有用 34%わ
ずかに有用、全く有用でない
UI編集後は変わった
提案のうち39%が正確、26%が部分的に正確、
35%が不正確
33%: 非常に有用or有用 16%: 部分的に有用 51%わ
ずかに有用、全く有用でない
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
各ラウンドの反復ごとに与えられた評価 32
UIを編集した後のスコアの分布は何故か低くなった
提案に対する参加者の意見が反復的な再設計の過程で変化
した?
使用状況調査の反復のラウンドごとに与えられた評価を調
べた
図は、精度と有用性の両方について、ラウンドごと
に性能が低下する一般的な傾向を示している
この傾向はガイドラインと参加者別に分けた場合でも概ね
維持
提案の第1ラウンドに基づく平均評価者間信頼性スコアは提
案に対する専門家の意見の主観性を再び提示
正確さ0.155 有用性で0.085
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
定性評価: GPT-4の強さと弱点 33
インタビューの回答を分析
強み
絶妙な問題特定(12/12が回答)
見落としやすいやつをうまく見つけてく
れる(位置ずれなど)
図9 UI B
UIテキスト関係の問題修正(12/12)
専門用語多いなどの問題特定に有効
UIセマンティクス推論(8/12)
愛アテムを大きなグループを意味的に関
連する小さなグループに分割することな
ど
2人によってはGPT-4は賢い提案を
行ったと回答
よく構成されたデザインでは、
「Name:」、「Contact:」、および
「Location:」のテキストフィールドが
共通の線に沿って配置され、清潔で整
理された外観に寄与します。現在、こ
れらのフィールドの配置は視覚的一貫
性を向上させるために改善することが
できます。これを達成するために、こ
れらすべてのフィールドが同じ線に
沿って配置されるようにしてください。
(ガイドライン:配置)
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
定性評価: GPT-4の強さと弱点 34
弱み
ガイドラインの過剰適合
(12/12)
C部分
フィードバックの繰り返し
(6/12)
JSON表現の限界(8/12)
レンダリング済UI画像を処理
する必要のある違反を検出で
きない
図9 UI Dの例(実際は重なって
ないのに…)
曖昧な提案(5/12)
間違ったガイドラインが通
知されると同じ問題を説明
するために別ガイドライン
を選択することもある
複数の長方形を含むグラフィックデ
ザイングループにおいて、重なりを
効果的に使用することで、各長方形
が明確に区別され、その内容がはっ
きりと見えるようになります。現在、
長方形が重なり合っていて、それぞ
れを区別するのが難しい状態です。
これを改善するために、重なりを減
らし、視認性を向上させるために、
長方形の位置やサイズを調整するこ
とを検討してください。(ガイドラ
イン:効果的な重なりの使用)
理想的には、「FAVOURITES」の
下の線は、「ADS」(ラベル:
ADS)の下の線と同じ太さにす
るべきです。一貫性を保つため
です。現在、これら二つの線の
太さには違いがあります。これ
に対処するために、これらの線
の太さを一致させることを検討
してください。(ガイドライ
ン:一貫性の原則)
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
定性評価: 人間評価との比較 35
GPT-4のみが発見した違反(9%)
微妙なものでコントラストの悪さや明
瞭化が必要なテキストラベル、位置ず
れなど
新機能の追加を推奨するものもやって
いた
人間とGPT-4双方が発見した違反
(29%)
全部で29
15違反はテキストラベルに関連
明確化が必要なラベルやアイコン、要素、
グループ説明ラベルの不足
6違反は位置と整列に関連
4つは明白(図9Cのように位置ずれ要素が
散らばっている)
ほかにはUIテキストや図9Aの階層的サ
ブグループ化違反
「理想的には、「メニュー」と名付けられたグループは、
お互いに明確に関連するサブグループを含むべきです。
例えば、サブグループはすべてアカウント設定やユー
ザープロファイル管理に関連するものにすることができ
ます。現在のデザインでは、「パスワード変更」、「旅
行代理店」、「チケット履歴」、「支払い」、「ヘルプ
センター」、および「設定」のサブグループは、統一さ
れたグループというよりも、アプリケーションのさまざ
まな機能のコレクションのように見えます。これを改善
するために、これらのサブグループを関連性を反映した
より一貫性のあるカテゴリに再編成することを検討して
ください。 (ガイドライン:関連グループメンバー)
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
36
人間のみが発見した違反(62%)
高レベルの問題が多い(つまり高度な視覚的問題、
複数の異なる問題など)
UIの目的とコンテキストが必要な11の高レベル問
題を発見
図10で比較(次スライド)
インタビュー所見
H6:「作業を半減できた」
H3: 「既に使えればよかったのに…」
手動に比べてGPT-4は徹底的
GPT-4は時折違反をよりよく説明可能と評価
手動で見逃した違反を見つけてくれて感謝された
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
図10:人間のみが発見した違反について 37
L1: 「インタラクティブフレームの
『詳細を上にスワイプ』とナビゲー
ションドットのグループに対して、
『詳細を上にスワイプ』というラベ
ルは、表示される詳細を明確に示す
べきです。現在のデザインではこの
明確さが欠けており、ユーザーに混
乱を招く可能性があります。改善す
るために、ユーザーがスワイプした
際に表示される詳細を具体的に示す
ことを検討してください。」
H1: 「これは取引画面のように見え
ますが、画面全体の焦点が大きな人
物の画像にあり、詳細がスワイプの
後ろに隠れているため、貴重な情報
を取得するのが難しくなっています。
インターフェースは、ユーザーの記
憶負荷を最小限に抑えることで改善
できます。」
H2: 「期待される基準は、グループに冗
長な機能を持つメンバーが含まれないこ
とです。現在の問題は、ヘッダーにプロ
フィール写真があり、フッターにプロ
フィールアイコンがあることで、どちら
も『プロフィール』ページに導く可能性
があることです。これにより、冗長な機
能が生じます。このギャップを解消する
ために、ヘッダーのプロフィール写真
(またはフッターのプロフィールアイコ
ン)を削除することを検討してくださ
い。」
H3: 「ラベルには『$27,632』と書かれて
いますが、これは睡眠の状況には関係が
ないようです。また、この特定のポイン
トが強調されている理由も、ユーザーの
操作によるものでない限り不明です。こ
れを修正するには、ラベルを就寝時間に
関連する適切なデータポイントに変更す
ることを検討してください。」
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
定性評価: デザイン作業への組み込み 38
実務に取り入れる方法とタイミング
9/12がツールを使用すると述べた
残り3人は不正確で曖昧な提案を理由に使わないと答えた
使ううちの3人は設計の初期段階、残りは後期に使うと述べ
た
設計の初期: 低精度プロトタイプのコンポーネント階層を決定する
作業, 初期コンセプト時
設計の後期: 初稿後のアライメント問題のチェック、エンジニアに
送る前のチェック、大幅変更後のミス発見、ユーザテスト中に
LLMの提案をテストする
反復使用などについて
7人は1回のみのチェックがいいと答えた
5人は反復使用がいいと答えた
プラグインのインタラクションデザインについて肯定的
要素名をクリックしてモックアップ内で選択できるのが好き
ガイドラインの言及が信頼性を高める
励みになる言葉づかいで嬉しい
柔軟性が好き
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
定性評価: デザイン作業への組み込み 39
潜在的な利用シーン
手間のかかる作業を省略できるところ
他人のデザインを評価
二次調査、ユーザビリティの最初のテスト
仮説になるけどアクセシビリティチェック、新人研修
にも?
ツールの危険性
エラーには人間が関与するため危険はない
デザインに問題があると思いこんじゃう
LLMを100%だと思っちゃう
専門家の監督下が望ましい
誤った提案は常識外れなのでわかるでしょという反論もあ
る
プラグインデザインに否定的なFBあり
LLM提案が冗長すぎる
1つの画面しか評価できない
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
議論:ヒューリスティック評価におけるGPT-4の実現可能性 40
定性的にわかった弱点は今後の研究によって対処
可能
定量的には正確で役立つと評価
パフォーマンスの低下については専門家が修正し
ているためガイドライン違反が減っているので
は?
LLMにとってタスク難易度が上昇。誤った違反を検出
した
反復利用で提案は有用でなくなるが、UIの視覚デ
ザインは顕著に上昇
反復利用にはまだまだ適していない
UIモックアップの品質以外にも使用するガイドラ
インにも依存する
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
議論:ヒューリスティック評価におけるGPT-4の実現可能性 41
CrowdCritについて
GPT-4は、正確さと有用性の両方で最も優れたパフォーマンスを発揮
数学的チェックに依存する特定の視覚デザインヒューリスティックが多く存在す
る
UI JSONに見られるレイアウト情報を使用して計算するのが簡単
中央ぞろえ、重なりを除く
LLMが問題を特定して修正するのに優れた能力を持つ、UIテキストの
正確さ(すなわち文法とスペル)もカバー
有用性については検出されたものが微妙な差異だった
参加者的には非常に有用だと感じた
Nielsen Norman 10 Usability Heuristicsについて
これが性能一番高くなると予想
Webで広く普及
GPT-4のデータにも含まれている
有用性でパフォーマンス悪かった
多くのヒューリスティックがインタラクションやフローに適用されるため(今回
の対象外)
「美的かつミニマリストデザイン」ヒューリスティックでは悪かった
ヒューリスティックが曖昧
他画面の文脈が提供されないと難しそう
GPT-4は「一貫性と標準」に関しては良好なパフォーマンスを発揮
一貫性をチェックするのみ
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
議論:ヒューリスティック評価におけるGPT-4の実現可能性 42
セマンティックなグループ化
最近開発されたセマンティックグルーピングガイ
ドラインに関するトレーニングデータの欠如が、
その低い精度を説明可能?
グループや要素の名前に影響される
自動化だとメンバーのラベルから決定される
画像などもラベル欠けるため自動ラベルの精度が
微妙?
セマンティックグルーピングでうまく機能しな
かった場合、それはおそらく不適切に注釈された
UIのため
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
議論: そのほか 43
LLMに関する一般的な洞察と今後の開発
自動ヒューリスティック評価タスクは非常に困難
強力な推論が可能なGPT-4が必要
LLMは急速に進化している
マルチモーダルなものや大きなコンテクストサイズが扱え
るやつなどなど
今後研究します
人間の評価者との比較
F1スコアで比較可能
人間のほうが精度が高い
UIのコンテキスト理解が優れていてより高レベルの違反を発
見できた
GPT-4はより徹底的で詳細かつ具体的
人間より多くの有用な問題を見つけた
GPT-4は詳細なエラーを見つけるのが得意
補完的な関係だと示唆
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
議論: そのほか 44
デザイン実務への適合性
現在の性能でも参加者はおおむね肯定的で実務に
使用する傾向にある
LLMの強みを考慮しデザイナーは様々な使用ケー
スを提案
高精度モックアップの微妙な視覚デザインエラーの発見
低精度デザイングループ構造の計画
自動化されたLLM駆動のヒューリスティック評価
ツールが実務で人間デザイナーをサポートする日
は近そう
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
性能限界と将来展望 45
LLMの意味論的ヒューリスティックの精度は、デザイナーが手動で要素
に追加する名前の品質に依存
コンテキストウィンドウの制限で1つの静的モバイルUI画面しか評価で
きない
デザイナーがアイデアからUIモックアップをデザインするより現実的
なシナリオでのプラグインの使用の影響は捉えていない
フィードバックの質のみとらえている
今後の研究では、LLMの提案、評価、その説明、UI JSONデータを使用
してLLMを微調整し、パフォーマンスを向上させることが可能
繰り返し提案に対処するために、それらを1つの長い提案にまとめるこ
とができるように、UI JSON内の同じタイプの要素を識別するためのエ
ンジニアリング作業が必要
UIスクリーンショットとJSON表現の両方を含むプロンプトを使用して、
最新のマルチモーダルモデル(例:GPT-4V)のパフォーマンスを評価
し、LLMのUIに対する視覚的理解が向上するかどうかを確認
より大きなコンテキストウィンドウのものだとどうなるかも評価
GPT-4 turbo
複数画面にわたるタスクフローなど
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
結論 46
Figmaモックアップのヒューリスティック評価を
自動化するためにLLMのプラグインを作った
タスクに適切なLLMをGPT-4と特定し、3人の専
門家がデザイン提案の正確性と有用性を評価した
人間が作った提案と比較もした
12人の専門家がツールを使ってUIを反復的に検討
して生成されたフィードバックを評価
ツールを実務にどう組み込めるか確かめた
結果役立つことは多いけど、反復使用で有用性が
低下
被験者はLLMのミスは問題にならず、実務に使う
んじゃない?と言った
ミスはすぐわかる
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
論文要点(落合陽一方式) 47
どんなもの?
GPT-4を使ったFigmaプラグインで、UIモックアップの自動評価
とフィードバックを行うツールを作った
先行研究と比べてどこがすごいの?
人手を介さずに自動でUIを評価することができるところ
技術や手法の"キモ"はどこにある?
GPT4ベースをFigmaプラグインで実装。
UIをJSON形式に変換し、GPT-4がガイドライン違反を検出。
フィードバックを提供。
どうやって有効だと検証した?
51個のUIを対象に、3人のデザイナーがGPT-4の評価結果の正確
性と有用性を評価。また、12人のデザイナーによる手動評価と
比較し、さらに別の12人のデザイナーがこのツールを使用して
UIを反復的に改善する実験を行った。
議論はあるか?
まだ不完全。何回も修正した後に実行したフィードバックの有
効性は低下した。一部のフィードバックは曖昧で具体的な修正
案が不足しているし、GPT-4は一部のガイドラインに対しては
性能が低下した

More Related Content

Similar to Generating Automatic Feedback on UI Mockups with Large Language Models

【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
harmonylab
 
Semi-Supervised Neural Architecture Search
Semi-Supervised Neural Architecture SearchSemi-Supervised Neural Architecture Search
Semi-Supervised Neural Architecture Search
harmonylab
 
2021 haizoku
2021 haizoku2021 haizoku
2021 haizoku
harmonylab
 
2021 haizoku
2021 haizoku2021 haizoku
2021 haizoku
harmonylab
 
A Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear GridA Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear Grid
harmonylab
 
Recursively Summarizing Books with Human Feedback
Recursively Summarizing Books with Human FeedbackRecursively Summarizing Books with Human Feedback
Recursively Summarizing Books with Human Feedback
harmonylab
 
Self-supervised Learning of Adversarial Example: Towards Good Generalizations...
Self-supervised Learning of Adversarial Example:Towards Good Generalizations...Self-supervised Learning of Adversarial Example:Towards Good Generalizations...
Self-supervised Learning of Adversarial Example: Towards Good Generalizations...
harmonylab
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
harmonylab
 
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
harmonylab
 
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
harmonylab
 
A Study on Clothing Recommendation Information Presentation System Based on C...
A Study on Clothing Recommendation Information Presentation System Based on C...A Study on Clothing Recommendation Information Presentation System Based on C...
A Study on Clothing Recommendation Information Presentation System Based on C...
harmonylab
 
Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...
Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...
Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...
harmonylab
 
2022年度調和系工学研究室配属説明会資料
2022年度調和系工学研究室配属説明会資料2022年度調和系工学研究室配属説明会資料
2022年度調和系工学研究室配属説明会資料
harmonylab
 
RAPiD
RAPiDRAPiD
RAPiD
harmonylab
 
深層強化学習による自動運転車両の追い越し行動の実現に関する研究
深層強化学習による自動運転車両の追い越し行動の実現に関する研究深層強化学習による自動運転車両の追い越し行動の実現に関する研究
深層強化学習による自動運転車両の追い越し行動の実現に関する研究
harmonylab
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
harmonylab
 
修士論文
修士論文修士論文
修士論文
harmonylab
 
深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究
harmonylab
 
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
harmonylab
 
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
harmonylab
 

Similar to Generating Automatic Feedback on UI Mockups with Large Language Models (20)

【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
 
Semi-Supervised Neural Architecture Search
Semi-Supervised Neural Architecture SearchSemi-Supervised Neural Architecture Search
Semi-Supervised Neural Architecture Search
 
2021 haizoku
2021 haizoku2021 haizoku
2021 haizoku
 
2021 haizoku
2021 haizoku2021 haizoku
2021 haizoku
 
A Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear GridA Study on Generation of Deformed Route Maps using Octilinear Grid
A Study on Generation of Deformed Route Maps using Octilinear Grid
 
Recursively Summarizing Books with Human Feedback
Recursively Summarizing Books with Human FeedbackRecursively Summarizing Books with Human Feedback
Recursively Summarizing Books with Human Feedback
 
Self-supervised Learning of Adversarial Example: Towards Good Generalizations...
Self-supervised Learning of Adversarial Example:Towards Good Generalizations...Self-supervised Learning of Adversarial Example:Towards Good Generalizations...
Self-supervised Learning of Adversarial Example: Towards Good Generalizations...
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
 
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
 
A Study on Clothing Recommendation Information Presentation System Based on C...
A Study on Clothing Recommendation Information Presentation System Based on C...A Study on Clothing Recommendation Information Presentation System Based on C...
A Study on Clothing Recommendation Information Presentation System Based on C...
 
Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...
Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...
Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...
 
2022年度調和系工学研究室配属説明会資料
2022年度調和系工学研究室配属説明会資料2022年度調和系工学研究室配属説明会資料
2022年度調和系工学研究室配属説明会資料
 
RAPiD
RAPiDRAPiD
RAPiD
 
深層強化学習による自動運転車両の追い越し行動の実現に関する研究
深層強化学習による自動運転車両の追い越し行動の実現に関する研究深層強化学習による自動運転車両の追い越し行動の実現に関する研究
深層強化学習による自動運転車両の追い越し行動の実現に関する研究
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
 
修士論文
修士論文修士論文
修士論文
 
深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究深層学習を用いたバス乗客画像の属性推定 に関する研究
深層学習を用いたバス乗客画像の属性推定 に関する研究
 
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
 
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
 

More from harmonylab

From Pretraining Data to Language Models to Downstream Tasks: Tracking the Tr...
From Pretraining Data to Language Models to Downstream Tasks:Tracking the Tr...From Pretraining Data to Language Models to Downstream Tasks:Tracking the Tr...
From Pretraining Data to Language Models to Downstream Tasks: Tracking the Tr...
harmonylab
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
harmonylab
 
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
harmonylab
 
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
harmonylab
 
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
harmonylab
 
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
harmonylab
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
harmonylab
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
harmonylab
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
harmonylab
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
harmonylab
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
harmonylab
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
harmonylab
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
harmonylab
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
harmonylab
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
harmonylab
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
harmonylab
 
A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...
harmonylab
 
Emotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GANEmotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GAN
harmonylab
 
Towards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly DetectionTowards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly Detection
harmonylab
 

More from harmonylab (19)

From Pretraining Data to Language Models to Downstream Tasks: Tracking the Tr...
From Pretraining Data to Language Models to Downstream Tasks:Tracking the Tr...From Pretraining Data to Language Models to Downstream Tasks:Tracking the Tr...
From Pretraining Data to Language Models to Downstream Tasks: Tracking the Tr...
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
 
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
 
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
 
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
 
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
 
A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...A Study on the Generation of Clothing Captions Highlighting the Differences b...
A Study on the Generation of Clothing Captions Highlighting the Differences b...
 
Emotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GANEmotionally Intelligent Fashion Design Using CNN and GAN
Emotionally Intelligent Fashion Design Using CNN and GAN
 
Towards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly DetectionTowards Total Recall in Industrial Anomaly Detection
Towards Total Recall in Industrial Anomaly Detection
 

Recently uploaded

20240717_IoTLT_vol113_kitazaki_v1___.pdf
20240717_IoTLT_vol113_kitazaki_v1___.pdf20240717_IoTLT_vol113_kitazaki_v1___.pdf
20240717_IoTLT_vol113_kitazaki_v1___.pdf
Ayachika Kitazaki
 
Matsuo-Iwasawa Lab. | Research unit Introduction
Matsuo-Iwasawa Lab. | Research unit IntroductionMatsuo-Iwasawa Lab. | Research unit Introduction
Matsuo-Iwasawa Lab. | Research unit Introduction
Matsuo Lab
 
【JSAI2024】J-NER大規模言語モデルのための固有表現認識における拡張固有表現階層を考慮したベンチマークデータセット.pdf
【JSAI2024】J-NER大規模言語モデルのための固有表現認識における拡張固有表現階層を考慮したベンチマークデータセット.pdf【JSAI2024】J-NER大規模言語モデルのための固有表現認識における拡張固有表現階層を考慮したベンチマークデータセット.pdf
【JSAI2024】J-NER大規模言語モデルのための固有表現認識における拡張固有表現階層を考慮したベンチマークデータセット.pdf
ARISE analytics
 
最速の組織を目指して全社で大規模スクラムを導入してみた話 #dxd2024 #medicalforce
最速の組織を目指して全社で大規模スクラムを導入してみた話 #dxd2024 #medicalforce最速の組織を目指して全社で大規模スクラムを導入してみた話 #dxd2024 #medicalforce
最速の組織を目指して全社で大規模スクラムを導入してみた話 #dxd2024 #medicalforce
chisatotakane
 
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ..."ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
たけおか しょうぞう
 
LoRaWAN AI Image Sensorエンドデバイス AIG01カタログ
LoRaWAN AI Image Sensorエンドデバイス AIG01カタログLoRaWAN AI Image Sensorエンドデバイス AIG01カタログ
LoRaWAN AI Image Sensorエンドデバイス AIG01カタログ
CRI Japan, Inc.
 
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit IntroductionMatsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo Lab
 
Developer IO 2024 Odyssey SAMを応用したコンピュータビジョンの話
Developer IO 2024 Odyssey  SAMを応用したコンピュータビジョンの話Developer IO 2024 Odyssey  SAMを応用したコンピュータビジョンの話
Developer IO 2024 Odyssey SAMを応用したコンピュータビジョンの話
Shinichi Hirauchi
 
【AI論文解説】クラスタリングベースアプローチによる大規模データセット自動キュレーション
【AI論文解説】クラスタリングベースアプローチによる大規模データセット自動キュレーション【AI論文解説】クラスタリングベースアプローチによる大規模データセット自動キュレーション
【AI論文解説】クラスタリングベースアプローチによる大規模データセット自動キュレーション
Sony - Neural Network Libraries
 

Recently uploaded (9)

20240717_IoTLT_vol113_kitazaki_v1___.pdf
20240717_IoTLT_vol113_kitazaki_v1___.pdf20240717_IoTLT_vol113_kitazaki_v1___.pdf
20240717_IoTLT_vol113_kitazaki_v1___.pdf
 
Matsuo-Iwasawa Lab. | Research unit Introduction
Matsuo-Iwasawa Lab. | Research unit IntroductionMatsuo-Iwasawa Lab. | Research unit Introduction
Matsuo-Iwasawa Lab. | Research unit Introduction
 
【JSAI2024】J-NER大規模言語モデルのための固有表現認識における拡張固有表現階層を考慮したベンチマークデータセット.pdf
【JSAI2024】J-NER大規模言語モデルのための固有表現認識における拡張固有表現階層を考慮したベンチマークデータセット.pdf【JSAI2024】J-NER大規模言語モデルのための固有表現認識における拡張固有表現階層を考慮したベンチマークデータセット.pdf
【JSAI2024】J-NER大規模言語モデルのための固有表現認識における拡張固有表現階層を考慮したベンチマークデータセット.pdf
 
最速の組織を目指して全社で大規模スクラムを導入してみた話 #dxd2024 #medicalforce
最速の組織を目指して全社で大規模スクラムを導入してみた話 #dxd2024 #medicalforce最速の組織を目指して全社で大規模スクラムを導入してみた話 #dxd2024 #medicalforce
最速の組織を目指して全社で大規模スクラムを導入してみた話 #dxd2024 #medicalforce
 
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ..."ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
 
LoRaWAN AI Image Sensorエンドデバイス AIG01カタログ
LoRaWAN AI Image Sensorエンドデバイス AIG01カタログLoRaWAN AI Image Sensorエンドデバイス AIG01カタログ
LoRaWAN AI Image Sensorエンドデバイス AIG01カタログ
 
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit IntroductionMatsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit Introduction
 
Developer IO 2024 Odyssey SAMを応用したコンピュータビジョンの話
Developer IO 2024 Odyssey  SAMを応用したコンピュータビジョンの話Developer IO 2024 Odyssey  SAMを応用したコンピュータビジョンの話
Developer IO 2024 Odyssey SAMを応用したコンピュータビジョンの話
 
【AI論文解説】クラスタリングベースアプローチによる大規模データセット自動キュレーション
【AI論文解説】クラスタリングベースアプローチによる大規模データセット自動キュレーション【AI論文解説】クラスタリングベースアプローチによる大規模データセット自動キュレーション
【AI論文解説】クラスタリングベースアプローチによる大規模データセット自動キュレーション
 

Generating Automatic Feedback on UI Mockups with Large Language Models

  • 1. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. DLゼミ 2024/6/3 阿部 拓真 北海道大学 大学院情報科学院 情報理工学コース 調和系工学研究室 修士2年 阿部 拓真
  • 2. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 論文概要 2 タイトル Generating Automatic Feedback on UI Mockups with Large Language Models 著者 Peitong Duan, Jeremy Warner, Yang Li, Bjoern Hartmann 発表 2024/5/11(CHI ’24) リンク https://dl.acm.org/doi/10.1145/3613904.3642782
  • 3. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 論文要点(落合陽一方式) 3 どんなもの? GPT-4を使ったFigmaプラグインで、UIモックアップの自動評価 とフィードバックを行うツールを作った 先行研究と比べてどこがすごいの? 人手を介さずに自動でUIを評価することができるところ 技術や手法の"キモ"はどこにある? GPT4ベースをFigmaプラグインで実装。 UIをJSON形式に変換し、GPT-4がガイドライン違反を検出。 フィードバックを提供。 どうやって有効だと検証した? 51個のUIを対象に、3人のデザイナーがGPT-4の評価結果の正確 性と有用性を評価。また、12人のデザイナーによる手動評価と 比較し、さらに別の12人のデザイナーがこのツールを使用して UIを反復的に改善する実験を行った。 議論はあるか? まだ不完全。何回も修正した後に実行したフィードバックの有 効性は低下した。一部のフィードバックは曖昧で具体的な修正 案が不足しているし、GPT-4は一部のガイドラインに対しては 性能が低下した
  • 4. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. イントロ 4 UIは機械と人間とどう相互作用するかを形成する重要な領域 UIデザインにはFBや修正を何回も反復する FBを自動化することが可能になった 現在UI評価の1指標はヒューリスティック評価 時間をかけて開発された一連のデザインガイドラインに基づいてイン ターフェイスをチェックするもの 簡単そうだけど評価者の過去の経験や正確に依存するためかなり主観 的 AIが支援する機会がありそう LLMが自動化に適している理由はいくつかある ルールベースの推論を含む デザインガイドラインはテキスト形式 フィードバックを返せる 新しいタスクやデータに一般化できる能力がある 一方で注意も必要 テキストのみの入力だが実際は複雑なもの(画像なども含む) LLMは虚偽の情報を出す ハルシネーション 誤ったガイドライン違反を特定してしまうかも 本当に自動化できるか試してみた
  • 5. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 研究の貢献内容 5 任意のデザインガイドラインを使用してUI モックアップのヒューリスティック評価を自 動化するGPT-4を使用したFigmaプラグインの 作成 GPT-4のヒューリスティック評価を自動化す る能力の調査。 このツールが見つけた違反と人間の専門家が 特定した違反の比較 このツールが既存のデザイン実践にどのよう に適合するかの調査。
  • 6. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 関連研究 6 AI強化デザインツール デザインにおける生成AIの応用 AI強化ソフトテスト アプリのバグ検出など ヒューリスティックとデザインガイドライン 広く使用されているガイドラインセットのひとつに Nielsenの10 Usability Heuristics インタラクションデザインのための一般的な原則のセット 教科書やリソースからインターフェースに適した7つの視覚 デザイン原則に整理した 新しいガイドラインセットに適応するためには、人間 が解釈し、適用する必要があり、特に初心者のデザイ ナーにとって時間がかかる デザインFBのためのUI
  • 7. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. システムの詳細(デザイン目標) 7 任意のUIプロトタイプに対応可能 ヒューリスティックに依存しない 様々なガイドラインやヒューリスティックを使用 可能に LLMが検出したガイド違反は効果的に提示 LLMのフィードバックは批評されたデザイン の文脈で提示 ギャップを狭めてデザイナーが解釈しやすくする LLMが間違った場合フィードバックを隠すこ とができるべき LLMに閉じたことを送信
  • 8. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. システムの詳細(処理手順) 8 UIをプロトタイプ、プラグインを実行 ヒューリスティック評価に使用するガイドライン を選択 LLMが検出したすべての違反のテキスト説明とUI スクリーンショットが渡される
  • 9. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. システムの詳細(機能説明) 9 機能はこんなかんじ
  • 10. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. システムの詳細(そのほか) 10 修正後再実行可能 プラグインにはテキストベースで情報を渡す UIに関するセマンティック情報を伝えるため に、レイヤーパネル内のグループに正確な名 前を付ける必要あり ナビゲーションバー内のアイコングループには 「navbar」など 手動だと大変なので自動で補完するツールを作成
  • 11. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 実装 11 Figma Plugin APIを使用してTypescriptで 実装 OpenAIのGPT-4にLLMクエリのAPIリク エストを送信 LLMはテキストのみを入力として受け入 れることができるため、プラグインはUI のJSON表現 当時既にマルチモーダルはあったが、 GPT-4のほうがはるかに性能が良かった
  • 12. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. JSONについて 12 ツリー構造はUI全体の構成を示しており、UI要素が リーフとして、小グループのグループとして中間 ノードとして表示 このJSONツリーの各ノードには、その要素またはグ ループの意味情報および視覚データが含まれる
  • 13. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 全体構造について 13 すべての不要または冗長な情報を削除し、冗 長な詳細を簡潔なJSON構造に凝縮(3) LLMの応答はTypeScriptコード(5)によって 解析され、デザイナーにとって解釈可能な形 式にレンダリング(6) 役に立たなかった提案は次評価に組み込み
  • 14. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 実際のプロンプト 14
  • 15. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. LLM性能向上 15 GPT-4は性能が高いが、ファインチューニングを未サ ポート、コンテキストウィンドウ制限もある(8.1k トークン) few shotやchain-of-thoughtができない Figma UI JSONには3-5kトークン必要 ガイドラインは2k なのでプロンプトに明示的な指示を追加して一般的 なミスを避けるようにした 最も確度の高い違反を返すようにtemperatureは0に コンテキストウィンドウの残りスペースにはデザイ ナーが非表示にした提案を割り当て これらは次のプロンプトの会話履歴に組み込まれ、不正確 な提案の例として使用される GPT-4が間違ってた理由を反省させてプロンプトと応 答を会話履歴に追加 自己反省は性能向上につながる
  • 16. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. プロンプトエンジニアリング 16 複雑なプロンプトを簡素化できないか試行錯 誤 分析に12UIを使用 デザインの異なる側面をカバーする3つの ヒューリスティックスセットを使用 LLMにプロンプトのバリエーションをクエリ し、報告された違反の総数と役立つ違反の数 (著者の判断に基づく)を計算し、違反を定 性的にも検討
  • 17. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. プロンプト: ワンコール 17 ヒューリスティック評価を実行するための1 つのLLMコールと、結果を建設的なフィード バックに言い換えるためのもう1つのLLMコー ルの2つを行うが、ひとつにまとめてみる 定量的には違反総数は変わらないが役立つ違 反数は減少 ワンコールでは出力が正しくフォーマットさ れていない GPT-4は修正方法などを省略することも 正しい出力フォーマットじゃないとだめなの でまとめられない
  • 18. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. プロンプト: ヒューリスティックなし 18 ヒューリスティックを省略して「視覚デザインの問題」、 「ユーザビリティの問題」、または「意味グループの問 題」を探すようにプロンプトを編集 ヒューリスティックスをプロンプトに含めなかった場合、 GPT-4が提供した提案の総数が少なく(50対63)、役立つ 提案の数もかなり少なかったこと(14対38)がわかる ヒューリスティックスを通過させないと、グループメン バーの意味的関連性に関する違反のみが発生し、ガイドラ インを通過させると、見つかった問題のセットがより多様 になった 質が劣ると結論付けた
  • 19. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. プロンプト: 一般的なUIフィードバック 19 特定の指示がないときのふるまい方を調査 プロンプト内の「ガイドライン」という言葉をすべて 削除し、「違反」を「フィードバック」に置き換え 定量的には、この条件のパフォーマンスは劣って いた 質的には、GPT-4はある程度ヒューリスティック 評価を行った より厳密で組織的な方法ではない フィードバックの多様性に欠ける 多様な違反があっても1種類の問題に焦点を当て がち もっともらしい出力は生成できるが特定の指示与 えたほうが良い結果を得られると結論付けた
  • 20. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 他のLLMを使った場合 20 Claude 2、GPT-3.5-turbo-16k、およびPaLM 2な どの最新のLLMの可能性を探った Llama 2は4kのコンテキストウィンドウサイズでこのタ スクには不十分であるため除外 Claude 2、GPT-3.5-turbo-16k、およびPaLM 2は すべて、GPT-4よりもはるかにパフォーマンスが 悪い GPT-3.5-turbo-16kとPaLM 2はプロンプトの指示に従う のが難しかった パラメータ数的にGPT-4レベルがないと難しそう
  • 21. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 研究方法 21 3つ実施 性能研究 3人のデザイナーが51の UIモックアップについ てGPT-4が生成した提案 の正確性と有用性を評 価 パフォーマンス指標を 確率 ヒューリスティック評 価研究 12人の専門家が6UIのガ イドライン違反を手動 で特定するヒューリス ティック評価を実施 インタビューで各々が 見つけた違反とGPT-4が 発見した違反を比較 反復利用研究 別の12人がツールを利 用して3UIを反復改良、 ツールがどう既存の仕 事に適合するかインタ ビューで議論
  • 22. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. モックアップの取得 22 FigmaコミュニティからUI取得 金融・eコマースなど様々なアプリカテゴリから 検索 ガイドラインに基づき改善の余地があるUIを 選出、GPT-4コンテキストウィンドウに収ま るJson表現を持つものを選定 WebUIは大きすぎるのでモバイルUIのみ使用 各UIはレイヤーのグループ構造が見た目のグ ループ構造と一致するように調整 レイヤーの名前のないグループに、意味的に 情報豊富な名前を自動生成するツールを使用
  • 23. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 実験詳細: パフォーマンス研究 23 学術機関の広告を通し3人のデザイナーを募集 各参加者は3-4年のデザイン経験を所持 専門はモバイル/Web/プロダクト/UXデザイン 全参加者が同じ提案を見るために51UIのガイドライ ン違反を事前計算 評価者間の一致度を算出可能 51UIを3グループに分割、各グループは1組のガイド ラインを使用して評価 各参加者は1週間時間を与え、平均6.8hかかった 各提案には正確性を1-3で評価 1: 不正確, 2: 部分的に正確, 3: 正確 評価の簡単な1文説明を求めた 提案の有用性を1-5で評価 1: 全く有用でない, 5: 非常に有用 簡単な説明を求めた すべてのGPT-4の提案、匿名化評価データ、説明、UI JSONはデータセットとして補足資料で公開
  • 24. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 実験詳細: ヒューリスティック研究 24 大手技術企業と学術機関で広告を出稿、12人 の参加者を収集 2人: 3年未満 6人: 3-5年 2人: 6-10年 1人: 15年 90分のリモートで実施、参加者は6UIのガイ ドライン違反を探索 各UIに1組のガイドライン 前半75分: ヒューリスティック評価 違反内容とその説明 違反のユーザビリティの深刻度評価 12UIが使用、各UIについて6人がフィード バックを生成 LLMの違反点と自分の違反点を比較
  • 25. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 実験詳細: 反復使用研究 25 大手技術企業,学術機関で広告を出稿し参加者12人を募集 先程とは別グループ 1人: 3年未満 5人: 3-5年 3人: 6-10年 2人: 11-15年 1人: 32年以上 90分の対面orリモートで実施 3UIを提供 それぞれに対応するヒューリスティックが評価用に割り当てられてい る 1回で1UIを処理 UI1,3: 1回の編集と2回の評価 UI2: 2回の編集と3回の評価 LLMの反復性能を評価するため パフォーマンス研究で使用された指標に従ってGPT-4提案の正 確性と有用性を評価 有用な提案に基づきモックアップを編集 全体の再構築といった大量の作業が必要な修正はなし UI修正後再度プラグインを実行、新しい提案について再評価 手動評価研究と同様に12UIセットを使用 評価はすべて同じガイドライン 評価者の一致度を評価するために、再び各UIの最初の回の提案 を事前に計算 全タスク終了後インタビューを実施 全体的な印象や潜在的欠点/危険性/反復使用の可能性/デザイン作業へ の適合性について聞いた
  • 26. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 定量評価: パフォーマンス研究 26 提案のうち52%が正確、19%が部分的に正確、29%が不正確 49%: 非常に有用or有用 15%: 部分的に有用 36%わずかに有用、全く有 用でない 差はCrowdCritの視覚ガイドラインで最も大きく、Semantic Groupingの ガイドラインで最も小さい 平均評価はCrowdCritが正確性と有用性で優れており、特に有用性で大 きく上回った Semantic Groupingは正確性で最も低い評価を受け、Nielsen Normanは 有用性で最も低い評価となった
  • 27. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 個々のガイドライン毎の評価 27 正確性は、「再認識よりも想起」、「システムと現実の一致」、 および「一貫性と標準性」のユーザビリティヒューリスティッ クで最も高い(図の上部緑部分) 「一貫性と標準性」の違反が有用 位置ずれやサイズ不一致など 「美的およびミニマリストデザイン」のガイドラインは一般的 に不正確(赤部分) CrowdCritの「強調」の原則(オレンジ色)は二峰性で、「正 確」と「不正確」、「非常に有用」と「有用でない」評価の分 布がほぼ均等
  • 28. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 評価者間の信頼性 28 Fleiss’ Kappaを使用して評価者間の信頼性を 計算 主観的な性質は既に研究済みなので、特徴づけを 行った 正確性の評価は一致度スコア0.112、有用性の評価 はスコア0.100であり、わずかな一致しか示してい ない このタスクの主観的な性質に加えて、提案の表現 の選択が一致度スコアを低下させる可能性も 「このグループのアイコンは、テキストラベルを追加す ることでユーザーフレンドリーになる可能性がありま す」→テキストラベルが必要かどうかについて主観的な 意見を求めており、評価者が合理的に意見を異にする可 能性があるため
  • 29. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 定量評価:人間評価との比較 29 12人の専門家は12UIに対して72の異なるガイド ライン違反を発見 時折ひとつの要素などに複数を組合わせて報告した内 容もある(アイコン間のスペースが一貫していない、ま た下部メニューは中央ぞろえされていない) 個別に分割 91に違反に増加 GPT-4は同じものに対して38の有用な違反を発見 9つは人間が見逃していた つまり 9違反: GPT-4のみ発見 29違反: どっちも発見 62違反: 人間のみが発見
  • 30. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 定量評価:人間評価との比較 30 100違反からグランドトゥルースデータセットを構築 GPT-4の精度、再現率、F1パフォーマンス指標を計算(表2) 個々の人間評価者の平均パフォーマンスを計算 平均を取った(表2) 人間のほうがGPT-4より高い精度 平均精度が1未満なのは時折使用されているヒューリ スティックに関係ない問題を発見したため GPT-4は人間よりわずかに高い再現率、F1はわずかに 低いスコア 精度に比べたら全然小さい
  • 31. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 定量評価: 反復利用研究 31 最初の結果は5.1(パフォーマンス研究)と同様 提案のうち52%が正確、28%が部分的に正確、 20%が不正確 47%: 非常に有用or有用 19%: 部分的に有用 34%わ ずかに有用、全く有用でない UI編集後は変わった 提案のうち39%が正確、26%が部分的に正確、 35%が不正確 33%: 非常に有用or有用 16%: 部分的に有用 51%わ ずかに有用、全く有用でない
  • 32. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 各ラウンドの反復ごとに与えられた評価 32 UIを編集した後のスコアの分布は何故か低くなった 提案に対する参加者の意見が反復的な再設計の過程で変化 した? 使用状況調査の反復のラウンドごとに与えられた評価を調 べた 図は、精度と有用性の両方について、ラウンドごと に性能が低下する一般的な傾向を示している この傾向はガイドラインと参加者別に分けた場合でも概ね 維持 提案の第1ラウンドに基づく平均評価者間信頼性スコアは提 案に対する専門家の意見の主観性を再び提示 正確さ0.155 有用性で0.085
  • 33. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 定性評価: GPT-4の強さと弱点 33 インタビューの回答を分析 強み 絶妙な問題特定(12/12が回答) 見落としやすいやつをうまく見つけてく れる(位置ずれなど) 図9 UI B UIテキスト関係の問題修正(12/12) 専門用語多いなどの問題特定に有効 UIセマンティクス推論(8/12) 愛アテムを大きなグループを意味的に関 連する小さなグループに分割することな ど 2人によってはGPT-4は賢い提案を 行ったと回答 よく構成されたデザインでは、 「Name:」、「Contact:」、および 「Location:」のテキストフィールドが 共通の線に沿って配置され、清潔で整 理された外観に寄与します。現在、こ れらのフィールドの配置は視覚的一貫 性を向上させるために改善することが できます。これを達成するために、こ れらすべてのフィールドが同じ線に 沿って配置されるようにしてください。 (ガイドライン:配置)
  • 34. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 定性評価: GPT-4の強さと弱点 34 弱み ガイドラインの過剰適合 (12/12) C部分 フィードバックの繰り返し (6/12) JSON表現の限界(8/12) レンダリング済UI画像を処理 する必要のある違反を検出で きない 図9 UI Dの例(実際は重なって ないのに…) 曖昧な提案(5/12) 間違ったガイドラインが通 知されると同じ問題を説明 するために別ガイドライン を選択することもある 複数の長方形を含むグラフィックデ ザイングループにおいて、重なりを 効果的に使用することで、各長方形 が明確に区別され、その内容がはっ きりと見えるようになります。現在、 長方形が重なり合っていて、それぞ れを区別するのが難しい状態です。 これを改善するために、重なりを減 らし、視認性を向上させるために、 長方形の位置やサイズを調整するこ とを検討してください。(ガイドラ イン:効果的な重なりの使用) 理想的には、「FAVOURITES」の 下の線は、「ADS」(ラベル: ADS)の下の線と同じ太さにす るべきです。一貫性を保つため です。現在、これら二つの線の 太さには違いがあります。これ に対処するために、これらの線 の太さを一致させることを検討 してください。(ガイドライ ン:一貫性の原則)
  • 35. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 定性評価: 人間評価との比較 35 GPT-4のみが発見した違反(9%) 微妙なものでコントラストの悪さや明 瞭化が必要なテキストラベル、位置ず れなど 新機能の追加を推奨するものもやって いた 人間とGPT-4双方が発見した違反 (29%) 全部で29 15違反はテキストラベルに関連 明確化が必要なラベルやアイコン、要素、 グループ説明ラベルの不足 6違反は位置と整列に関連 4つは明白(図9Cのように位置ずれ要素が 散らばっている) ほかにはUIテキストや図9Aの階層的サ ブグループ化違反 「理想的には、「メニュー」と名付けられたグループは、 お互いに明確に関連するサブグループを含むべきです。 例えば、サブグループはすべてアカウント設定やユー ザープロファイル管理に関連するものにすることができ ます。現在のデザインでは、「パスワード変更」、「旅 行代理店」、「チケット履歴」、「支払い」、「ヘルプ センター」、および「設定」のサブグループは、統一さ れたグループというよりも、アプリケーションのさまざ まな機能のコレクションのように見えます。これを改善 するために、これらのサブグループを関連性を反映した より一貫性のあるカテゴリに再編成することを検討して ください。 (ガイドライン:関連グループメンバー)
  • 36. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 36 人間のみが発見した違反(62%) 高レベルの問題が多い(つまり高度な視覚的問題、 複数の異なる問題など) UIの目的とコンテキストが必要な11の高レベル問 題を発見 図10で比較(次スライド) インタビュー所見 H6:「作業を半減できた」 H3: 「既に使えればよかったのに…」 手動に比べてGPT-4は徹底的 GPT-4は時折違反をよりよく説明可能と評価 手動で見逃した違反を見つけてくれて感謝された
  • 37. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 図10:人間のみが発見した違反について 37 L1: 「インタラクティブフレームの 『詳細を上にスワイプ』とナビゲー ションドットのグループに対して、 『詳細を上にスワイプ』というラベ ルは、表示される詳細を明確に示す べきです。現在のデザインではこの 明確さが欠けており、ユーザーに混 乱を招く可能性があります。改善す るために、ユーザーがスワイプした 際に表示される詳細を具体的に示す ことを検討してください。」 H1: 「これは取引画面のように見え ますが、画面全体の焦点が大きな人 物の画像にあり、詳細がスワイプの 後ろに隠れているため、貴重な情報 を取得するのが難しくなっています。 インターフェースは、ユーザーの記 憶負荷を最小限に抑えることで改善 できます。」 H2: 「期待される基準は、グループに冗 長な機能を持つメンバーが含まれないこ とです。現在の問題は、ヘッダーにプロ フィール写真があり、フッターにプロ フィールアイコンがあることで、どちら も『プロフィール』ページに導く可能性 があることです。これにより、冗長な機 能が生じます。このギャップを解消する ために、ヘッダーのプロフィール写真 (またはフッターのプロフィールアイコ ン)を削除することを検討してくださ い。」 H3: 「ラベルには『$27,632』と書かれて いますが、これは睡眠の状況には関係が ないようです。また、この特定のポイン トが強調されている理由も、ユーザーの 操作によるものでない限り不明です。こ れを修正するには、ラベルを就寝時間に 関連する適切なデータポイントに変更す ることを検討してください。」
  • 38. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 定性評価: デザイン作業への組み込み 38 実務に取り入れる方法とタイミング 9/12がツールを使用すると述べた 残り3人は不正確で曖昧な提案を理由に使わないと答えた 使ううちの3人は設計の初期段階、残りは後期に使うと述べ た 設計の初期: 低精度プロトタイプのコンポーネント階層を決定する 作業, 初期コンセプト時 設計の後期: 初稿後のアライメント問題のチェック、エンジニアに 送る前のチェック、大幅変更後のミス発見、ユーザテスト中に LLMの提案をテストする 反復使用などについて 7人は1回のみのチェックがいいと答えた 5人は反復使用がいいと答えた プラグインのインタラクションデザインについて肯定的 要素名をクリックしてモックアップ内で選択できるのが好き ガイドラインの言及が信頼性を高める 励みになる言葉づかいで嬉しい 柔軟性が好き
  • 39. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 定性評価: デザイン作業への組み込み 39 潜在的な利用シーン 手間のかかる作業を省略できるところ 他人のデザインを評価 二次調査、ユーザビリティの最初のテスト 仮説になるけどアクセシビリティチェック、新人研修 にも? ツールの危険性 エラーには人間が関与するため危険はない デザインに問題があると思いこんじゃう LLMを100%だと思っちゃう 専門家の監督下が望ましい 誤った提案は常識外れなのでわかるでしょという反論もあ る プラグインデザインに否定的なFBあり LLM提案が冗長すぎる 1つの画面しか評価できない
  • 40. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 議論:ヒューリスティック評価におけるGPT-4の実現可能性 40 定性的にわかった弱点は今後の研究によって対処 可能 定量的には正確で役立つと評価 パフォーマンスの低下については専門家が修正し ているためガイドライン違反が減っているので は? LLMにとってタスク難易度が上昇。誤った違反を検出 した 反復利用で提案は有用でなくなるが、UIの視覚デ ザインは顕著に上昇 反復利用にはまだまだ適していない UIモックアップの品質以外にも使用するガイドラ インにも依存する
  • 41. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 議論:ヒューリスティック評価におけるGPT-4の実現可能性 41 CrowdCritについて GPT-4は、正確さと有用性の両方で最も優れたパフォーマンスを発揮 数学的チェックに依存する特定の視覚デザインヒューリスティックが多く存在す る UI JSONに見られるレイアウト情報を使用して計算するのが簡単 中央ぞろえ、重なりを除く LLMが問題を特定して修正するのに優れた能力を持つ、UIテキストの 正確さ(すなわち文法とスペル)もカバー 有用性については検出されたものが微妙な差異だった 参加者的には非常に有用だと感じた Nielsen Norman 10 Usability Heuristicsについて これが性能一番高くなると予想 Webで広く普及 GPT-4のデータにも含まれている 有用性でパフォーマンス悪かった 多くのヒューリスティックがインタラクションやフローに適用されるため(今回 の対象外) 「美的かつミニマリストデザイン」ヒューリスティックでは悪かった ヒューリスティックが曖昧 他画面の文脈が提供されないと難しそう GPT-4は「一貫性と標準」に関しては良好なパフォーマンスを発揮 一貫性をチェックするのみ
  • 42. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 議論:ヒューリスティック評価におけるGPT-4の実現可能性 42 セマンティックなグループ化 最近開発されたセマンティックグルーピングガイ ドラインに関するトレーニングデータの欠如が、 その低い精度を説明可能? グループや要素の名前に影響される 自動化だとメンバーのラベルから決定される 画像などもラベル欠けるため自動ラベルの精度が 微妙? セマンティックグルーピングでうまく機能しな かった場合、それはおそらく不適切に注釈された UIのため
  • 43. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 議論: そのほか 43 LLMに関する一般的な洞察と今後の開発 自動ヒューリスティック評価タスクは非常に困難 強力な推論が可能なGPT-4が必要 LLMは急速に進化している マルチモーダルなものや大きなコンテクストサイズが扱え るやつなどなど 今後研究します 人間の評価者との比較 F1スコアで比較可能 人間のほうが精度が高い UIのコンテキスト理解が優れていてより高レベルの違反を発 見できた GPT-4はより徹底的で詳細かつ具体的 人間より多くの有用な問題を見つけた GPT-4は詳細なエラーを見つけるのが得意 補完的な関係だと示唆
  • 44. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 議論: そのほか 44 デザイン実務への適合性 現在の性能でも参加者はおおむね肯定的で実務に 使用する傾向にある LLMの強みを考慮しデザイナーは様々な使用ケー スを提案 高精度モックアップの微妙な視覚デザインエラーの発見 低精度デザイングループ構造の計画 自動化されたLLM駆動のヒューリスティック評価 ツールが実務で人間デザイナーをサポートする日 は近そう
  • 45. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 性能限界と将来展望 45 LLMの意味論的ヒューリスティックの精度は、デザイナーが手動で要素 に追加する名前の品質に依存 コンテキストウィンドウの制限で1つの静的モバイルUI画面しか評価で きない デザイナーがアイデアからUIモックアップをデザインするより現実的 なシナリオでのプラグインの使用の影響は捉えていない フィードバックの質のみとらえている 今後の研究では、LLMの提案、評価、その説明、UI JSONデータを使用 してLLMを微調整し、パフォーマンスを向上させることが可能 繰り返し提案に対処するために、それらを1つの長い提案にまとめるこ とができるように、UI JSON内の同じタイプの要素を識別するためのエ ンジニアリング作業が必要 UIスクリーンショットとJSON表現の両方を含むプロンプトを使用して、 最新のマルチモーダルモデル(例:GPT-4V)のパフォーマンスを評価 し、LLMのUIに対する視覚的理解が向上するかどうかを確認 より大きなコンテキストウィンドウのものだとどうなるかも評価 GPT-4 turbo 複数画面にわたるタスクフローなど
  • 46. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 結論 46 Figmaモックアップのヒューリスティック評価を 自動化するためにLLMのプラグインを作った タスクに適切なLLMをGPT-4と特定し、3人の専 門家がデザイン提案の正確性と有用性を評価した 人間が作った提案と比較もした 12人の専門家がツールを使ってUIを反復的に検討 して生成されたフィードバックを評価 ツールを実務にどう組み込めるか確かめた 結果役立つことは多いけど、反復使用で有用性が 低下 被験者はLLMのミスは問題にならず、実務に使う んじゃない?と言った ミスはすぐわかる
  • 47. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 論文要点(落合陽一方式) 47 どんなもの? GPT-4を使ったFigmaプラグインで、UIモックアップの自動評価 とフィードバックを行うツールを作った 先行研究と比べてどこがすごいの? 人手を介さずに自動でUIを評価することができるところ 技術や手法の"キモ"はどこにある? GPT4ベースをFigmaプラグインで実装。 UIをJSON形式に変換し、GPT-4がガイドライン違反を検出。 フィードバックを提供。 どうやって有効だと検証した? 51個のUIを対象に、3人のデザイナーがGPT-4の評価結果の正確 性と有用性を評価。また、12人のデザイナーによる手動評価と 比較し、さらに別の12人のデザイナーがこのツールを使用して UIを反復的に改善する実験を行った。 議論はあるか? まだ不完全。何回も修正した後に実行したフィードバックの有 効性は低下した。一部のフィードバックは曖昧で具体的な修正 案が不足しているし、GPT-4は一部のガイドラインに対しては 性能が低下した