Recommended
More Related Content
What's hot
What's hot (13)
Similar to クラウドソーシングにおける協調的な共同作業に対する組織構成システム
Similar to クラウドソーシングにおける協調的な共同作業に対する組織構成システム (20)
More from Okamoto Laboratory, The University of Electro-Communications
More from Okamoto Laboratory, The University of Electro-Communications (16)
クラウドソーシングにおける協調的な共同作業に対する組織構成システム
- 1. クラウドソーシングにおける協調的な共同作業 に対する組織構成システム 山本亮太 電気通信大学大学院 修士1年 情報理工学研究科 情報学専攻 岡本研究室 1/26 JSAI2021 2021.6.8
- 2. はじめに 一般的なクラウドソーシング – Ex) 機械学習のラベル付けなど – インターネットを通じて群衆（crowd） にタスクを依頼 – 事前にワークフローを定義 – ワーカが独立して作業する 協調的なクラウドソーシング – Ex) ソフトウェア開発，翻訳 – 複雑なタスク – 相互依存の強い作業 – 専門的な能力を持つワーカのチームを形成 タスク 群衆の力を結集 JSAI2021 2021.6.8 チーム単位での共同作業 2/26
- 3. クラウドソーシングの利点 – タスクの規模や性質によって動的に ヒューマンリソースの配分が可能 – 多様な専門性をもつワーカを採用 – 雇用関係に縛られない クラウドソーシングにおいて共同作業をする利点 – ワーカのモチベーションの向上 – お互いのスキルを補完 協調的なクラウドソーシングの利点 JSAI2021 2021.6.8 3/26
- 4. 協調的クラウドソーシングの課題① ワーカ同士が親密でなく，適切なコミュニケーションが取れなかった場合 – 情報共有の不足 – チーム内の不和 などが生じる可能性 「チームメンバー間の親密度はチーム作業のパフォーマンスに有意な効 果をもつ」[R.S. Hackman+, 2009] 協調性 ≒ コミュニケーションのとりやすさ JSAI2021 2021.6.8 ワーカ間の協調性を考慮 R.S. Hackman, B. R. Staats, D.M. Upton: Team Familiarity, Role Experience, and Performance, Management Science, 55(1), 85-100, 2009. 4/26
- 6. 関連研究① Lappasらの研究[T. Lappas+, 2009] ワーカの保有スキルを要件として専門家のチームを自動で形成 – 効果的な共同作業にはコミュニケーションの取りやすさが重要 – ノード：ワーカ，エッジ：協調コスト（コミュニケーションの取りにくさ） とするソーシャルネットワーク ex) 組織内の同僚，上司の関係 科学者の共同研究ネットワーク – ソーシャルネットワークの近傍で チーム形成 →チーム内でコミュニケーションが活発 JSAI2021 2021.6.8 6/26 T. Lappas, K. Liu, E. Terzi: Finding a team of experts in social networks, Proc. of the 15th ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining, 467–476, 2009.
- 7. 関連研究② Rahmanらの研究[H. Rahman+, 2015] ワーカの専門性，予算を要件として専門家のチームを自動で形成 – 共同作業を成功させる要素 ― ワーカ間の相性 ― チームメンバー数の制限 – ワーカ間の相性を「快適レベル」として定義 ex) 年齢，居住地等の近似度 – すべてのワーカ間で相性を数値化 – チームメンバー数が一定値以下にするために，形成したチームを分割 JSAI2021 2021.6.8 7/26 H. Rahman, S. B. Roy, S. Thirumuruganathan, S. Amer-Yahia, G. Das: Task assignment optimization in collaborative crowdsourcing, Proc. of the 2015 IEEE Int. Conf. on Data Mining, 949–954, 2015.
- 8. 関連研究③ Flash Organization[M. A. Valentine+, 2017] オンラインの組織を運用するシステム – ワーカを公募 – ワーカの役割，指揮系統を明確にする必要 – タスクを分割 – 各タスクに対しチームを形成 – チームリーダーの決定 →各ワーカが次に何をすべきか，誰と コミュニケーションをとるべきかが分かる JSAI2021 2021.6.8 ソフトウェア開発 ios 開発 Android 開発 Web 開発 組織化 8/26 M. A. Valentine, D. Retelny, A. To, N. Rahmati, T. Doshi, M. S. Bernstein: Expert crowdsourcing with flash teams, Proc. of the 2017 CHI Conf. on Human Factors in Computing Systems, 3523–3537, 2017.
- 9. 手法 協調性の 最適化 チーム形成 の自動化 チーム の分割 タスク の分割 チームリーダー の決定 一般的な クラウドソーシング × × × × × Flash Organizations × × ○ ○ ○ Lappas らの手法 ○ ○ × × × Rahman らの手法 ○ ○ ○ × × 関連研究のまとめ JSAI2021 2021.6.8 9/26
- 11. 提案手法① チームの組織化 – プロジェクトを分割（前提） – 分割されたタスクに 対応するサブグループを形成 – 各サブグループに対し サブリーダーを決定 JSAI2021 2021.6.8 ソフトウェア開発 ios 開発 Android 開発 Web 開発 役割，指揮系統 の明確化 11/26
- 12. 提案手法② ソーシャルネットワーク（SN） – ワーカの社会的なつながりを表現 ex) 過去の仕事，活動での関係 ※クラウドソーシングでの過去の共同作業による関係は含めない →つながりが強いほど協調性が高いといえる – エッジの重みで協調性（コミュニケーションの取りやすさ）を表現 （協調性が高いほど重みが小さくなる） – ワーカが隣接していなくても，距離が 近いほど協調性が高くなると仮定 – SNの近傍でチームを形成することで チームの協調性を最適化 JSAI2021 2021.6.8 12/26
- 13. 提案システム ― 入力と出力 プロジェクト 𝑉 = {𝑣!, 𝑣", … , 𝑣#} – タスク – 必須スキルレベルのベクトル 𝒕 = [𝑡!, 𝑡", …, 𝑡#] – 予算 𝑏 プロジェクト タ ス ク 1 タ ス ク 2 タ ス ク n ．．． [𝑡!: 40, 𝑡": 50, …, 𝑡#:0] サブチーム1 サブチーム2 サブチームn • サブグループ {𝐺!, 𝐺", … , 𝐺$} • サブリーダー {𝑎!, 𝑎", … , 𝑎$} JSAI2021 2021.6.8 13/26
- 14. 提案システム ― データモデル – ワーカに関するデータ – ワーカ 𝑈 = {𝑢!, 𝑢", … , 𝑢$} – 保有スキルレベルのベクトル 𝒔 = [𝑠!, 𝑠", …, 𝑠#] – 雇用コスト 𝑐 – ソーシャルネットワーク ワーカ𝑢!, 𝑢"間の距離： – 協調性の指標 𝐺 ∶ サブグループ – チーム内最大距離𝑓$ 𝐺 max%#,%$∈( 𝑑(𝑢), 𝑢*) – チーム内合計距離𝑓% 𝐺 ∑%#,%$∈( 𝑑(𝑢), 𝑢*) { [𝑠!: 4, 𝑠": 3, …, 𝑠#: 3], 𝑐: 6} 𝑑 𝑢%, 𝑢& JSAI2021 2021.6.8 14/26
- 15. 提案システム ― 要件と最適化項目 1. チーム {𝐺!, 𝐺", … , 𝐺#} 形成アルゴリズム – 要件 – 雇用コスト要件 ∑&'! $ ∑(!∈*" 𝑐% ≤ 𝑏 – 各タスクのスキル要件 ∑(!∈*" 𝑠+ % ≥ 𝑡+ & ∀𝑘 ∈ [1, 𝑙] 2. サブリーダー {𝑎!, 𝑎", … , 𝑎#} の決定 – 要件 𝑎* ∈ 𝐺* （全探索により求める） • 最適化項目 チーム内最大距離とチーム内合計 距離のパレート最適解 argmin {*#,*$,…,*%} ∈ "& D ∑&'! $ 𝑓/ 𝐺& /𝑛 ∑&'! $ 𝑓0 𝐺& • 最適化項目 argmin {1#,1$,…,1%}∈ "& ∑∀%, & 𝑑(𝑎%, 𝑎&) JSAI2021 2021.6.8 15/26
- 16. チーム形成アルゴリズム① – ルートワーカの決定 – 各サブグループ𝐺*に対して ルートワーカ 𝑢+$ を決定する – ルートワーカは，他のワーカとの 距離が小さい傾向のあるものから 選ばれる ソーシャルネットワーク 𝑢%! 𝑢%" 𝑢%# JSAI2021 2021.6.8 16/26
- 17. チーム形成アルゴリズム② – 距離による二分探索 – パラメータ 𝜏 を定め，𝑑 𝑢), 𝑢+$ ≤ 𝜏 となる 𝑢) から 𝐺* を形成する． → 𝑓, 𝐺* ≤ 2𝜏 – コストに対するスキルレベルが高い ワーカから順に採用する貪欲法 – チーム形成可能な最小のパラメータ 𝜏′ を求めチーム内最大距離𝑓,を最小化 ソーシャルネットワーク 𝑢%! 𝑢%" 𝑢%# 𝜏 JSAI2021 2021.6.8 17/26
- 18. チーム形成アルゴリズム③ – ワーカの交換 – ２対１での交換 – 交換後も要件を満たす – 𝑑 𝑢- , 𝑢+3 ≤ 𝜏’ – ∑*.! # 𝑓/ 𝐺* の減少が最も大きい この交換処理を，条件を満たしうる組み合わせが なくなるまで続ける – 同様に１対１での交換も行う 代替可能な ワーカ𝑢4 チーム内の 2人のワーカ チーム内の 1人のワーカ 代替可能な ワーカ𝑢4 JSAI2021 2021.6.8 18/26
- 19. 実験の概要 – 実験の目的 – 提案アルゴリズムにより形成されるチームの協調性が 改善されていることの確認（実験1） – 相対的なアルゴリズムの性能の評価（実験2） – 比較対象 実験1: 協調性を考慮しない貪欲法 ― パラメータ 𝜏 が無限 実験2: Rahmanらのアルゴリズム ― 距離による二分探索＋全探索（二分木の深さ優先探索） ―単一のタスクに対するチーム形成 ― チーム内最大距離を最小化 JSAI2021 2021.6.8 19/26
- 21. 実験データの収集方法 – ソーシャルネットワーク : コントリビュータの関係から生成 – ワーカのスキルレベル： （言語の比率）×（コントリビューション） の対数 – 雇用コスト ($) : 各言語に対する （言語の平均年収）× （ワーカのスキルレベル） （スキルレベルの平均値） のtop3の平均 年収から世界平均労働時間で割ることにより時給を算出 { 3 1 8 8 3 9 2 4 , [ ’ n o d ej s ’ ] , { ’ J a v a S c r i p t ’ : 2 0 3 0 0 8 , ’HTML’ : 9 6 8 1 3 , ’CSS ’ : 9 4 8 2 0 , ’ S h ell ’ : 4 3 1 , ’ B a t c h f i l e ’ : 4 9} , { 1 3 0 3 8 6 1 : 3 8 0 , 1 5 3 9 2 8 : 2 0 4 , 7 5 8 5 3 2 : 9 3 } } リポジトリのjsonデータの例 JSAI2021 2021.6.8 21/26
- 22. 実験1: 協調性を考慮しない貪欲法との比較 – プロジェクトの要件 – 3つのタスクを含む – スキルレベル：{20, 25, 30, 35, 40} （すべてのスキルは共通の値） – 予算 : チーム形成できる範囲での最小値 タスク スキル １ (“nodejs”, “JavaScript”), (“nodejs”, “HTML/CSS”), (“nodejs”, “SQL”) 2 (“android”, “Java”), (“android”, “Kotlin”) 3 (“ios”, “Swift”), (“ios”, “Objective-C”) 表1：実験で扱われるタスク JSAI2021 2021.6.8 22/26
- 23. 実験1: 協調性を考慮しない貪欲法との比較 0 5 10 15 20 25 30 20 25 30 35 40 max distance skill level Proposal Benchmark 1 10 100 1000 10000 100000 20 25 30 35 40 sum of distance skill level Proposal Benchmark チーム内最大距離の平均 ! $ ∑&'! $ 𝑓/ 𝐺& チーム内合計距離の総和 ∑&'! $ 𝑓0 𝐺& の対数グラフ JSAI2021 2021.6.8 どちらの指標も大きく改善している 23/26
- 24. 実験2：関連研究のアルゴリズムとの比較① – プロジェクトの要件 – 1つのタスクを含む – スキルレベル：{1, 2, …, 100} （すべてのスキルは共通の値） – 予算 （$） : 無限 チーム内最大距離の平均 ! $ ∑&'! $ 𝑓/ 𝐺& チーム内合計距離の総和 ∑&'! $ 𝑓0 𝐺& JSAI2021 2021.6.8 24/26
- 25. 実験2：関連研究のアルゴリズムとの比較② – プロジェクトの要件 – 1つのタスクを含む – スキルレベル：15 （すべてのスキルは共通の値） – 予算 （$）： （提案アルゴリズムが解を見つけることのできる範囲） チーム内最大距離の平均 ! $ ∑&'! $ 𝑓/ 𝐺& チーム内合計距離の総和 ∑&'! $ 𝑓0 𝐺& JSAI2021 2021.6.8 25/26
- 26. おわりに オンライン上での組織構成システムの開発 – SNを利用することにより協調性を最適化 – 組織構成によりワーカの指揮系統や役割を決定 実験のまとめ – 提案アルゴリズムにより協調性が改善されている – 全探索のアルゴリズムと比較して，予算による要件が 厳しい条件においては悪い結果となったが，大きな差は なかった 今後の展望 – 時系列変化を考慮した実験 – 別のチーム形成アルゴリズムの検討 26/26