1. A Study on Sequential Assignment of Micro Tasks Based on Task Priority
北海道大学大学院情報科学研究科 情報理工学専攻
複雑系工学講座 調和系工学研究室
修士2年 江川知樹
タスク優先度に基づくマイクロタスクの
逐次割り当てに関する研究

2. 背景・目的
マイクロタスク 短時間で処理できる難易度の低い仕事
効率的にマイクロタスクを割り当てるタスク割り当て法の考案
発注者
タスクの依頼
ワーカ
ワーカごとにタスク処理能力が異なる
目的
ワーカ 時間的制約や作業量的制約がない形で従事している作業者
・正答率の向上
タスク処理能力に応じた割り当て
タスク処理時間効率に関してはあまり考慮されていない
・コストの削減
タスク割り当て
[Welinder, Peter, and Pietro Perona. “Online crowdsourcing:
rating annotators and obtaining cost-effective labels.” (2010): 25-32.」
[Ho, Chien-Ju, and Jennifer Wortman Vaughan. "Online Task
Assignment in Crowdsourcing Markets." AAAI. Vol. 12. 2012.]
タスク例

3. 対象とするフィールド
就労継続支援サービス事業者で、障がい者の方と雇用契約を結び
精神的障がいや身体的障がいなど様々な症状の方が作業を行う
イラスト作成，データ入力、テープ起こしなど
パソコンやネットでできる仕事を行うことで就労支援を行っている
本研究において、イベント情報編集業務を対象のタスクとする
ワーカ数 12名
タスク数 月約10,000タスク
1日平均タスク処理数 約350
タスクタイプ数 406
割り当て手法 締切優先
平均タスク処理時間(s) 160
(2015年12月現在)
開催日時の調査、入力
情報フォーマットの整形
キャッチコピーの付与
(http://s-challenged.jp/)
イベント情報であるためタスクごとに締め切りが存在する
全てのタスクは品質チェックが行われているが、問題になるケースは少ないため時間効率に注目する

4. タスクタイプ2(主に情報フォーマットの整形)
締切優先で行われた作業の統計データ
期間 2014年11月12日～2015年9月28日
タスク数 56,804
タスクタイプ1(主にキャッチコピーの付与)
ワーカA
ワーカA
ワーカB
ワーカB
タスクタイプ1 タスクタイプ2
タスクタイプ2 タスクタイプ1
961秒
490秒
＋
＋
＝
＝
組み合わせにより
時間短縮可能
435秒 526秒
328秒162秒
タスクタイプ1の平均処理時間の分布 タスクタイプ2の平均処理時間の分布
（s） （s）

5. タスク割り当て問題
タスク割り当てを行い、全タスク処理時間の最小化問題
ci (t)
wi, j
:タスクタイプ
:ワーカ :ワーカiがタイプjのタスク処理を行う時間
簡略化のため，平均タスク処理時間をとる
:時刻tにおいてタイプjの残りタスク数
時刻tのタスク処理において
将来どのワーカがタスクの要求を行うか不明であるため、逐次的に割り当てる必要がある
:時刻tにおいてタスク処理を行うワーカa(t) Î {1,2,..., N}
:タスク処理を行う順番t Î{1,2,...,T}
:時刻tにおいてワーカiに対するタイプjの
タスク割り当て変数
xi, j = 1
0
ì
í
î
(ワーカiにタイプjタスクを割り当てた場合)
(ワーカiにタイプjタスクを割り当てない場合)
wa(t), j xa(t), j
j=1
M
å
t=1
T
å (t)
目的関数 制約条件
xa(t), j
j=1
M
å (t) =1("t Î T)
cj (t)³ 0 "(j Î M,t ÎT)
(1) (2)
(3)
(4)
gj (t) :時刻tにおいて増加するタイプjのタスク数
フィールド実験は困難であるため、シミュレーションで手法の検討を行う
cj (t)= cj (t -1)+gj (t)- xa(t), j (t)
i Î {1,2,..., N}
j Î {1,2,...,M}
xi, j (t)

6. シミュレーション
割り当てアルゴリズム
タイプ1 タイプ2 タイプ3
…
タスク集合
a(t)
実際のフィールドを基にシミュレーションを構築
が既知であれば、線形計画法により最適値を求ることが可能
処理順番
a(t)
増加タスク
gj (t)
タイプ4 残りタスク数
cj (t)
割り当てアルゴリズム
タスク処理時間
wa(t), j
時刻ｔごとに割り当てるタスクタイプを選択
pi, j
割り当てるタスクタイプを決定するために
タスク優先度 を設定
タイプ1 タイプ2 タイプ3
p1,1 =1 p1,2 = 5 p1,3 = 4
割り当て
優先度が同じ場合wa(t), jが短いタイプを選択
同じタスクタイプ内では締め切りが
一番近いタスクを選択
a(t),gj (t),wi, j は実際のログデータを使用
12
3
全ての

7. タスク優先度
手法名 タスク優先度の計算方法
締切優先 タスクの締め切りまでの時間の逆数を優先度とする
処理時間優先 の逆数を優先度とする
処理順位優先 の順位を優先度とする
処理時間偏差優先 を優先度とする
正規化処理時時間偏差優先 を正規化した値を優先度とする
削減時間優先 を計算し
正の値なら に残りタスク数をかけた値を優先度とし
負の値なら を優先度とする
wj :タスクiの平均タスク処理時間
wi, j
wi, j
wj -wi, j
wj -wi, j
wj -wi, j
wj -wi, j
wj -wi, j
時刻tの処理時間を最小化するのではなく
全期間のタスク割り当てを最小化するように割り当てることが望ましい
wj =
1
N
wi, j
i=1
N
å

8. 削減時間優先






)(
)()(
,
,
,
jii
ijii
ji
ww
tCww
p
(wi -wi,j ³0)
(wi -wi,j <0)
・平均よりも早く処理できるタスクタイプが存在する場合
・平均よりも早く処理できるタスクタイプが存在しない場合
残りの全てのタスクをワーカが処理した場合に
節約できる時間が大きいタスクタイプを選択
平均処理時間に一番近い時間で処理できるタスクタイプを選択
タスクタイプを平均的に処理することによって
後にタスクを処理するワーカにタスクタイプの選択肢を多く残す
特徴

9. シミュレーション実験
シミュレーション実験1
割り当て手法の効果を検証
割り当て手法の効果の変化を検証
シミュレーション実験2
に実際に行われたログデータを用いて割り当て手法の評価
ワーカの作業順番の偏りで効果が変化する可能性があるため
締切優先と線形計画法と比較を行い効果を検証する
①ランダムに作業順番の入れ替え
②同じワーカが連続するような偏りを持つように作業順番の入れ替え
期間 2014年11月21日〜2015年9月28日
タスク数 56,804
ワーカ数 36
タスクの種類 257
ログデータ
100回のシミュレーションの平均値により効果を検証する
a(t),gj (t),wi, j
a(t)
シミュレーション実験2
を

10. シミュレーション実験1 結果
シミュレーション実験1
最適値と5%の差
締切優先に対して
20%削減
タスク処理時間の増加量
処理時間の増加量の
変化が小さい

11. シミュレーション実験2 結果
削減時間優先手法を導入
a(t)が変化しても
有意性は変わらない
ランダムに入れ替え
偏りを持つように入れ替え
最適値と3%の差
処理順番
処理順番
1,2,4,3,2,1,4,5,…
1,1,1,2,2,2,3,3,…

12. フィールド実験
締め切りまでの日数
期間 2016年1月5日～2016年1月31日
タスクの種類 248
ワーカの数 12
フィールド実験環境
タスクの分布
exp(
d
0.9
)
3 9 28
予備実験により の間隔でタスクグループを生成 (d ={1,2,3,...})
タスク優先度
処理時間は平均値を基に計算するためサンプル数が多く必要である
ε=0.05のε-greedyによりランダムに割り当てる

13. フィールド実験結果
実験結果
約36時間の節約を見込める
期間 2015年11月1日～2016年1月4日
タスク数 14,244
割り当て手法 締切優先
平均タスク処理時間 161(s)
期間 2016年1月5日～2016年1月31日
タスク数 7,136
割り当て手法 削減時間優先
平均タスク処理時間 143(s)
1日ごとの平均処理時間の分布 1日ごとの平均処理時間の分布

14. まとめ
効率的にマイクロタスクを割り当てるタスク割り当て法の考案
目的
実際のタスク処理を行っている統計データを基に
タスク割り当ての最小化問題を定式化した
逐次的な割り当てのためタスク優先度に基づく5つの割り当て手法を提案
フィールド実験への導入に向けて、シミュレーションよる有用性の検証
実作業への導入を行い，手法導入前との比較を行い
9.3%の平均タスク処理時間の削減に成功した
手法の提案
問題の定式化
シミュレーション実験による検証
フィールド実験

15. 15

16. 実験結果
16
手法 締切優先 削除時間優先
サンプル数 38 18
平均 158 146
標準偏差 20 25
t検定 p=0.05694
d=0.56

17. シミュレーション実験結果3
タスク間隔 平均処理時間(s) 締切超過タスク数 平均公開期間(日)
1日間隔 144 47 23.2
7日間隔 139 79 23.2
30日間隔 134 300 23.2
2d間隔 133 48 23.2
間隔 132 48 23.2
間隔 131 48 23.2
間隔 133 48 23.2
exp(d)
exp(
d
0.9
)
exp(
d
1.1
)
17