Facilitando a Programação concorrente com o Fork/Join

FACILITANDO A
PROGRAMAÇÃO
CONCORRENTE COM O
FORK/JOIN
Mário Amaral
@mario_fts
Thursday, December 6, 12

QUE MÁRIO?


QUE MÁRIO?

• Desenvolvedor Java desde 2004


QUE MÁRIO?


• Instrutor na Caelum


QUE MÁRIO?



• Caelum-Stella


QUE MÁRIO?



• Caelum-Stella

• Personagem de games desde 1981


VAMOS FALAR DE
PARALELISMO

POR QUE PARALELIZAR

• Ganhar tempo


POR QUE PARALELIZAR
• Aproveitar recursos ociosos


O QUE PARALELIZAR?


O QUE PARALELIZAR?

• Tarefas Independentes com processamento pesado


O QUE PARALELIZAR?


• Processar mensagens de uma ﬁla


O QUE PARALELIZAR?



• Conversão de dados


O QUE PARALELIZAR?




• Aplicar ﬁltros em imagens


O PROBLEMA


O PROBLEMA


• Dados de vendas


O PROBLEMA


• Dados de vendas

• CSV => JSON


OS DADOS


OS DADOS
• 1;1;04122012;ﬁchario preto;9;33.55


OS DADOS
• 1;1;04122012;ﬁchario preto;9;33.55

{
"number": 1,
"terminal": 1,
"description": "ﬁchario preto",
"price": 33.55,
"date": "04122012"
}

PASSO A PASSO

• Ler os dados do CSV e converter para objetos.

• Para cada objeto, converter em Json.

• Adicionar o Json em uma lista de String.

• Gravar o conteúdo da lista em um arquivo.


SINGLE THREAD

• Processar tudo sequencialmente em um loop

• Implementação mais simples


CÓDIGO....
public List<String> toJson(List<?> list) {
List<String> lines = new ArrayList<>();
for (Object value : list) {
lines.add(new JsonObject(value)
.toString());
}
return lines;
}


TESTANDO

•1 milhão de registros

• Executar 10 vezes seguidas cada método.

• Desconsiderar o menor e o maior tempo.

• Obter o tempo médio.


TEMPO

Tempo
Método
Médio (ms)

Single 5562


MULTI THREAD


MULTI THREAD

• Cada conversão é independente da outra.


MULTI THREAD


• Múltiplos processadores


MULTI THREAD


• Múltiplos processadores

• Dividir e distribuir!


threads.add(createANewThread(sales, jsons,
beginIndex,finalIndex));


beginIndex = finalIndex;
finalIndex = finalIndex + amount >= size ?
size :
finalIndex + amount;


while (true) {
size :

}


while (true) {
size :

if (beginIndex == size) {
break;
}
}


protected List<String> convertToJson(List<Sale> sales){
...

while (true) {
size :

break;
}
}
}



int size = sales.size();

int amount = size / NUMBER_OF_THREADS; //4
int beginIndex = 0;
int finalIndex = amount;

List<Thread> threads = new ArrayList<>();
List<String> jsons = Collections.synchronizedList(
new ArrayList<String>());

while (true) {
//Cria uma nova thread para cada parte
}



...

for (Thread thread : threads) {
thread.start();
}

return jsons;

}



...

thread.start();
}

thread.join();
}

return jsons;

}


@Override
protected List<String> convertToJson(List<Sale> vendas) throws Exception {

System.out.println("Convert to json....");

int size = vendas.size();

int amount = size / NUMBER_OF_THREADS; //4
int beginIndex = 0;
int finalIndex = amount;

List<Thread> threads = new ArrayList<>();
List<String> jsons = Collections.synchronizedList(new ArrayList<String>());

while (true) {
threads.add(createANewThread(vendas, jsons, beginIndex, finalIndex));
finalIndex = finalIndex + amount >= size ? size : finalIndex + amount;

break;
}

}

thread.start();
}

thread.join();
}

System.out.println("Finished!n ");
return jsons;

}

TEMPO
Tempo
Método
Médio (ms)

Single 5562

Multi Thread 3739


COMPARATIVO
Single Multi Thread

6000

4000

2000

5562 3739
0
Tempo


DIFICULDADES


DIFICULDADES

• Decidir a quantidade de Threads


DIFICULDADES


• Dividir o trabalho


DIFICULDADES


• Dividir o trabalho

• Juntar tudo no ﬁnal


FORK / JOIN


FORK / JOIN

• Java 7


FORK / JOIN

• Java 7

• Dividir tarefas entre múltiplos processadores


FORK / JOIN

• Java 7

• Dividir tarefas entre múltiplos processadores

• Tarefas que podem ser quebradas recursivamente


COMO FUNCIONA
class ExemploForkJoin extends RecursiveTask<Long>{

@Override
protected Long compute() {

if(qtdeDeDados < LIMITE){
// execute a tarefa
}else{
//Divida o trabalho entre subtarefas
//Execute as subtarefas e espere o resultado
}
}
}


COMO FUNCIONA


COMO FUNCIONA

fork()


COMO FUNCIONA

fork() fork()


COMO FUNCIONA

fork() fork()

join()


COMO FUNCIONA

fork() fork()

join() join()


COMO FUNCIONA

join()

fork() fork()

join() join()


COMO FUNCIONA

join() join()

fork() fork()

join() join()


IMPLEMENTANDO
public class JsonTask extends
RecursiveTask<List<String>>{

private final int THRESHOLD = 10000;
private List<Sale> list;

//constructor...

@Override
protected List<String> compute() {

}
}

@Override
List<String> jsons = new ArrayList<>();
int size = list.size();
if ( size < THRESHOLD){
jsons.addAll(new JsonMapper().toJson(list));
}else{
...
}
return jsons;
}


}else{

}


}else{

JsonTask left =
new JsonTask(list.subList(0, size / 2));

}


}else{

JsonTask left =

JsonTask right =
new JsonTask(list.subList(size / 2, size));

}


}else{

JsonTask left =

JsonTask right =

left.fork();

}


}else{

JsonTask left =

JsonTask right =

left.fork();
right.fork();

}


}else{

JsonTask left =

JsonTask right =

left.fork();
right.fork();

jsons.addAll(right.join());
jsons.addAll(left.join());
}


P


P

fork() fork()

L R


P

join() join()

fork() fork()

L R


Pool
de Threads

P


Pool
P
de Threads

P


Pool
P
de Threads

P

fork() fork()

L R


Pool R
P L
de Threads

P

fork() fork()

L R


}else{

JsonTask jsonTaskLeft =

JsonTask jsonTaskRight =

jsonTaskLeft.fork();
jsonTaskRight.fork();

jsons.addAll(jsonTaskRight.join());
jsons.addAll(jsonTaskLeft.join());
}


RECURSO OCIOSO


}else{




jsons.addAll(jsonTaskRight.join());
}


}else{




jsons.addAll(jsonTaskRight.compute());
}


Pool
P
de Threads

P

L R


Pool
P
de Threads

P

fork()

L R


Pool
P L
de Threads

P

fork()

L R


Pool
P L
de Threads

P

fork() compute()

L R


Pool
R L
de Threads

P

fork() compute()

L R


Pool
R L
de Threads

P

return

fork() compute()

L R


Pool P L
de Threads

P

return

fork() compute()

L R


Pool
P L
de Threads

P

return

fork() compute()

L R


Pool
P L
de Threads

P

join() return

fork() compute()

L R


Pool
P
de Threads

P

join() return

fork() compute()

L R


EXECUTANDO
public class JsonForkJoinConverter {


ForkJoinPool forkJoinPool = new ForkJoinPool();
return forkJoinPool.invoke(new JsonTask(sales));
}
}


TEMPO
Tempo
Método
Médio (ms)

Single 5562

Multi Thread 3739

Fork/Join 3461


COMPARATIVO
Single Multi Thread Fork/join

6000

4000

2000

5562 3739 3461
0
Tempo


@Override

List<String> jsons = new ArrayList<>();

int size = list.size();
if ( size < THRESHOLD){
jsons.addAll(new JsonMapper().toJson(list));
} else{
JsonTask jsonTaskFirst =
jsonTaskFirst.fork();

JsonTask jsonTaskSecond =

jsons.addAll(jsonTaskSecond.compute());
jsons.addAll(jsonTaskFirst.join());
}

return jsons;
}


PROBLEMS?


A ORDEM DAS CHAMADAS

• Ordem das chamadas é importante.

• Perde todo o paralelismo


left.fork();
long rightAns = right.compute();
long leftAns = left.join();
return leftAns + rightAns;

P

P

L R


left.fork();

P L

P

fork()

L R


left.fork();

R L

P

fork() compute()

L R


left.fork();

P L

P

return

fork() compute()

L R


left.fork();

P

P

join() return

fork() compute()

L R


left.fork();


left.fork();

P

P

L R


left.fork();

P L

P

fork()

L R


left.fork();
long leftAns = left.join(); Bloqueia a thread!

P L

P

fork()

L R


left.fork();

P L

P

join()

fork()

L R


left.fork();

R

P

join()

fork() compute()

L R


left.fork();

R

P

join() return

fork() compute()

L R


left.fork();

P

P

join() return

fork() compute()

L R


left.fork();


left.fork();

P

P

L R


left.fork();

P

P

compute()

L R


left.fork();

R

P

compute()

L R


left.fork();

R

P

return

compute()

L R


left.fork();

P

P

return

compute()

L R


left.fork();

P L

P

return

fork() compute()

L R


left.fork();

P

P

join() return

fork() compute()

L R


left.fork(); Executa
long leftAns = left.join(); Sequencialmente

P

P

join() return

fork() compute()

L R


• Código aqui:

• github.com/mariofts/javaOneBR-2012

• Links / Refs:
• http://homes.cs.washington.edu/~djg/teachingMaterials/
grossmanSPAC_forkJoinFramework.html

• http://www.oracle.com/technetwork/articles/java/fork-join-422606.html

• http://docs.oracle.com/javase/tutorial/essential/concurrency/forkjoin.html


OBRIGADO!

github.com/mariofts
@mario_fts
mario.amaral@caelum.com.br

Facilitando a Programação concorrente com o Fork/Join

Recommended

Recommended

More Related Content

Similar to Facilitando a Programação concorrente com o Fork/Join

Similar to Facilitando a Programação concorrente com o Fork/Join (9)

Recently uploaded

Recently uploaded (20)

Facilitando a Programação concorrente com o Fork/Join