Документ содержит описание распределенной обработки текстовых коллекций с использованием Scala и Akka, включая шаблон распределенных рабочих узлов и примеры реализации. Основное внимание уделяется динамическому добавлению узлов, отказоустойчивости, а также методам токенизации, статистики и кластеризации документов. Также предоставлены ссылки на дополнительные ресурсы для глубокого изучения темы.

1. Scala и Akka
Степан Каменцев
Распределенная обработка
миллионов документов на

2. План
1. Анализ текстовых коллекций
2. Коротко об Akka
3. Шаблон Distributed Workers
4. Примеры реализации

3. Что мы делаем?

4. В начале был
хаос!

5. структурируем
тегируем
собираем статистику
реализуем поиск
представляем
инструменты для
анализа

6. Как мы это делаем?

14. Мотивация перехода на
Akka

16. type Receive = PartialFunction[Any, Unit]
trait Actor {
def receive: Receive = ???
...
}

17. class TimeActor extends Actor {
def receive = {
case "Который час?" =>
sender ! System.currentTimeMillis()
}
}

18. object SomeApp extends App {
val system = ActorSystem("someSystem")
val path = "akka.tcp://sys@host:2552/user/time"
val timeActor = system.actorSelection(path)
timeActor ? "Который час?" onSuccess {
case time => println(time)
}
}

19. Ссылки
1. http://akka.io
2. http://typesafe.com/activator/templates#filter:
akka

20. Distributed workers

21. Распределенные
рабы

23. Требования к системе
1. Динамическое добавление рабочих узлов
2. Динамическое добавление клиентов
3. Отсутствие дополнительных настроек
4. Возможность использовать тысячи узлов
5. При падении сети, мастера, рабочего
узла данные не должны теряться

26. object WorkerToMaster {
case object RegisterWorker
}
object MasterToWorker {
case object WorkerRegistered
}

27. class Worker(master: ActorRef) extends Actor {
import context.dispatcher
context.system.scheduler.scheduleOnce(
0.seconds, self, RegisterWorker)
def receive = registration
def registration: Receive = {
case RegisterWorker =>
context.setReceiveTimeout(5.seconds)
context.become(waitForRegistration)
master ! RegisterWorker
}
}

28. class Worker(master: ActorRef) extends Actor {
import context.dispatcher
...
...
def waitForRegistration: Receive = {
case WorkerRegistered =>
context.setReceiveTimeout(Duration.Undefined)
context.become(idle)
case ReceiveTimeout =>
master ! RegisterWorker
}
}

29. class Master extends Actor {
private object clients {...}
private object workers {
val workerToStatus =
mutable.Map.empty[ActorRef, WorkerStatus]
}
def receive = {
case RegisterWorker =>
val worker = sender()
worker ! WorkerRegistered
if (clients.isTaskAvailable) {
worker ! TasksIsReady
}
workers.workerToStatus(worker) = Idle
}}

35. Ну, граждане алкоголики, хулиганы,
тунеядцы... Кто хочет сегодня поработать?

37. Песчаный карьер - два человека.
Я!

39. class Worker(master: ActorRef) extends Actor {
private def taskExecutorPropsFor(task: Task) = Props(
task match {
case _: MystemTask => classOf[MystemExecutor]
case _: NgramTask => classOf[NgramExecutor]
// ...
})
def idle: Receive = {
case task: Task =>
context.become(working)
val taskExecutor =
context.actorOf(taskExecutorPropsFor(task))
taskExecutor ! task
currentExecutor = Some(taskExecutor)
}}

46. Отказоустойчивость

47. class Worker(master: ActorRef) extends Actor {
private var currentExecutor: Option[ActorRef] = None
private def interrupt() = currentExecutor.foreach { ref =>
ref ! PoisonPill
currentExecutor = None
master ! TaskFailed
}
override def supervisorStrategy = OneForOneStrategy() {
//...
case _: Exception =>
interrupt()
context.become(idle)
Restart
}}

48. class Master extends Actor {
override def preStart() {
context.system.eventStream.subscribe(
self, classOf[OnDisassociated])
}
def receive = {
case OnDisassociated(localAddress, remoteAddress, true) =>
for (cl <- clients.all
if cl.path.address == remoteAddress)
clients.release(cl)
for (wr <- workers.all
if wr.path.address == remoteAddress)
workers.release(wr)
}
}

54. Ссылки
1. http://typesafe.com/activator/template/akka-
distributed-workers
2. http://letitcrash.
com/post/29044669086/balancing-workload-
across-nodes-with-akka-2

55. Примеры реализации

56. Распределенное
построение словаря

57. Функции этапа
1. Токенизация и лемматизация
2. Выделение устоявшихся словосочетаний
3. Статистика (сколько раз, в каких
документах и т.д.)

58. object DictionaryClient {
case class DictionaryTask(
chunkIdx: Int,
databaseConfig: DBConfig
) extends Task
case class DictionaryResult(
chunkIdx: Int,
lemmas: Map[String, Int],
dictionaryBits: java.util.BitSet,
lemmasCount: Map[Int, Int],
lemmasDocCount: Map[Int, Int]
)
}

60. Распределенное
построение пространства

61. Функции этапа
1. Построение матрицы лемм и документов
2. Сингулярное разложение (Singular Vector
Decomposition)
3. Проекция документов на пространство

65. object SVDClient {
case class SVDTask(chunkIdx: Int,
databaseConfig: DBConfig) extends Task
case class SVDResult(chunkIdx: Int,
// chunk U * S array
data: Array[Byte])
}

67. object ProjectClient {
case class ProjectTask(chunkIdx: Int,
databaseConfig: DBConfig) extends Task
case object ProjectResult
}

69. Ссылки
1. http://nlp.fi.muni.
cz/~xrehurek/ecir2011/rehurek_ecir2011.pdf

70. Кластеризация и
тегирование

71. 1. Выделение групп (кластеров) документов
2. Тегирование документов и кластеров
3. Построение графов лемм

72. object CBCClient {
case class CBCTask(delta: Double,
mergeThresh: Double,
committeeThresh: Double,
residueThresh: Double,
databaseConfig: DBConfig) extends Task
case object CBCResult(centroids: Array[Array[Double]],
quality: Array[Double])
}

74. object KeywordsClient {
case class KeywordsTask(chunkIdx: Int,
databaseConfig: DBConfig) extends Task
case object KeywordsResult
}

76. Ссылки
1. http://www.patrickpantel.
com/download/papers/2003/cbc.pdf

77. Вопросы?
email: skamentsev@naumen.ru
skype: stepan.kamentsev