Breno Oliveira, Líder Técnico Moip, ministrou o workshop "Elastic Search: Turbinando sua aplicação PHP", no PHP Experience 2016. O iMasters PHP Experience 2016 aconteceu nos dias 21 e 22 de Março de 2015, no Hotel Tivoli em São Paulo-SP http://phpexperience2016.imasters.com.br/

1. Breno Oliveira
@brenoholiveira
breno26@gmail.com
B R E N O O L I V E I R A
Tech Leader at Moip
ElasticSearch
Turbinando sua aplicação PHP

3. + 86k de contas vendendo

4. + 100K de pedidos por dia

7. VENDAS AUMENTAM
VENDEDOR QUER SABER

9. Ordenação
FullText Search
PaginaçãoAgregação
Filtros

10. REALTIME

11. E O SEU SERVER DEPOIS DE VÁRIOS F5 …

14. NOSSA VONTADE É DE …

15. SEU CLIENTA VAI…

16. PHP + MySQL
PHP + postgresql
PHP + nosql
PHP + ????

17. CASO DE USO

18. +

19. 502 200 304

20. +

21. Aplicação MOIP
Base de Dados Master

22. Single Term
SELECT * FROM pedidos p INNER JOIN cliente ON
p.cliente_id = c.id WHERE p.descricao LIKE
"%superman%"

23. multi Term
SELECT * FROM pedidos p INNER JOIN cliente ON
p.cliente_id = c.id WHERE p.descricao LIKE
"%superman%" OR p.descricao LIKE "%batman%"

24. ORDER
ARRGH!!!!
SELECT * FROM pedidos p INNER JOIN cliente ON
p.cliente_id = c.id WHERE p.descricao LIKE
"%superman%" OR p.descricao LIKE "%batman%" ORDER
BY ??

25. PROBLEMAS
• Difícil manter
• Muitos JOINS
• Lento

26. .Primeiro REFACTOR

27. MICRO SERVIÇO + BANCO denormalizado

28. APLICAÇÃO MOIP
Base de Dados Master
REPORTS API
Base de Dados denormalizada

29. MELHORIAS
• Micro serviço
• Concorrência no banco de dados
• No more JOINS
• Full-Text Search
• Melhorias de desempenho

30. PROBLEMAS
•Periodos longos
•Filtros
•Lentidão

31. .SEgundo REFACTOR

32. MICRO SERVIÇO + Banco colunar

33. APLICAÇÃO MOIP
Base de Dados Master
REPORTS API

34. MELHORIAS
• Consultas significantemente mais rápidas

35. PROBLEMAS
•BULK INSERTs
Too Slow

36. .terceiro REFACTOR

37. MICRO SERVIÇO + Elasticseach

38. APLICAÇÃO MOIP
Base de Dados Master
REPORTS API
Elasticsearch

39. MELHORIAS
• Bulk INSERT
• Desempenho
• Aggregations
• Scalable
• Redundancy

40. .Atualmente

42. Last Black Friday

46. .não é banco da dados

47. .nem nosql
I T ' ’ N O T K E Y- VA L U E S T O R A G E

48. .Escalável

49. .Alta resiliencia

50. .restful api

51. .orientado a documentos

52. .full-text search

53. .free schema

54. .Eventualmente consistente

55. .apache lucene

57. .Conceitos básicos
Elasticsearch

58. MySQL Elasticsearch
Database Index
Table Type
Column Field
Schema Mapping
Partition Shard

59. curl -XPUT http://localhost:9200/tips/tip/1 -d
'{"tip": "Using Elasticsearch in Production", "tags":
["protip","success"]} '
Endpoint
Index
Type
Document ID
Document
{
"_index": "tips",
"_type": "tip",
"_id": "1",
"_version": 1,
"created": true
}
Response

60. $ curl http://localhost:9200/tips/tip/1?pretty
{
"_index": "tips",
"_type": "tip",
"_id": "1",
"_version": 1,
"found": true,
"_source": {
"tip": "Using Elasticsearch in Production",
"tags": [
"protip",
"success"
]
}
}

62. VAGRANT

63. $ git clone git@github.com:brenooliveira/elastic-php-demo.git
$ cd elastic-php-demo
$ vagrant up —provision
$ vagrant ssh
vagrant@default:~/$

64. vagrant@default:$ curl http://localhost:9200
{
"status" : 200,
"name" : "Corruptor",
"cluster_name" : "elasticsearch",
"version" : {
"number" : "1.5.2",
"build_hash" : "62ff9868b4c8a0c45860bebb259e21980778ab1c",
"build_timestamp" : "2015-04-27T09:21:06Z",
"build_snapshot" : false,
"lucene_version" : "4.10.4"
},
"tagline" : "You Know, for Search"
}

65. {
"require": {
"elasticsearch/elasticsearch": "~2.0@beta"
}
}
composer.json
$ curl -s http://getcomposer.org/installer | php
$ php composer.phar install --no-dev

66. <?php
require 'vendor/autoload.php';
$client = ElasticsearchClientBuilder::create()
->build();
$params = array();
$params['index'] = 'tips';
$params['type'] = 'tip';
$params['id'] = '1';
$result = $client->get($params)
?>
<pre>
<?= print_r($result); ?>
</pre>
exemplo1.php

67. Array
(
[_index] => tips
[_type] => tip
[_id] => 1
[_version] => 1
[found] => 1
[_source] => Array
(
[tip] => Using Elasticsearch in Production
[tags] => Array
(
[0] => protip
[1] => success
)
)
)

68. exemplo2.php
<?php
require 'vendor/autoload.php';
$client = ElasticsearchClientBuilder::create()
->build();
$params = [
'index' => 'tips',
'type' => 'tip',
'id' => '2',
'body' => [ 'tip' => 'Using Marvel to get metrics from Elasticsearch',
'tags' => ['protip', 'metrics'] ]
];
// Documento indexado em tips/tip/2
$response = $client->index($params);
?>
<pre>
<?= print_r($response) ?>
</pre>

69. exemplo3.php
<?php
require 'vendor/autoload.php';
$client = ElasticsearchClientBuilder::create()
->build();
for($i = 0; $i < 100; $i++) {
$params['body'][] = [
'index' => [
'_index' => 'jobs',
'_type' => 'job',
]
];
$params['body'][] = [
'title' => 'Job position '. $i,
'email' => 'email-'. $i . '@gmail.com'
];
}
$responses = $client->bulk($params);
?>

70. exemplo4.php
<?php
require 'vendor/autoload.php';
$client = ElasticsearchClientBuilder::create()->build();
$json = '{
"query" : {
"match" : {
"tags" : "protip"
}
}
}';
$params = [
'index'=> 'tips',
'type' => 'tip',
'body' => $json
];
$responses = $client->search($params);
?>
<pre>
<?= print_r($responses) ?>
</pre>

71. exemplo5.php
<?php
require 'vendor/autoload.php';
$client = ElasticsearchClientBuilder::create()->build();
$params = [
'index' => 'tips',
'type' => 'tip',
'id' => '3',
'body' => [ 'tip' => 'Wrong insert', 'tags' => ['missing',
'error', 'no_logs'] ]
];
$response_insert = $client->index($params);
$params = [
'index' => 'tips',
'type' => 'tip',
'id' => '3'
];
$responde_delete = $client->delete($params);
?>

72. exemplo6.php
<?php
require 'vendor/autoload.php';
$client = ElasticsearchClientBuilder::create()->build();
$params = [
'index' => 'tips',
'type' => 'tip',
'id' => '4',
'body' => [ 'tip' => 'Loren Ipsum', 'tags' => ['lorem'] ]
];
$response_insert = $client->index($params);
$params = [
'index' => 'tips',
'type' => 'tip',
'id' => '4',
'body' => [
'doc' => [
'text' => 'lipsum generator'
]
]
];
$response_update = $client->update($params);
$params = [
'index' => 'tips',
'type' => 'tip',
'id' => '4'
];
$response_search = $client->get($params);
?>

73. exemplo7.php
<?php
require 'vendor/autoload.php';
$client = ElasticsearchClientBuilder::create()->build();
$json = '{
"my-suggestion" : {
"text" : "Elastiscearch",
"term" : {
"field" : "tip"
}
}
}';
$params = [
'index' => 'tips',
'body' => $json
];
$response = $client->suggest($params);
?>

74. exemplo8.php
<?php
require 'vendor/autoload.php';
$client = ElasticsearchClientBuilder::create()->build();
$json = '{
"query" : {
"more_like_this" : {
"like_text" : "In production",
"min_term_freq" : 1,
"min_doc_freq" : 1
}
}
}';
$params = [
'index' => 'tips',
'type' => 'tip',
'body' => $json
];
$response = $client->search($params);
?>

75. .Vamos falar de arquitetura

76. .Como devo sincronizar
mysql & Elasticsearch

77. E-commerce app
Base de Dados Elasticsearch
Cadastrar novo produto

78. E-commerce app
Base de Dados
Elasticsearch
rabbitmq
Publish Message
php worker
Consume Message & Sync
Cadastrar novo produto

79. .Lessons learned

80. Utilize mais mappings

81. Em produção use alias