1. Tsung - Leboncoin
Rodolphe Quiédeville
Principe et généralités
13 mars 2014
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 1 / 58
2. Tsung
début développement en 2001
écrit en Erlang
publié sous GNU GPL V2
projet Idealx initialement nommé IDX-Tsunami
test de serveur XMPP
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 2 / 58
3. Caractéristiques
multi protocoles
scalable (validé à 10 Millions d’utilisateurs)
pas d’interface graphique
extensible par plugins
scenarios XML avec validation XSL
sondes de monitoring
modèle Stochastic avec distribution de Poisson
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 3 / 58
5. Principe de fonctionnement
un contrôleur
0 à N injecteurs
une cible
un scenario
des logs
des rapports de résultats
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 5 / 58
6. Protocoles supportés en 1.5.0
HTTP/HTTPS
Websocket
Jabber/XMPP
Webdav
AMQP / MQTT / ZeroMQ (dev)
LDAP
PostgreSQL
MySQL
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 6 / 58
7. Fonctions avancées
variables dynamiques
gestion des cookies automatique
analyse du résulat
thinktime
données aléatoires
extension par modules erlang
boucles et tests
...
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 7 / 58
8. Installation
pre-requis : Erlang R15, erlang-crypto, ssh
package : Debian, Ubuntu, Fedora, ...
sources : Github
scripts de creation paquet .deb dans les sources
déploiement à l’identique sur le contrôleur et les injecteurs
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 8 / 58
9. Le XML tu l’aimes ou ...
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 9 / 58
14. Scenario
La charge va définir l’injection des utilisateurs
Example
<load>
<arrivalphase phase="1" duration="2" unit="minute">
<users interarrival="5" unit="second"></users>
</arrivalphase>
<arrivalphase phase="2" duration="10" unit="minute">
<users arrivalrate="1" unit="second"></users>
</arrivalphase>
<arrivalphase phase="3" duration="60" unit="minute">
<users arrivalrate="10" unit="second"></users>
</arrivalphase>
</load>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 14 / 58
15. Scenario
Limitation possible de la durée totale et du nombre d’utilisateurs
générés
Example
<load duration="1" unit="hour">
<arrivalphase phase="1" duration="10" unit="minute">
<users interarrival="5" unit="second" maxnumber="10"></users>
</arrivalphase>
<arrivalphase phase="2" duration="40" unit="minute">
<users arrivalrate="1" unit="second"></users>
</arrivalphase>
</load>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 15 / 58
16. Scenario
Les sessions, le subtile mélange des interactions
Example
<sessions>
<session name="small" probability="90" type="ts_http">
<transaction name="one">
...
</session>
<session name="extended" probability="35" type="ts_http">
<transaction name="foo">
...
</session>
<session name="rss" probability="5" type="ts_http">
<transaction name="home_ress">
....
</session>
</sessions>
Depuis la 1.5.0 on peut utiliser weight au lieu de probability
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 16 / 58
17. Scenario
Les transactions regroupent les requêtes en cas de besoin statistique
Example
<transaction name="home">
<request>
<http url="/" />
</request>
<request>
<http url="/img.jpg" />
</request>
</transaction>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 17 / 58
18. Scenario
Création du scenario
En mode proxy
$ tsung-recorder start
Starting Tsung recorder on port 8090
"Record file: /home/rodo/.tsung/tsung_recorder20131003-1633.xml"
Depuis les logs
$ log2tsung.pl
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 18 / 58
19. Scenario
Les requêtes peuvent être relatives à la cible ou spécifiées
intégralement
Example
<request>
<http url="/" method="GET" version="1.1" />
</request>
<request>
<http url="/api/v1/foo?format=json" />
</request>
<request>
<http url="http://front-preprod.domain.lan/css/main.css" />
</request>
<request>
<http url="http://back-preprod.domain.lan/api/bar.json" />
</request>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 19 / 58
20. Variables
Les requêtes peuvent inclure des variables substituées lors du run
Example
<session name="rec20040316-08:47" probability="100" type="ts_http">
<request subst="true">
<http url="/echo?symbol=%%_foo%%" method="GET"></http>
</request>
</session>
Ici foo sera substitué par sa valeur à chaque appel.
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 20 / 58
21. Analyse de la réponse
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 21 / 58
22. dyn_variable
Les variables dynamiques sont initialisées par lecture du résultat d’une
action et peuvent être ré-utilisées dans les actions suivantes.
Example
Regexp
<request>
<dyn_variable name="nb_page" re="Page d+ on (d+)" />
<http url="/articles" method="GET" version="1.1" ></http>
</request>
<request subst="true">
<http url="/articles?page=%%_nb_page%%" method="GET" version="1.1" ></http>
</request>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 22 / 58
25. match
L’élément match permet de déclencher une action suivant le contenu
du résultat de la requête.
Example
<request>
<match do="loop" sleep_loop="5" max_loop="10" when="match">Retry</match>
<match do="abort" when="match">Error</match>
<http url="/index.php" method="GET">
</request>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 25 / 58
26. Utilisation de variables dans
les scenarii
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 26 / 58
27. Appel de fonction
Appel de n’importe quelle fonction Erlang
Example
<setdynvars sourcetype="erlang" callback="module_users:get_unique_id">
<var name="id1" />
</setdynvars>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 27 / 58
29. lecture de données
Lecture d’un fichier de données
Example
<setdynvars sourcetype="file" fileid="userlist.csv" delimiter=";" order="iter">
<var name="user" />
<var name="pass" />
</setdynvars>
<request subst="true">
<http url="/login.cgi" version="1.0" contents="user=%%_username%%&password=%%_pass%%&op=l
content_type="application/x-www-form-urlencoded" method="POST">
</http>
</request>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 29 / 58
30. Evaluation de code
Du code Erlang peut être introduit directement dans le scenario en
utilisant un sourcetype eval
Example
<setdynvars sourcetype="eval"
code="fun({Pid,DynVars})->
{ok,Val}=ts_dynvars:lookup(md5data,DynVars),
ts_digest:md5hex(Val) end.">
<var name="md5sum" />
</setdynvars>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 30 / 58
32. if, for, foreach, ...
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 32 / 58
33. if
Conditionnel de base
Example
<if var="tsung_userid" eq="3">
<request> <http url="/foo"/> </request>
<request> <http url="/bar"/> </request>
</if>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 33 / 58
34. la boucle for
Un classique fort pratique
Example
<for var="i" from="0" to="50" incr="1">
<transaction name=""home"">
<request> <http url="/index.html"/></request>
<request> <http url="/main.js"/></request>
<request> <http url="/img.png"/></request>
</transaction>
<request subst="true"> <http url="/ping?foo=%%_i%%"/></request>
<thinktime value="40" random="true" />
</for>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 34 / 58
35. foreach
Permet de boucler sur tous les éléments d’un tableau, régulièrement
associée avec un module renvoyant une liste d’urls
Example
<setdynvars sourcetype="erlang"callback="geomodule:get_tiles">
<var name="list_url" />
</setdynvars>
<foreach name="element" in="list_url">
<request subst="true">
<http url="%%_element%%" />
</request>
</foreach>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 35 / 58
36. repeat
Sortie de boucle avec while ou until
Example
<repeat name="myloop" max_repeat="40">
...
<request>
<dyn_variable name="result" re="Result: (.*)"/>
<http url="/random" method="GET" version="1.1"></http>
</request>
...
<until var="result" eq="5"/>
</repeat>
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 36 / 58
37. En dev pour les devs
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 37 / 58
38. Le tagging de requêtes
(1.5.1 dev) Tagger des requêtes permet d’exclure celles-ci d’un run
particulier
Scenario
<request>
<http url="/" method="GET"></http>
</request>
<request tag="image">
<http url="/foo.png" method="GET"></http>
</request>
Particulièrement utile lors des phases de debugging du scénario (le
tag est loggé avec dumptraffic="protocol")
Option -x
tsung -f SCENARIO.xml -x image start
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 38 / 58
40. loglevel
Le niveau de log est relatif à chaque scenario
emergency
critical
error
warning
notice (default)
info
debug
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 40 / 58
41. fichiers de log
Les logs sont tous présents sur le contrôleur mais séparé dans un
fichier par injecteurs.
tsung.dump
=ERROR REPORT==== 13-Mar-2014::09:13:12 ===
** State machine <0.64.0> terminating
** Last message in was {timeout,#Ref<0.0.0.168>,end_thinktime}
** When State == think
** Data == {state_rcv,none,
{{0,0,0,0},0},
undefined,0,10000,"127.0.0.1",8080,gen_tcp,
{proto_opts,negociate,10,600000,32768,32768,undefined,
undefined},
false,1,undefined,true,undefined,
{1394,698391,114389},
4,4,false,undefined,0,[],<<>>,
{http,0,0,-1,{none,none},false,false,{false,false},[]},
0,2,524288,524288,
{dyndata,[{tsung_userid,"2"}],{http_dyndata,"tsung",[]}},
ts_http,[],undefined,full}
** Reason for termination =
** {{badmatch,false},[{erl_eval,expr,3,[]}]}
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 41 / 58
42. Log
Le level notice permet par exemple l’accès aux variables
scenario
<dyn_variable name="code" re="HTTP/1.1 (d+)" />
tsung0@host.log
=INFO REPORT==== 23-Nov-2013::09:17:37 ===
ts_search:(6:<0.69.0>) DynVar (RE): Match (code=<<"200">>)
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 42 / 58
44. dumptraffic
dumptraffic="true" permet de logger l’intégralité du traffic entre les
injecteurs et la cible
tsung.dump
NewClient:1394697656.592317:1
load:1
Send:1394697656.612861:<7218.63.0>:GET /index.html?f=undefined HTTP/1.1
Host: 127.0.0.1:8080
User-Agent: tsung
Recv:1394697656.613965:<7218.63.0>:HTTP/1.1 200 OK
Server: Yaws 1.94
Date: Thu, 13 Mar 2014 08:00:56 GMT
Last-Modified: Tue, 26 Jun 2012 06:10:45 GMT
Etag: "3G0gq0ABxu9"
Content-Length: 1165
Content-Type: text/html
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
...
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 44 / 58
45. Backtrace
Une erreur dans le scenario génère une trace complète sur la console
lors du lancement
Example
Starting Tsung
"Log directory is: /tmp/20140313-0911"
2542- fatal: {endtag_does_not_match,
{was,transaction,should_have_been,setdynvars}}
Config Error, aborting ! {fatal,
{{endtag_does_not_match,
{was,transaction,should_have_been,
setdynvars}},
{file,"tiny.xml"},
{line,32},
{col,9}}}
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 45 / 58
46. Monitoring de la cible
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 46 / 58
52. Statistiques
request : Response time for each request.
page : Response time for each set of requests
connect : Duration of the connection establishment.
reconnect : Number of reconnection.
size_rcv : Size of responses in bytes.
size_sent : Size of requests in bytes.
session : Duration of a user’s session.
users : Number of simultaneous users (it’s session has started,
but not yet finished).
connected : number of users with an opened TCP/UDP
connection
custom transactions
HTTP status counter
Rodolphe Quiédeville (Freelance) Tsung - Leboncoin 13 mars 2014 52 / 58
