“Capas de acceso a datos .NET
escalables de verdad contra SQL
Server”
Enrique Catalá Bañuls
@enriquecatala
ecatala@solidq.com
enrique@enriquecatala.com
MAD · NOV 24-25 · 2017

Temario
MAD · NOV 24-25 · 2017
1. Propuesta de problema
2. Patrones de acceso a datos
3. Objetos
4. Concurrencia
5. Almacenamiento

Enrique Catalá Bañuls
▪ Ingeniero Informático
▪ Microsoft Data Platform MVP
▪ Mentor en SolidQ
▪ Tuning y alta disponibilidad
ecatala@solidq.com www.solidq.com
@enriquecatala www.enriquecatala.com

Enrique Catala - ecatala@solidq.com - @enriquecatala
Mínimo
coste
Datos IoT
masivos en
formato
propietario
Procesamiento
complejo
previo
historificado
Historificado
no
dependiente
del nº de
eventos
Explotación de
datos
simultanea
¿De qué va esta
sesión?

Enrique Catala - ecatala@solidq.com - @enriquecatala
Mínimo
coste
Datos IoT
masivos en
formato
propietario
Procesamiento
complejo previo
historificado
Historificado no
dependiente del
nº de eventos
Explotación de
datos
simultanea
Problema a solucionar: Planteamientos
•C# y SQL Server
¿Tecnología a utilizar?
•Elijamos
¿Patron de acceso a datos?
•Patrones
Concurrencia
•Elijamos
¿Modelo de almacenamiento?

Tipología de
acceso
Por conjuntos Por cursores
Patrones de
bajo nivel
Dinámico
Adhoc
Parametrizable
Estático
Stored
procedures
Arquitecturas
Modelo
conectividad
Conectada
Desconectada
Modelo de
desarrollo
Manual
ORM

Enrique Catala - ecatala@solidq.com - @enriquecatala
DEMO1
ADHOC
VS
PREPARED QUERIES

Enrique Catala - ecatala@solidq.com - @enriquecatala
DEMO2
ROW BY ROW
VS
BATCH

Generalmente es preferible hacer menos operaciones a la
BBDD con mas conjuntos de filas

Enrique Catala - ecatala@solidq.com - @enriquecatala
DEMO3
LIST
VS
DICTIONARY

List<T>
O(n)
Dictionary<T,U>
O(1)

System.Collections.Concurrent
Proteje acceso a variables
Utiliza patrones como
ReaderWriterLockSlim
Evita lock(this)
No dejes
hilos
huerfanos
Concurrency Visualizer
for VS
Consideraciones concurrencia

Enrique Catala - ecatala@solidq.com - @enriquecatala
public void MethodWithLock()
{
lock (syncLock)
{
// código monothread
}
}
ESTO NO SE HACE!
Consideraciones concurrencia

Enrique Catala - ecatala@solidq.com - @enriquecatala
Patrón multiples lectores, un escritor
Consideraciones concurrencia
public class MultipleReadsOneWriter
{
private volatile int value;
private ReaderWriterLockSlim rwls;
public MultipleReadsOneWriter()
{
rwls = new ReaderWriterLockSlim(LockRecursionPolicy.NoRecursion);
}

Enrique Catala - ecatala@solidq.com - @enriquecatala
Bloqueo ligero para lectores
Consideraciones concurrencia
public int ReadValue()
{
int result = default(int);
rwls.EnterReadLock();
try
{
result = value;
}
finally
{
rwls.ExitReadLock();
}
return result;
}

Enrique Catala - ecatala@solidq.com - @enriquecatala
Bloqueo duro para escritores
Consideraciones concurrencia
public void WriteValue(int number)
{
rwls.EnterWriteLock();
try
{
value = number;
}
finally
{
rwls.ExitWriteLock();
}
}

Enrique Catala - ecatala@solidq.com - @enriquecatala
Tentativa de bloqueo y bloqueo posterior duro
Consideraciones concurrencia
public void WriteValueIfEqual(int compare, int number)
{
rwls.EnterUpgradeableReadLock();
try
{
int current = value;
if (current == compare)
{
rwls.EnterWriteLock();
try
{
value = number;
}
finally
{
rwls.ExitWriteLock();
}
}
}
finally
{
rwls.ExitUpgradeableReadLock();
}
}

Enrique Catala - ecatala@solidq.com - @enriquecatala
Lock free
Consideraciones concurrencia
•ConcurrentDictionary
Cargar diccionarios
•Modelo desconectado
•Secuencias
Reserva de IDs
•Lectura de datos IoT
•Inserción en
diccionario con ID
asignado en secuencia
Carga de eventos en
Diccionario vacío
•Código multihilo
lockfree
•Cada thread
independiente sobre el
mismo diccionario
Procesado multihilo
•BCP directo
Flush a BBDD

Enrique Catala - ecatala@solidq.com - @enriquecatala
Lock free
Consideraciones concurrencia
Cargar diccionarios
• ConcurrentDictionary
Reserva de IDs
• Modelo desconectado
• Secuencias
Carga de eventos
en Diccionario vacío
• Asignación de IDs
reservados
Procesado multihilo
Flush a BBDD
protected long GetDictionaryKey(String mykey)
{
try
{
long retorno = -1;
if (!MyDictionary.TryGetValue(mykey, out retorno))
{
GetNextSequenceValuesMyDictionary();
}
return (retorno);
}
catch (Exception)
{
throw;
}
}
EXEC sp_sequence_get_range @sequence_name = N'<sequence>' ,
@range_size = range_size ,
@range_first_value = range_first_value OUTPUT

Enrique Catala - ecatala@solidq.com - @enriquecatala
Lock free
Consideraciones concurrencia
Cargar diccionarios
• ConcurrentDictionary
Reserva de IDs
• Modelo desconectado
• Secuencias
Carga de eventos
en Diccionario vacío
• Asignación de IDs
reservados
Procesado multihilo
Flush a BBDD
Parallel.For(0,
numeroElementosAProcesar,
new ParallelOptions {
MaxDegreeOfParallelism = MAXDOP },
i =>
{
try
{
Event eventTmp;
if (DictionaryToFlush.TryGetValue(i,out eventTmp))
{
/// Your complex code goes here
///
... ... ... ... ... ... ... ... ... ...
DictionaryToFlush.TryUpdate(i, eventTmp);
}
}
catch (Exception e)
{
exceptions.Enqueue(e);
}
});

Enrique Catala - ecatala@solidq.com - @enriquecatala
Lock free
Consideraciones concurrencia
Cargar diccionarios
• ConcurrentDictionary
Reserva de IDs
• Modelo desconectado
• Secuencias
Carga de eventos
en Diccionario vacío
• Asignación de IDs
reservados
Procesado multihilo
Flush a BBDD
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(cn2))
{
bulkCopy.BulkCopyTimeout = 0;
bulkCopy.ColumnMappings.Add(“key", “key");
bulkCopy.ColumnMappings.Add(“Value", “value");
///Libreria FastMember (NuGet) para convertir al vuelo
///
using (var reader =
ObjectReader.Create(cdNew.Values, “key", “Value"))
{
bulkCopy.DestinationTableName = “YourTable";
bulkCopy.WriteToServer(reader);
}
}

Enrique Catala - ecatala@solidq.com - @enriquecatala
Almacenamiento columnar
Grandes volúmenes de datos
• Bloques mínimos de 1M filas
Elevada compression
Lectura minima de datos
Optimiza cache L2

Enrique Catala - ecatala@solidq.com - @enriquecatala
Almacenamiento in-memory
Otro motor relacional
Máximo
rendimiento
Compatibilidad
Lock free

Tipología de
acceso
Por conjuntos Por cursores
Patrones de
bajo nivel
Dinámico
Adhoc
Parametrizable
Estático
Stored
procedures
Arquitecturas
Modelo
conectividad
Conectada
Desconectada
Modelo de
desarrollo
Manual
ORM

Enrique Catala - ecatala@solidq.com - @enriquecatala
DEMO: TSQL Query Analytics
DW rendimiento queries
Alertas proactivas
PowerBI para análisis a cualquier nivel
PaaS
http://www.solidq.com/es/tsql-query-analytics/

• Evita procesados fila a fila
Capas de acceso a
datos
• La estructura de datos importa, no es todo BBDD
Complejidad
algorítmica
• Ya no estamos en los 90. Hasta tu móvil tiene 8
núcleos ☺
Consideraciones de
concurrencia
• Elige con criterio y úsalo bienORMs
• Un motor relacional no son solo tablas,
aprovecha la tecnología eficientemente.
Almacenamiento

ecatala@solidq.com
www.solidq.com
@enriquecatala
Gracias!!!