Novedades en SSIS 2016

2. Contenido de la sesión • Manejabilidad • Despliegues, debug, gestión de paquetes… • Conectividad • Nuevas conectividades on premise y cloud • Usabilidad • Mejora de experiencias de uso • Otras mejoras

3. Manejabilidad - Despliegues • Asistente de actualización de SSISDB • Soporte Always On en el catálogo • Despliegue de paquetes incremental • Soporte Always Encrypted en el catálogo

4. Manejabilidad - Debug • Nuevo rol ssis_logreader • Nuevo nivel de logging: RuntimeLineage • Nuevo nivel de logging “custom” en el catalogo • Nombres en columnas de error • Soporte para logging por defecto a nivel de servidor • Nuevas interfaces en la API

5. Manejabilidad – Gestión de paquetes • Mejora en la actualización de proyectos • Tamaño de buffer autoajustable • Plantillas de Control Flow reusables

6. Demo Autoajuste de buffer, Package part Incremental deployment Pakage part vs BIML

7. Conectividad – On premise • Soporte para Odata v4 • Soporte explícito para Excel 2013 y 2016 • Soporte para Hadoop File System (HDFS) • Componentes ODBC actualizados • Conector para SAP BW

8. Demo Conectar a sharepoint Excels y Excel aprox20

9. Conectividad – Cloud • Conectores Azure Storage • Tareas Hive y Pig para HDInsight

10. Usabilidad – Experiencias de uso • SSDT: Varias versiones de SSIS • Rendimiento de vistas del catálogo

11. Demo MiniDemo

12. Usabilidad – Otras mejoras • Balanced Data Distributor • Data Feed Publishing Components • Azure Blob Storage • Componentes CDC • Soporte de modelos tabulares • Servicios R built-in • Validación de modelos XML

13. Demo SSIS 2016 y PowerBI

14. Preguntas

15. También puedes preguntar tus dudas con el hashtag #SQSummit en Twitter ADAPTIVE BI FRAMEWORK Te ayudaremos a mejorar la velocidad de desarrollo de tu plataforma de analítica de negocio basada en nuestra experiencia: •Diseña antes de construir •Automatización de procesos por ETL •Servicios de mentoring para ayudarte a conseguir mejores prácticas para la construcción de procesos específicos y plataformas de analítica de negocio •Muy fácil de mantener SOLIDQ FLEX SERVICES Con SolidQ Flex Services evitarás sustos, consiguiendo que tus sistemas sean estables. Desde una solución sencilla de monitorización, hasta un servicio de atención de incidencias 24/7, mantenimiento proactivo, resolución de problemas y línea de soporte. Todo con un coste fijo mensual… y tú dedica el tiempo a las cosas importantes. ¡Gracias!

Editor's Notes

Vamos a dividir las novedades de SSIS en tres grandes grupos: Manejabilidad Conectividad Usabilidad / Productividad Mas información de las novedades en: https://msdn.microsoft.com/en-us/library/bb522534.aspx
Asistente de actualización de SSISDB: Sirve para actualizar la base de datos de SSISDB cuando esta es una versión inferior a la del servidor. Esto se podría dar en casos tales como: * Restauración de una base de datos SSISDB de una versión anterior * La base SSISDB estaba en un grupo de disponibilidad Always On, cuando se actualizó la versión del servidor. Durante la actualización, las bases de datos se ponen offline y no se actualizan. MIGUEL esto revísalo porque es muy por encima y a lo mejor no lo he entendido bien Nota: El wizard solo puede actualizar la base de datos si está en una instancia de servidor local Soporte “Always On” en el catálogo: gracias a la opción de Always on, y como en cualquier otra base de datos, podremos añadir la base de datos a un Grupo de disponibilidad de Always On. De esta manera, si se produce algún fallo, uno de los nodos secundarios toma el papel del nodo principal. Despliegue de paquetes incremental: a partir de ahora, cuando hagamos un despliegue de un proyecto de integration services, no será necesario desplegar todos los paquetes del proyecto, si no que podemos hacer una selección de los que queramos desplegar. Este despliegue incremental lo podremos hacer desde el Deployment Wizard, desde procedimientos almacenados y a través del API de modelo de objetos (MOM). En versiones anteriores se podía hacer una ñapa (workaround) renombrando el ISPAC a ZIP y borrando elementos del XML de despliegue, pero era tedioso o no siempre funcionaba correctamente. De hecho a mi nunca me ha ido bien, siempre me ha devuelto algún error de parseo del fichero XML Soporte para “Always Encrypted”: Con esta función se garantiza que nunca se van a enviar “datos sensibles” como texto plano a una instancia de SQL Server. Esta función solo está soportada con Connection Managers de tipo ADO .NET. Será necesario habilitar la propiedad “Column Encryption Setting” a ENABLED. Para los lookups hay un workaround que se puede hacer si tenemos conexiones OLEDB.
Nuevo rol ssis_logreader: en versiones anteriores, para poder acceder a las vistas que contenían información de salida de logging, era necesario que los usuarios formaran parte de ssis_admin. Se ha creado ahora un rol especifico para estos menesteres; el rol ssis_logreader Nuevo nivel de logging (RuntimeLineage): almacenará la información necesaria para “rastrear” la información de lineage del Data Flow. A través de esta informacion, podemos establecer las relaciones de “lineage” entre los distintos componentes. Nuevo nivel de logging en el catalogo: podremos crear y guardar múltiples niveles de logging customizados, y a la hora de ejecutar los paquetes seleccionar el que queramos usar. -Nombres de columnas en error: antes, cuando redirigíamos filas a error, obteníamos un código de error pero no podíamos identificar directamente que columna era la causante. Ahora, cuando usemos el DataViewer, a mayores de la descripción del error, podremos ver la columna en la que se produce. Tendremos además otras opciones para determinar dichas columnas que generan error Soporte para logging por defecto a nivel de servidor: podremos definir un modo de logging por defecto y este se aplicará a todos los paquetes que están desplegados en el miso. Para ello, en las propiedades de SQL Server, debemos establecer el valor de la propiedad “server logging level” Nueva interfaz en la API: Se ha agregado una nueva interfaz, IDTSCOMPONENTMETADATA130, que añade funcionalidades a la ya existente IDTSCOMPONENTMETADATA100. Se han añadido también IDTSINPUTCOLUMN130 e IDTSOUTPUTCOLUMN130
Mejora en la actualización de proyectos: cuando actualizamos proyectos desde versiones anteriores, veremos que los Connection Managers a nivel de proyecto seguirán funcionando correctamente. Así mismo, tanto el diseño del paquete como las anotaciones también se mantendrán inalterables. Entiendo que por diseño se refiere a que si tenemos los componentes ordenados en pantalla de alguna manera, prevalecerá ese orden. Tamaño de buffer autoajustable: Poniendo a TRUE la propiedad AutoAdjustBufferSize, haremos que el tamaño del buffer del Data Flow se calcule automáticamente por el motor. Se ignorará por lo tanto el valor de la propiedad DefaultBufferSize. Plantillas de Control Flow reusables: podemos guardar tareas o contenedores de Control Flow como plantillas independientes en ficheros. De esta forma las podremos utilizar en paquetes futuros y hacer la creación de los mismos más dinámica y sencilla. Estas plantillas reciben el nombre de Control Flow parts o Package parts.
Odata v4: se añade soporte para data sources Odata v4. Se soporta también el protocolo v3. Para cada protocolo se soportará lo siguiente: v3: formatos de datos JSON y ATOM v4: formatos de datos JSON Soporte específico para Excel 2013 y 2016: Excel 2013 se soporta a través de Excel Connection Manager, Excel Source, Excel Destination y el Wizard de Import y Export. Por otro lado, la versión 2016 se soporta a través de Excel Connection Manager, Excel Source y Excel Destination Soporte para Hadoop File System (HDFS): Disponibilidad de Connection Managers para conectarse a clusters Hadoop y tareas para poder hacer operaciones HDFS. El Connection Manager soporta autenticación básica y Kerberos. Los componentes HDFS File Source y HDFS File Destination soportan tanto los formatos Text como Avro. A mayores, el componente HDFS Files Destination soporta también el formato de ficheros ORC La tarea Hadoop File System ahora soporta también la opción CopyWithinHadoop Componentes ODBC actualizados: Tanto el Source como el Destination han sido actualizados para tener una compatibilidad completa con SQL Server 2016. Ojo, no se ha añadido ninguna funcionalidad nueva a los mismos Conector SAP BW: El conector forma parte del SQL Server 2016 Feature Pack
Conectores Azure Storage Tareas Hive y Pig Ambos forman parte del Azure Feature Pack para SSIS. Para poder instalar el pack es necesario el .NET Framework 4.5 Con este pack podremos establecer conexiónes con Azure, procesar datos alojados en Azure y transferir datos entre Azure y entornos on premise.
SSDT: En las Data Tools para Visul Studio 2015, podremos gestionar versiones de proyectos de SSIS desde la versión 2012 hasta la 2016. A la hora de desplegar los mismos, tendremos que tener en cuenta que versión de SQL Server está instalada en el servidor. En las propiedades del proyecto, concretamente en TargetServerVersion, deberemos indicar la versión en la que estamos trabajando. Como habíamos visto antes, se ha creado un rol nuevo dentro del catálogo para no tener que depender de ser parte del rol ssis_admin. Algunas de estas vistas tienen mejor rendimiento si son ejecutadas por usuarios que “NO” forman parten de ssis_admin. Cuanto menos me parece curioso
Balanced Data Distributor: La tarea Balanced Data Distributor ya está incluida en la instalación de SSIS. Antes era necesaria su descarga aparte Data Feed Publishing Components: Al igual que el Balance Data Distributor, estos componentes vienen de series con SSIS y no es necesaria una instalación a parte Azure Blob Storage: a partir de ahora, estará soportado en wl Wizard de Import and Export Componentes CDC: Han sido actualizados para tener total compatibilidad con SQL 2016. No se les ha añadido ninguna funcionalidad nueva Soporte de modelos tabulares: Todas las tareas que se podáin realizar contra SSAS, ahora podrán ser lanzadas contra modelos tabulares. La tarea Analysis Services Execute DDL ahora acepta comandos de lenguaje Tabular Model Scripting Servicios R built-in: ahora se soportan. A mayores de extraer y cargar datos, se podrán construir, ejecutar y reentrenar modelos R Validación de modelos XML: Antes, con la tarea XML Task, cuando validábamos un modelo obteníamos únicamente un TRUE o FALSE en función del resultado de la validación. Ahora, y gracias a la propiedad ValidationDetails, podremos obtener resultados “más ricos” en cuanto a información y localización de los errores (línea de error, …) OJO porue esto ultimo parece que desde 2012 R2 estaba disponible pero no documentado. Investigarlo

Novedades en SSIS 2016

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (18)

More from SolidQ

More from SolidQ (20)

Recently uploaded

Recently uploaded (11)

Novedades en SSIS 2016

Editor's Notes