SSIS 2012: Parameters vs. ConfigurationsAllen Smith
The document discusses the differences between SSIS parameters and configurations in SQL Server 2008 R2 and 2012. In SQL 2008 R2, configurations included static configurations stored directly in packages and dynamic configurations stored in external files, databases or system variables. SQL 2012 introduced parameters which are more flexible than configurations and allow project-level values to be passed to packages during deployment to the SSIS catalog. The document provides examples of how configurations worked dynamically in 2008 R2 and how parameters function in 2012 projects.
This document discusses new features in SQL Server Integration Services (SSIS) 2012. It highlights features around deployment to the SSIS catalog (SSISDB), new variables for packages, projects, and environments, improved management and troubleshooting with reports and server environments, and enhanced development features including offline connections and parameters. The document also notes performance improvements from reduced memory usage and new data quality features using Data Quality Services cleansing.
This session was done during the SQL Saturdays #115 held in Portugal and provides a first look to the new SQL Integration Services (SSIS) version. For more details visit my blog at www.pedrocgd.blogspot.com
Real time big data analytics with Storm by Ron Bodkin of Think Big AnalyticsData Con LA
This talk provides an overview of the open source Storm system for processing Big Data in realtime. The talk starts with an overview of the technology, including key components: Nimbus, Zookeeper, Topology, Tuple, Trident. It looks at integration with Hadoop through YARN and recent improvements. The presentation then dives into the complex Big Data architecture in which Storm can be integrated . The result is a compelling stack of technologies including integrated Hadoop clusters, MPP, and NoSQL databases.
After this, we look at example use cases for Storm: real-time advertising statistics, updating a Machine Learned model for content popularity predictions, and financial compliance monitoring.
This document provides an overview of Talend's big data solutions. It discusses the drivers of big data including volume, velocity, and variety. It then describes the Hadoop ecosystem, including core components like HDFS, MapReduce, Hive, Pig, and HBase. The document outlines Talend's big data product strategy, including solutions for big data integration, manipulation, quality, and project management. It introduces Talend Open Studio for Big Data, an open source tool for designing Hadoop jobs with a graphical interface. Finally, it briefly discusses Talend's partnerships around Hadoop distributions.
This document provides an overview of advanced ETL techniques using Microsoft SQL Server Integration Services 2012 (SSIS 2012) and Talend Open Studio 5.4. It demonstrates how to use SSIS 2012 to create flat files, perform pivots with aggregations and derived columns, and import CSV files into SQL Server tables. It also shows how to use Talend to transform data into XML format that can be read by SSIS and map data between different schemas. The document includes examples of creating XML documents and validating data.
Storm: distributed and fault-tolerant realtime computationnathanmarz
Storm is a distributed real-time computation system that provides guaranteed message processing, horizontal scalability, and fault tolerance. It allows users to define data processing topologies and submit them to a Storm cluster for distributed execution. Spouts emit streams of tuples that are processed by bolts. Storm tracks processing to ensure reliability and replays failed tasks. It provides tools for deployment, monitoring, and optimization of real-time data processing.
This document discusses how to use Storm and Hadoop together to enable real-time and batch processing of large datasets. It describes using Hadoop to precompute batch views of data, and Storm to incrementally update real-time views as new data streams in. This allows for low-latency queries by combining precomputed batch views with real-time views that compensate for recent data not yet absorbed into the batch views.
SSIS 2012: Parameters vs. ConfigurationsAllen Smith
The document discusses the differences between SSIS parameters and configurations in SQL Server 2008 R2 and 2012. In SQL 2008 R2, configurations included static configurations stored directly in packages and dynamic configurations stored in external files, databases or system variables. SQL 2012 introduced parameters which are more flexible than configurations and allow project-level values to be passed to packages during deployment to the SSIS catalog. The document provides examples of how configurations worked dynamically in 2008 R2 and how parameters function in 2012 projects.
This document discusses new features in SQL Server Integration Services (SSIS) 2012. It highlights features around deployment to the SSIS catalog (SSISDB), new variables for packages, projects, and environments, improved management and troubleshooting with reports and server environments, and enhanced development features including offline connections and parameters. The document also notes performance improvements from reduced memory usage and new data quality features using Data Quality Services cleansing.
This session was done during the SQL Saturdays #115 held in Portugal and provides a first look to the new SQL Integration Services (SSIS) version. For more details visit my blog at www.pedrocgd.blogspot.com
Real time big data analytics with Storm by Ron Bodkin of Think Big AnalyticsData Con LA
This talk provides an overview of the open source Storm system for processing Big Data in realtime. The talk starts with an overview of the technology, including key components: Nimbus, Zookeeper, Topology, Tuple, Trident. It looks at integration with Hadoop through YARN and recent improvements. The presentation then dives into the complex Big Data architecture in which Storm can be integrated . The result is a compelling stack of technologies including integrated Hadoop clusters, MPP, and NoSQL databases.
After this, we look at example use cases for Storm: real-time advertising statistics, updating a Machine Learned model for content popularity predictions, and financial compliance monitoring.
This document provides an overview of Talend's big data solutions. It discusses the drivers of big data including volume, velocity, and variety. It then describes the Hadoop ecosystem, including core components like HDFS, MapReduce, Hive, Pig, and HBase. The document outlines Talend's big data product strategy, including solutions for big data integration, manipulation, quality, and project management. It introduces Talend Open Studio for Big Data, an open source tool for designing Hadoop jobs with a graphical interface. Finally, it briefly discusses Talend's partnerships around Hadoop distributions.
This document provides an overview of advanced ETL techniques using Microsoft SQL Server Integration Services 2012 (SSIS 2012) and Talend Open Studio 5.4. It demonstrates how to use SSIS 2012 to create flat files, perform pivots with aggregations and derived columns, and import CSV files into SQL Server tables. It also shows how to use Talend to transform data into XML format that can be read by SSIS and map data between different schemas. The document includes examples of creating XML documents and validating data.
Storm: distributed and fault-tolerant realtime computationnathanmarz
Storm is a distributed real-time computation system that provides guaranteed message processing, horizontal scalability, and fault tolerance. It allows users to define data processing topologies and submit them to a Storm cluster for distributed execution. Spouts emit streams of tuples that are processed by bolts. Storm tracks processing to ensure reliability and replays failed tasks. It provides tools for deployment, monitoring, and optimization of real-time data processing.
This document discusses how to use Storm and Hadoop together to enable real-time and batch processing of large datasets. It describes using Hadoop to precompute batch views of data, and Storm to incrementally update real-time views as new data streams in. This allows for low-latency queries by combining precomputed batch views with real-time views that compensate for recent data not yet absorbed into the batch views.
כפי שהבטחתי למשתתפים בסדנאות שהעברתי, אני מצרף את המצגת שהעברתי תחת הכותרת "IT חברתי". בחלקה הראשון של הסדנה עסקנו בלימוד עקרונות היסוד להתנהלות אפקטיבית בתחום מערכות המידע ותשתיות ה-IT: אילו שאלות אנו כמנהלי ארגונים חברתיים צריכים לשאול את עצמנו, כיצד בונים תוכנית IT רב-שנתית ושנתית, הסוגים השונים של תשתיות IT הנחוצות לניהול הארגון, "מעגל החיים" של מערכות מידע, וכמובן -- מהם הסודות לעבודה אפקטיבית מול ספקים בעולם ה-IT. לאחר החלק האינטנסיבי הראשון (וסנדביצ'ים לא רעים) עברנו לזיהוי הזדמנויות שפשוט "אסור לפספס". ההזדמנויות שהצגתי מאפשרות לארגונים חברתיים דלי תקציב ומשאבים לאמץ כלי IT מהשורה הראשונה, ומהוות את הסנוניות הראשונות של תוכנית הנגשת התוכנה אותה אנו מקימים בימים אלו בשת"פ עם ספקי תוכנה מובילים וארגון Techsoup Global.
1. מערכות ERP לפתעול היום יומי: דילמות ניהוליות. דרגות שונות של עומק היישום. best of breed מול מערכת ERP אחת.
2. ניהול תהליכים עסקים - BPM: מניהול טרנזקציות לניהול תהליכים. מחזור החיים של ניהול תהליכים. הפתרון של SAP.
3. ממידע לתובנה עסקית: מערכות BI
4. מחשוב ענן - cloud computing ומערכות ERP
5. פורטל ספקים ומוכרים - Ariba
How to leverage IT for the Procurement and Logistics processes in the modern enterprise?
Deep brief form operational system like ERP, through process manage,net like BPM, to insights to your business with BI system.
And finally, manage a global network of buyer and suppliers with the Ariba global network.
כפי שהבטחתי למשתתפים בסדנאות שהעברתי, אני מצרף את המצגת שהעברתי תחת הכותרת "IT חברתי". בחלקה הראשון של הסדנה עסקנו בלימוד עקרונות היסוד להתנהלות אפקטיבית בתחום מערכות המידע ותשתיות ה-IT: אילו שאלות אנו כמנהלי ארגונים חברתיים צריכים לשאול את עצמנו, כיצד בונים תוכנית IT רב-שנתית ושנתית, הסוגים השונים של תשתיות IT הנחוצות לניהול הארגון, "מעגל החיים" של מערכות מידע, וכמובן -- מהם הסודות לעבודה אפקטיבית מול ספקים בעולם ה-IT. לאחר החלק האינטנסיבי הראשון (וסנדביצ'ים לא רעים) עברנו לזיהוי הזדמנויות שפשוט "אסור לפספס". ההזדמנויות שהצגתי מאפשרות לארגונים חברתיים דלי תקציב ומשאבים לאמץ כלי IT מהשורה הראשונה, ומהוות את הסנוניות הראשונות של תוכנית הנגשת התוכנה אותה אנו מקימים בימים אלו בשת"פ עם ספקי תוכנה מובילים וארגון Techsoup Global.
1. מערכות ERP לפתעול היום יומי: דילמות ניהוליות. דרגות שונות של עומק היישום. best of breed מול מערכת ERP אחת.
2. ניהול תהליכים עסקים - BPM: מניהול טרנזקציות לניהול תהליכים. מחזור החיים של ניהול תהליכים. הפתרון של SAP.
3. ממידע לתובנה עסקית: מערכות BI
4. מחשוב ענן - cloud computing ומערכות ERP
5. פורטל ספקים ומוכרים - Ariba
How to leverage IT for the Procurement and Logistics processes in the modern enterprise?
Deep brief form operational system like ERP, through process manage,net like BPM, to insights to your business with BI system.
And finally, manage a global network of buyer and suppliers with the Ariba global network.
2. NAYA College
www.naya-college.co.il
הנדיב 'רח17,הרצליה ,הנדיב בית
:טל310-4456622|:פקס310-4456271
אחרונות בשנים,מקימיםרבים ארגוניםומערכות נתונים מחסניBIכיצד יודעים אינם מרביתם ,זאת עם אך
בשלבים הנדרשים ,מגוונות ומיומנויות רבים כלים כולל זה הכשרה מסלול .אגרו אשר בנתונים בתבונה להשתמש
בארגון הנתונים עם העבודה של השונים–ה ברמת שאילתות מביצוע החל-SQLשליטה דרך ,בכליBIבשכיחים
כגון ,בשוק היום ביותרSSIS,SSRS,SSASהכלים ,ולדיווח לאינטגרציה מתקדמים.
,מזו יתרהה עולם-BIהחדששופעהיוםהמאפשרים מתקדמים בכליםSelf-Service BI,ותופס האנליסט תפקיד
יותר מקוםמשמעותי ויותראנשי על להסתמך נדרש אינו הוא שכןITו-BIשהוא המודלים את לבנות בכדי מסורתי
.צריךד שמנו לכןגשהכשרה מסלולכלי עלה-Self-Service BIבעולם החזק–Excel BIו-Power BI.
.וגובר הולך שרק השניים של ולשילוב ,והטכנולוגי העסקי בעולם המתרחשים לשינויים עדים אנחנוו,למעשהניתוח
יכולת בעלי להיות אנליסטים של הבא הדור על .מספיקים אינם בדיעבד לקחים והפקת נתונים,מגמות ,תחזיות להציג
לדעת היא החוכמה אולם ,בארגונים השונות במערכות כיום קיימים אמנם הנתונים .מתאימה לפעולה והצעות תובנות
.לעתיד הצפויה המגמה את לנבאליישם אנליסט של יכולת ביטוי לידי באה וכאןשל אלגוריתמיםMachine
Learningו-Data Miningולחיזוי עסקי לניתוח.ביצועיםב העקרונות את נפנים תחילה-Excelנראה מכן ולאחר ,
יותר הרבה חזק בכלי שימוש לעשות כיצד–שפתR.
יעד קהל
המסלולהמחשב הניהול/כלכלה/סטטיסטיקה/מתמטיקה/מדעי בתחומי לאקדמאים מיועד/ורקע בעלי למועמדים או
.מוכח ועסקי טכנולוגי
קדם דרישות
הכרותטובהאקס עםל-חובה
נתונים ניתוח בתחום מעשי נסיון-יתרון
סילבוס
Part 0: Preparatory Module
לשפת מכינה שיעוריSQL.מעשי תרגול הכוללים נתונים במסדי ביותר בסיסיים ולמושגים
Setting up development environment
o Introducing SQL server Management Studio
Querying Data Using T-SQL Language
o Basic Concepts of Databases
o SQL Server Data Types
o Retrieving Data: SELECT Statement
o Filtering Data: WHERE, Logical Operators and Expressions
o Organizing Retrieved Data: ORDER BY, GROUP BY, TOP
o Using System Supplied Scalar Functions
o Multiple Table Access: JOINs
o Using Simple Sub-Queries
o Updating Data Using DML Statements: UPDATE, INSERT, DELETE
3. NAYA College
www.naya-college.co.il
הנדיב 'רח17,הרצליה ,הנדיב בית
:טל310-4456622|:פקס310-4456271
Part 2: Database Desgin & Advanced T-SQL Programming
בסיסית הבנה לתלמידים מקנה זה חלקבשפת בשימוש וכן ,שלהם הפיזית התצורה ובהגדרות נתונים מסדי בהקמת
SQLאובייקטים של ליצירה.
Data Modeling Basics and Data Objects
o RDBMS Modelling Basics: Relations and Normalizations
o SQL Server Data Types
o Creating Schemas, Tables, Keys and Constraints
o DDL - Data Definition Language: Create, Drop, Alter & Truncate
o Indexes Overview
מקנה ,זה חלקבשפת התכנות בעקרונות בסיסית הבנה לתלמידיםT-SQLלעיבוד תוכניות של כתיבתה לצורך
.)פונקציות ,פרוצדורות ,לולאות ,(תנאים נתונים
T-SQL Programming and Implementing Code Objects:
o Basic T-SQL Programing: Variables, IF function, Loops
o Basic Analytic Functions.
o Code Objects: Views, Stored procedures, Functions
Part 3: Data Warehouse & BI Fundamentals
עסקית לבינה מבוא–העקרונות את להציג המיועד חלקועיצוב בתכנון הבסיסיםמחסן.נתונים
o Business Intelligence and Data Warehousing
o Defining Data Warehouse Concepts and Terminology
o Planning and Managing the Data Warehouse Project
o Designing Dimensional Model
Part 4: Integration Services 2014 (SSIS)
זה חלקמתמקדבסיסי בלימודתהליכי של והקמה בתכנוןETLמבוססיםSSISלהעביר ,לגזור נלמד זה במודול .
.בסיסית ברמה הנתונים מחסן אל שונות ממערכות נתונים ולטייב
o Introduction to ETL architecture
o Introduction to Microsoft SQL Server Integration Services.
o Basic Data Flow Task Transformations.
Part 5: Reporting Services 2014 (SSRS)
דוחות לייצר נלמד ,זה בחלקBIמבוססי למנהליםReporting Servicesלפורטל הדוחות את לפרסם נלמד ,כן כמו .
הדוחות-Report Managerבעזרת אותם ולערוךReport Builder.
o Introduction to Microsoft SQL Server Reporting Services
o Creating a Report with Report Designer
o Grouping and Aggregating Data in a Report
o Showing Data Graphically
o Filtering Reports By Using Parameters
o Overview of Managing Report Manager
o Introduction to Report Builder
4. NAYA College
www.naya-college.co.il
הנדיב 'רח17,הרצליה ,הנדיב בית
:טל310-4456622|:פקס310-4456271
Part 6: Analysis Services 2014 (SSAS)
( ממדיות רב קוביות להקים נלמד ,זה בחלקOLAP Cube)ממדיות רב קוביות .הקוביה ותחקור ,בסיסית ברמה
.ממדיים רב נתונים מודלי של ועיצוב ניתוח לבצע מאפשרות
o Introduction to Microsoft SQL Server Analysis Services
o Creating Data Sources and Data Source Views
o Creating an OLAP Cube
o Configuring Dimensions & Hierarchies
o Importing a OLAP Cube to Excel and creating Dashboards, including Slicers,
Timelines, Conditional Formatting, Data bars, and Sparklines
o Analyzing OLAP Cube Data Using PivotTables and Pivot Charts
o Using Cubes Key Performance Indicators and Calculated Measures
Part 7: Excel 2016 Advanced
.באקסל מתקדמים נושאים על חזרה שיעור
o Advanced Excel for Data Analyst
o Working with tables in Excel: Functions: sorting, filters, conditional formatting
o V-lookup
o Working with pivot table
Part 8: PowerPivot & Power BI
Power BIפלטפורמת הינהBI.מיקרוסופט מבית מהפכניתהמרכיבים את נלמד ,זה בחלקשל השוניםPower BIו-
Excel BIבאמצעות ומגוונים שונים ממקורות נתונים למשוך נלמד ,ביניהם והקשרPOWER QUERYמבנה להקים ,
בעזרת טבולרי נתוניםPowerPivotבעזרת אינטראקטיביים דוחות הקצה למשתמש ולהציגPowerViewו-Power
BI.
Connecting to various Data sources using Power Query For Excel
o Pulling data from Sql Server, CSV Files, The internet and more
o Data cleansing
o Data mashups
o Advanced topics : Join, Union and Functions
Creating a Tabular Data Model by Using Power Pivot for Excel
o Creating and Managing Table Relationships
o Data Modelling
o Hierarchies
o Using PivotTables and PivotCharts
o Using Slicers
o Best practice with the vertipaq engine
DAX Fundamentals
o Introduction to DAX
o Evaluation contexts and CALCULATE
o Advanced DAX functions
Building BI Dashboards With Power BI
o What Is Power BI
o Power BI Desktop ingredients (Looks familiar ?)
o Building interactive reports and Dashboards with POWER BI
5. NAYA College
www.naya-college.co.il
הנדיב 'רח17,הרצליה ,הנדיב בית
:טל310-4456622|:פקס310-4456271
o Advanced Power BI Topics: Power BI Service, Custom vis and more
Part 9: IBM Cognos Software
מערכת בעזרת נתונים וניתוח דוחות פיתוחBIחברת שלIBM–Cognos.
o Introduction to IBM Cognos Software
o Introduction to Framework Manager
o Capabilities of Cognos Connection
o Building basic reports with Query Studio
o Advanced Query Studio
o Overview of Analysis Studio
o Building basic reports with Report Studio
Part 10: Introduction to BigData, Hadoop & MapReduce
עולם בין הקשר מהו נבין זה במודולBig Dataו-Data Analyses.
o What is BigData and why it is important to my business?
o Bringing BigData to my organization - concepts and guidelines.
o BigData on relational databases - why do and why not?
o Hadoop and MapReduce Basics
o Introduction to NoSQL
Part 11: Internship Project
(סה"כ ההתמחות פרויקט תהליך23בין אינטגרציה לבצע ,המקצועית ההכשרה לבוגרי מאפשר ,)משולבות שעות
מעש ניסיון לצבור ,במסלול שנלמדו השונים התכניםכעובדים דרככם את לבנות כדי ,נכונות עבודה דרכי ויקנה י
.בישראל ההייטק תעשיית ,בתחום
Part 12: Predictive Analytics
ה מעולם שונים מודלים ונסקור ,)ועוד סגמנטציה ,קלסיפיקציה ,חיזוי ,(שיערוך החיזוי בעיות סוגי את נכיר זה במודול-
Data Miningוה-Machine Learningלפגולמיים נתונים מתרגמים כיצד ונראה לחיזוי מודלים לתכנן נלמד .תרונן
ב העקרונות את נפנים תחילה .החלטות קבלת של מתוחכמים למנגנונים שונים ממקורות-Excelנראה מכן ולאחר ,
יותר הרבה חזק בכלי שימוש לעשות כיצד–שפתR.
Introduction
o What is Predictive Analytics?
o Data sources
o Data manipulations
Problems and Models in Predictive Analytics
o Regression problems
o Forecasting problems
o Classification problems
o Association rules problems
Predictive Analytics with Excel
o Data Mining add-in
o Analysis ToolPak add-in
Predictive Analytics with R
o Introduction to R
o Models Implementation