Something about DataStage, DataStage Administration, Job Designing,Developing, DataStage troubleshooting, DataStage Installation & Configuration, ETL, DataWareHousing, DB2,
Teradata, Oracle and Scripting.
Nuts & Bolts of DataStage
Home Interview Questions DataStage Scenarios Series Posts E­Books About Me !!
Monday, April 14, 2014
DataStage Scenario Problem ­­>  DataStage Scenario ­ Problem3
Solution Design :
a) Job Design :
Below is the design which can achieve the output as we needed. Here, we are reading seq file as a input, then data is passing through a Sort and
Transformer stage to achieve the output.
 
b) Sort Stage Properties
in Sort stage, we will sort the data based on column “Sq” in descending order.
DataStage Scenario ­ Design3 ­ job1
Total Pageviews
1 4 5 4 6 1 1
Search
Try Me
DataSet in DataStage
Issuing commands to a Queue Manager (runmqsc)
Hash Files in DataStage
XMeta DB : Datastage Repository
InfoSphere DataStage Jobstatus returned Codes from
dsjob
Conductor Node in Datastage
Schema File in Datastage
Sort stage to remove duplicate
14 Good design tips in Datastage
Datastage Coding Checklist
Must Reads
2   More    Next Blog» Create Blog   Sign In
 
c) Transformer Stage Properties
Here, we took 2 stage variable : StageVar, StageVar1
and their derivations are ­
StageVar1 = StageVar 
DSLink6.No = StageVar1
 
d) Output File
Before capturing the data into Sequential file. We will sort the data again in ascending order to get the output as we needed.
Get daily dose of Tech Food
Email address... Submit
DataStage4You
111 have us in circles View all
Follow
tech foodies
▼  2014 (103)
►  October (7)
►  September (9)
►  August (5)
►  July (12)
►  June (10)
►  May (13)
▼  April (10)
How to Create Custom Stages in
Datastage Parallel ...
Performance Tunings in DataStage
SQL Best Practices ­ Part1
DataStage Scenario ­ Design5 ­ job1
DataStage Scenario ­ Design4 ­ job1
DataStage Scenario ­ Design3 ­ job1
Some more design tips for DataStage Job
Developmen...
Setting up "CRON" Jobs in Nix
DataStage Naming Standard
DataStage error upon login: DSR.ADMIN:
Failed to a...
Blog Archive
By ETL DataStage at 22:34  2 Comments
Labels: Data, DataSet, DataStage, design, develop, input, output, problem, sort, transformer
►  March (9)
►  February (16)
►  January (12)
►  2013 (167)
►  2012 (175)
►  2011 (8)
Administration 
application  authorities
client  Code  column
commands  Concept
Configuration 
create  Data  database  DataSet
DataStage  DataWareHouse  DB2  DBMS
debug  delete  design  develop
difference  director
Documentation  dsenv  dsjob  DSRPC 
environment Errors  ETL 
file 
function 
Information input  install  Interview 
Job  keys  Link Linux list 
Logging Logical  logs lookup 
managers  message  queue
Metadata Model  MQ  names
Optimizing  Oracle 
output  Parallel  parameter  partition
performance  Physical 
port  problem  process 
Project  Putty Questions 
remove 
routine  rows 
scenario  Schema  Script 
Seq  File  sequence  Server  Service  Setting
Shell  shell  scripting 
sort source  SQL  stages
Tags Cloud
&PH& 421  advantage Agents aggregator
Answers  architecture ASB attribute 
backup basic binary block books Buffer certification  change
channel  checkpoint  cleanup  clear 
Column  Generator  compiler 
Conceptual  conductor  container  copy
counter  Crontab 
deadlock  deploy 
dimension  Dimensional 
DSparam  dump
duplicate encrypt engine  exception
execution export fact factless  FAQ  FileSet filter free ftp
fun  fundamentals granularity  Guest hadoop handling
hash  head hide horizontal  Host huge  hyperlink  import  increase
index  issue  istool Java
jdbc  join  leaders  listener load
local locks  Login  macro mail
maintenance  memory  merge 
modify Monitor  MQSC multiple 
NLS  node  notes  notification  odbc  odbc.ini  operator
orchadmin  ORLogging  orphan  OS  osh
package  Parallelism 
password peek  Perl phantom  pivot
player  Practices  profile
programming  purge  read registry
reject  release  report  Resource  Restart  Roles
row  generator  RTLogging  run  sample  SCD
scheduler  score  Scratch  section
session 
Share  shortcuts  show  slowly
snowflake solution  space  SSH 
Newer Post Older PostHome
Subscribe to: Post Comments (Atom)
2 Comments DataStage4You  Login
Sort by Best Share ⤤
Join the discussion…
• Reply •
Dhiraj Bhangale  •  4 months ago
Hi, 
If i try to generate auto id no. from ROW COLUMN NUMBER, it does not work. can someone please explain me why??
In such case, output is like as given below:­
sq no Next_val Row_Number
1 1000 0 0
2 2200 3030 1
3 3030 5600 2
4 5600 0 3
  1 △ ▽  
• Reply •
datastage4you      •  13 days agoMod > Dhiraj Bhangale
ROW COLUMN NUMBER is always start from '0' so get it correct no, you need to +1 each ROW COLUMN
NUMBER
 △ ▽  
Subscribe✉ Add Disqus to your sited Privacy
Favorite ★
Share ›
Share ›
Start  Stop 
surrogate  table  target  teradata
tips  tool  transformer 
Troubleshoot  Tutorial  Unix User
Utility  UV  variables 
warnings  WAS  websphere
windows  XMETA 
Standards  Star  statistics  status  storage
switch system  tail  temporary 
time  trace  transformation  trigger
tuning  type unique 
uvodbc.config  version  videos  view
Vincent  McBurney  Virtual 
write Write Range Map  xml z/OS
The postings on this site are my own and don't necessarily represent IBM's or other companies positions, strategies or opinions. All content provided on this blog is for informational purposes only. The owner of this
blog makes no representations as to the accuracy or completeness of any information on this site or found by following any link on this site. The owner will not be liable for any errors or omissions in this information
nor for the availability of this information. The owner will not be liable for any losses, injuries, or damages from the display or use of his information. //­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­
Disclaimer
Did you find this Blog helpful ?? Let me know @ www.facebook.com/datastage4you. Ethereal template. Powered by Blogger.

Data stage scenario design3 - job1

  • 1.
    Something about DataStage, DataStage Administration, Job Designing,Developing, DataStage troubleshooting, DataStage Installation & Configuration, ETL, DataWareHousing, DB2, Teradata, Oracle and Scripting. Nuts & Bolts of DataStage Home Interview Questions DataStage ScenariosSeries Posts E­Books About Me !! Monday, April 14, 2014 DataStage Scenario Problem ­­>  DataStage Scenario ­ Problem3 Solution Design : a) Job Design : Below is the design which can achieve the output as we needed. Here, we are reading seq file as a input, then data is passing through a Sort and Transformer stage to achieve the output.   b) Sort Stage Properties in Sort stage, we will sort the data based on column “Sq” in descending order. DataStage Scenario ­ Design3 ­ job1 Total Pageviews 1 4 5 4 6 1 1 Search Try Me DataSet in DataStage Issuing commands to a Queue Manager (runmqsc) Hash Files in DataStage XMeta DB : Datastage Repository InfoSphere DataStage Jobstatus returned Codes from dsjob Conductor Node in Datastage Schema File in Datastage Sort stage to remove duplicate 14 Good design tips in Datastage Datastage Coding Checklist Must Reads 2   More    Next Blog» Create Blog   Sign In
  • 2.
      c) Transformer Stage Properties Here, we took 2 stage variable : StageVar, StageVar1 and their derivations are ­ StageVar1 = StageVar  DSLink6.No = StageVar1   d) Output File Before capturing the data into Sequential file. We will sort the data again in ascending order to get the output as we needed. Get daily doseof Tech Food Email address... Submit DataStage4You 111 have us in circles View all Follow tech foodies ▼  2014 (103) ►  October (7) ►  September (9) ►  August (5) ►  July (12) ►  June (10) ►  May (13) ▼  April (10) How to Create Custom Stages in Datastage Parallel ... Performance Tunings in DataStage SQL Best Practices ­ Part1 DataStage Scenario ­ Design5 ­ job1 DataStage Scenario ­ Design4 ­ job1 DataStage Scenario ­ Design3 ­ job1 Some more design tips for DataStage Job Developmen... Setting up "CRON" Jobs in Nix DataStage Naming Standard DataStage error upon login: DSR.ADMIN: Failed to a... Blog Archive
  • 3.
    By ETL DataStage at 22:34  2 Comments Labels: Data, DataSet, DataStage, design, develop, input, output, problem, sort, transformer ►  March (9) ►  February (16) ►  January (12) ►  2013 (167) ►  2012 (175) ►  2011 (8) Administration  application  authorities client Code  column commands  Concept Configuration  create  Data  database  DataSet DataStage  DataWareHouse  DB2  DBMS debug  delete  design  develop difference  director Documentation  dsenv  dsjob  DSRPC  environment Errors  ETL  file  function  Information input  install  Interview  Job  keys  Link Linux list  Logging Logical  logs lookup  managers  message  queue Metadata Model  MQ  names Optimizing  Oracle  output  Parallel  parameter  partition performance  Physical  port  problem  process  Project  Putty Questions  remove  routine  rows  scenario  Schema  Script  Seq  File  sequence  Server  Service  Setting Shell  shell  scripting  sort source  SQL  stages Tags Cloud &PH& 421  advantage Agents aggregator Answers  architecture ASB attribute  backup basic binary block books Buffer certification  change channel  checkpoint  cleanup  clear  Column  Generator  compiler  Conceptual  conductor  container  copy counter  Crontab  deadlock  deploy  dimension  Dimensional  DSparam  dump duplicate encrypt engine  exception execution export fact factless  FAQ  FileSet filter free ftp fun  fundamentals granularity  Guest hadoop handling hash  head hide horizontal  Host huge  hyperlink  import  increase index  issue  istool Java jdbc  join  leaders  listener load local locks  Login  macro mail maintenance  memory  merge  modify Monitor  MQSC multiple  NLS  node  notes  notification  odbc  odbc.ini  operator orchadmin  ORLogging  orphan  OS  osh package  Parallelism  password peek  Perl phantom  pivot player  Practices  profile programming  purge  read registry reject  release  report  Resource  Restart  Roles row  generator  RTLogging  run  sample  SCD scheduler  score  Scratch  section session  Share  shortcuts  show  slowly snowflake solution  space  SSH 
  • 4.
    Newer Post Older PostHome Subscribe to: Post Comments (Atom) 2 Comments DataStage4You Login Sort by Best Share ⤤ Join the discussion… • Reply • Dhiraj Bhangale  •  4 months ago Hi,  If i try to generate auto id no. from ROW COLUMN NUMBER, it does not work. can someone please explain me why?? In such case, output is like as given below:­ sq no Next_val Row_Number 1 1000 0 0 2 2200 3030 1 3 3030 5600 2 4 5600 0 3   1 △ ▽   • Reply • datastage4you      •  13 days agoMod > Dhiraj Bhangale ROW COLUMN NUMBER is always start from '0' so get it correct no, you need to +1 each ROW COLUMN NUMBER  △ ▽   Subscribe✉ Add Disqus to your sited Privacy Favorite ★ Share › Share › Start  Stop  surrogate  table  target  teradata tips  tool  transformer  Troubleshoot  Tutorial  Unix User Utility  UV  variables  warnings  WAS  websphere windows  XMETA  Standards  Star  statistics  status  storage switch system  tail  temporary  time  trace  transformation  trigger tuning  type unique  uvodbc.config  version  videos  view Vincent  McBurney  Virtual  write Write Range Map  xml z/OS The postings on this site are my own and don't necessarily represent IBM's or other companies positions, strategies or opinions. All content provided on this blog is for informational purposes only. The owner of this blog makes no representations as to the accuracy or completeness of any information on this site or found by following any link on this site. The owner will not be liable for any errors or omissions in this information nor for the availability of this information. The owner will not be liable for any losses, injuries, or damages from the display or use of his information. //­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­ Disclaimer
  • 5.