Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Mth263 lecture 1


Published on

  • Be the first to comment

  • Be the first to like this

Mth263 lecture 1

  1. 1. MTH 263  Probability and Random Variables Lecture 1 Dr. Sobia Baig Electrical Engineering Department COMSATS Institute of Information Technology, Lahore
  2. 2. Contents• Probability and Random Variables‐brief Probability and Random Variables brief  introduction/motivation• Mathematical Models as tools in Analysis and Mathematical Models as tools in Analysis and  Design –D t Deterministic Models i i ti M d l – Probability Models• Examples Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 2
  3. 3. A Typical Communication System A Typical Communication System• Probabilistic methods in making decisions  / g about the transmitted/received message  Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 3
  4. 4. Digital Communication with  Probability of Error b bl f Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 4
  5. 5. Probability/ Uncertainty Element in  Systems• Wireless communication networks provide voice  e ess co u cat o et o s p o de o ce and data communications to mobile users in  severe interference environments.• The vast majority of media signals, voice, audio,  images, and video are processed digitally.• The systems the designers build are  unprecedented in scale and the chaotic  environments in which they must operate are  environments in which they must operate are untrodden terrritory. • So there is “Uncertainty” So there is  Uncertainty Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 5
  6. 6. Probability Models Probability Models• Probability models are one of the tools that Probability models are one of the tools that  enable the designer to make sense out of the  chaos and to successfully build systems that  chaos and to successfully build systems that are efficient, reliable, and cost effective Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 6
  7. 7. MATHEMATICAL MODELS AS TOOLS IN ANALYSIS  AND DESIGN AND DESIGN• Experiments: Costly way of testing a design or solve a  problem. • Model: Approximate representation of a physical situation. • Useful Model: Able to explain all relevant aspects of a given Useful Model: Able to explain all relevant aspects of a given  phenomenon. • Mathematical Models: If observational phenomenon has  measurable properties then a mathematical model  measurable properties then a mathematical model consisting of a set of assumptions about the system is  employed• Conditions under which an experiment is performed and a Conditions under which an experiment is performed and a  model is assumed are very critical. Change the assumptions  then a “good” model can be a great failure. Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 7
  8. 8. Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 8
  9. 9. Computer Simulations & Deterministic  Models  d l• Computer Simulation Models: They mimic or  p y simulate the dynamics of a system • Deterministic Models: Lab and textbook cases,  conditions determine outcome  conditions determine outcome• 1. Circuit Theory • 2 Ohm’s Law 2. Ohm s Law • 3. Kirchoffs’ Laws • 4 Transforms: FFT; Laplace Transforms 4. Transforms: FFT; Laplace Transforms • 5. Convolution :Input/output behavior of systems  with well‐defined coefficients  Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 9
  10. 10. Probability Models Probability Models • Probabilistic (Stochastic Random) Models: Probabilistic (Stochastic, Random) Models:  involve phenomena that exhibit unpredictable  variation and randomness.  variation and randomnessEx: Urn with three balls; (0,1,2  h h b ll (marked) ‐‐ Outcome: A number from the set { , , }{0,1,2} ‐‐ Sample Space: All possible outcomes of an experiment: S = {0,1,2}  Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 10
  11. 11. Statistical Regularity Statistical Regularity• Relative Frequency: Relative Frequency:  Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 11
  12. 12. Statistical RegularityStatistical RegularityProbability and Random Variables, Lecture 1, by Dr. Sobia Baig 12
  13. 13. Statistical RegularityStatistical RegularityProbability and Random Variables, Lecture 1, by Dr. Sobia Baig 13
  14. 14. Properties of Relative Frequency  Properties of Relative Frequency• Suppose a random experiment has K possible Suppose a random experiment has K possible  outcomes: S = {1,2,…,K}. Then in “n” trials we  have  haveEx: Consider the 3‐ball urn experiment A: even = {0,2} then,  Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 14
  15. 15. • Disjoint (mutually exclusive) events: If A or B Disjoint (mutually exclusive) events: If A or B  can occur but not both, then• Relative frequency of two disjoint events is  the sum of their individual relative frequency.  h f h i i di id l l i f• Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 15
  16. 16. Axioms of Probability Axioms of Probability• Kolmogorov’s axioms to form a Theory of Probability:  Assumptions: 1. Random experiment has been defined and the sample  space S has been identified. 2. A class of subsets of S has been specified. 3. Each event A has been assigned a number P(A) such that,  – 1 0 ≤ P(A) ≤ 1 1. 0 ≤ P(A) ≤ 1  – 2. P(S) = 1  – 3. If A and B are mutually exclusive events then  • P(A or B) = P(A) + P(B) P(A or B) = P(A) + P(B) • Kolmogorov’s axioms are sufficient to build a consistent  Theory of Probability.  Theory of Probability Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 16
  17. 17. Example• Example: Packet Voice Communication Example: Packet Voice Communication  system Efficiency • Due to silences voice communication is very Due to silences voice communication is very  inefficient on dedicated lines. It is observed  that only “1/3” of the time actual speech goes  through. How to increase this rate by using  prob. approaches??? • Solution: Error vs rate trade off in digital  information (BCS) transmission/storage  Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 17
  18. 18. Packet Voice Communication system  Efficiency (2) ff ( ) Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 18
  19. 19. Packet Voice Communication system  Efficiency (3) ff ( )• A is the outcome of a random experiment, determining which  p , g packets contain active speech• M<48 packets are transmitted every 10 ms• If A≤ M, then all packets are active• If A> M, then A‐M active packets are discarded randomly  Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 19
  20. 20. Packet Voice Communication system  Efficiency (4) ff ( )• E[A]=48*1/3 E[A]=48 1/3• E[A]=16 Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 20
  21. 21. ExampleProbability and Random Variables, Lecture 1, by Dr. Sobia Baig 21
  22. 22. Example: Signal Enhancement Using  Filters  l• Given a signal x(t) corrupted with noise and Given a signal x(t) corrupted with noise and  has a Signal‐to‐Noise Ratio value SNR. If you  filter this noisy signal with a properly designed  filter this noisy signal with a properly designed adaptive filter to suppress noise, we obtain an  enhanced signal, (smoothed by the filter.)  enhanced signal (smoothed by the filter ) Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 22
  23. 23. Example: Signal Enhancement Using  Filters  l Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 23
  24. 24. Resource Sharing Resource Sharing• Example: Multi User Systems with Queues: Example: Multi User Systems with Queues:  Resource sharing  Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 24
  25. 25. Multi User Systems with Queues:  Resource sharing  h Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 25
  26. 26. System Reliability: Cascade vs. Parallel  Systems • Issues: Need of a clock vs the system delay or Issues: Need of a clock vs. the system delay or  throughput rate.  Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 26
  27. 27. ProblemProbability and Random Variables, Lecture 1, by Dr. Sobia Baig 27
  28. 28. Reading Assignment Reading Assignment• Text Book Chapter 1 pages 17 ‐34 Text Book, Chapter 1, pages 17  34 Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 28
  29. 29. Summary• Mathematical Models – Relate system parameters and variables – Allow system designers to predict system performance by using  equations – Experimentation may be too costly Experimentation may be too costly – Experimentation may not be feasible• Computer simulation models predict system performance• Deterministic models give output of an experiment with an exact Deterministic models give output of an experiment with an exact  outcome• Probability models determine probabilities of the possible  outcomes• Probabilities and averages for a random experiment can be found  experimentally by computing relative frequencies and sample  averages in a large number of trials of experiment Probability and Random Variables, Lecture 1, by Dr. Sobia Baig 29