Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

I Phone Presentation Jan Linden Gips


Published on

Published in: Technology, Business
  • Be the first to comment

I Phone Presentation Jan Linden Gips

  1. 1. VoIP on the iPhone – Imagine the Possibilities! Imagine the Possibilities! Jan Linden, VP of Engineering iPhone Developer Summit  20 October 2008
  2. 2. Evolution of IP Voice and Video  Processing Advanced Mobile and  Multimedia Capabilities Solutions Designed  Specifically for VoIP PSTN Solutions  Adapted for VoIP
  3. 3. Mobile Market Trends • Fixed Mobile Convergence – Mobile phone increasingly perceived as a computer d d i h l ki hi • Advanced operating systems such as Apple OSX are making this a  reality – Users expect to access the same applications available across multiple  platforms • Increased accessibility and affordability – Network operators are introducing new pricing models to  k d d l encourage uptake of data driven services and applications • IP networks enable more cost effective transport – Handset prices declining • iPhone 3G half the price of 1st Generation
  4. 4. Mobile Technology Trends • Migration from legacy cellular to next‐gen networks – Allows for faster data connection • Growth of Smartphone adoption – iPhone and other dual‐mode phones provide greater flexibility in  connecting to available networks l bl k – All‐in‐one devices able to run multiple applications efficiently • Consumers can place calls and receive data simultaneously • Development of 3rd Party Applications – Operating systems, like the Apple OS X, more conducive to advanced  3rd party applications  – VoIP over mobile in high demand
  5. 5. The iPhone as a VoIP Platform • iPhone most VoIP friendly phone on market… – Open APIs for easy development – Sufficient CPU resources – Support of wideband codecs – Intuitive UI makes for simple navigation between applications p g pp – Demand for 3rd party apps is higher than other phones • …but strengths present unique challenges – Running too many applications can drain resources – Usage scenarios can negatively impact voice quality With the right voice processing software, developing VoIP  applications is a cinch!
  6. 6. Technology Challenges – Network Connections • IP Networks – L t Latency – Jitter  – Packet loss • Wireless connections – Low signal strength – Interference from users in  same or neighboring  hb frequencies – Available bandwidth varies – Wi‐Fi access point Wi Fi access point  bottlenecks
  7. 7. Technology Challenges • Device Limitations – Limited processing power p gp – Battery life – Data intensive applications can  cause jitter • Mobile Environments – Tend to have excessive  background noise background noise – Hands Free operation enhances  acoustic echo
  8. 8. Impact of IP Networks Delay Packet Loss Network Jitter
  9. 9. Impact of IP Networks – Latency • Major effect is “stepping on each other’s talk” • Usage scenario affects annoyance factor – higher  delay can be tolerated for mobile devices • Long delays make echo more annoying
  10. 10. Sources of Latency • Codec • Capture Pre‐ Pre‐ Speech  Speech  IP  IP  A/D A/D processin Processing encoding Encoding interface Interface • Playout g • Network delay IP Network IP Network • Jitter buffer Post‐ Post‐ Post Speech  Speech Speech  Speech Jitter Jitter  Jitter • OS interaction i i D/A D/A processin Processing g decoding Decoding buffer Butter • Transcoding
  11. 11. Impact of Latency on Voice Quality 4 ore Mean Opinion Sco 3 2 1 0 250 500 750 One-w ay transmission time [ms] Data from ITU‐T G.114 • ITU‐T (G.114) recommends: – Less than 150 ms one‐way delay for most applications (up to 400 ms  acceptable in special cases) t bl i i l ) • Users have got used to longer delays – Still, low delay very important for high quality
  12. 12. Impact of IP Networks – Packet Loss and  Jitter • Packet Loss – Occurs due to flushed buffers in network nodes – Same effect if packets are too late to be used – Smooth concealment necessary • Network Jitter – Transmission time differs for each packet Transmission time differs for each packet – Jitter buffer necessary to ensure continuous playout – Trade‐off between delay and quality
  13. 13. Technology Challenges – Mobile Environments • Acoustic Echo – Speakerphone operation common for iPhones – Microphone and speaker close – High delay in VoIP makes echo more prominent • Background Noise – Environments inherently noisy – Usage scenarios can make  differentiating between speech and  noise difficult noise difficult
  14. 14. Technology Challenges – Devices • Limited Resources – Size limits processing power – Battery life also limited • VoIP Friendliness – Many smartphones limit access to  soundcard – Device buffers add latency y – Clock drift • Too much of a Good Thing – Running too many applications can drain Running too many applications can drain  resources – Multiple applications accessing network  j can result in jitter 
  15. 15. VoIP Design Considerations Speech Quality Quality Cost Time to Market Cost Signaling Ease of Use Flexibility y Infrastructure Network  Features Impairments Device  Power  Considerations C Consumptionti
  16. 16. Mobile VoIP Design Considerations Hardware Issues  Hardware Issues Codec Speech Codec (Processor, OS,  Acoustics, etc.) Network Hardware Coping with Network  Coping with Network Degredation Power Consumption VoIP Design Challenges Power Echo Cancellation Echo Cancellation Echo Environment – Background  Noise, Room Acoustics,  Additional Voice  etc. Processing Components g p Voice Environment
  17. 17. Speech Codec • Many conflicting parameters Packet‐loss  Complexity affect choice of codec affect choice of codec Robustness • Determines upper limit of  Delay Memory q quality y • Support of several codecs  Speech Codec necessary Input Signal  Input Signal Bit‐rate Robutness – Interoperability – Usage scenario Sampling  Quality Rate R • IPR issues a significant  concern
  18. 18. Audio Bandwidth Effect on Quality Quality CD ‐Audio GIPS Wideband Speech Std Wideband Speech p (e.g. G.722.2) GIPS Narrowband Speech Std Narrowband Speech  Implementation (PSTN) 200 ‐ 3400 Hz 3,4 4 kHz 6.4‐7.0 kHz 8 kHz 22.1 kHz Frequency • Better than PSTN quality is achievable in VoIP – Utilizing full 0 – 4 kHz band in narrowband – Wideband coding offers more natural and crispier voice
  19. 19. Recommendations • IP Networks – N No need for dedicated bandwidth if solution includes high  d f d di t d b d idth if l ti i l d hi h performance: • Bandwidth management • Robust codec framework – Low latency achieved by efficient jitter buffer • Audio – Hi h High quality audio is crucial  lit di i i l • Users expect the same quality they experience on the PC • Optimized Solutions p – Efficiency for ARM processors on iPhones – Reduce CPU constraint and increase battery life
  20. 20. Recommendations • Adaptive Jitter Buffer and PLC – Manage up to 30% packet loss Manage up to 30% packet loss – Adapt to network busts and excessive mobile jitter • Codecs Designed for IP Networks g – Work in tandem with jitter buffer to overcome packet loss – Can deliver Wideband experience – Robust and bit‐rate adaptive codecs necessary • Efficient use of the total available bandwidth Efficient use of the total available bandwidth • GIPS iLBC already in the iPhone, GIPS iSAC and other wideband  codecs provide even better user experience • Aggressive Voice Quality Enhancement – Detect and cancel background noise – Suppress acoustic echo
  21. 21. Recommendations • VoiceEngine Mobile for iPhone – Comprehensive package of voice processing components – Handles delay, jitter, packet loss and mobile environments – Optimized for iPhone and Smartphones – Efficient solution reduces CPU demands Efficient solution reduces CPU demands – Flexible and easy to integrate