Complex Event Processing      Progres Tesis 25 Oktober 2012Rahadian Dustrial Dewandono – 5111201901
Arsitektur Perangkat Lunak         Event-Driven                  Service Oriented Architecture.         Architecture.     ...
Service-Oriented ArchitecturePerangkat lunak sebagai sekelompok komponen yang memaparkan antarmukayang dapat dipanggil ole...
Layanan (Service) Layanan merupakan suatu unit fungsional yang tidak berpasangan, tidak  terasosiasikan, serta tidak memi...
Solusi Modular dengan SOA
Service dalam Implementasi Perangkat Lunak Dalam implementasinya, sebuah service dapat direpresentasikan dalam  sebuah we...
Contoh Aplikasi dengan SOA Jenis aplikasi yang cocok untuk dibangun dengan pendekatan SOA  adalah jenis aplikasi modular ...
Event-Driven ArchitecturePerangkat lunak sebagai sekelompok komponen yang saling berbagi event untukmenjalankan fungsi bis...
Event Event merupakan segala hal yang dapat dicatat dan terjadi di dalam atau  di luar proses bisnis. Sebuah Event dapat...
Event vs Data
Event dalam Dunia Nyata
Contoh Sebuah EventHappening          Observation                            Message•Panggilan dari    •Record pada CRM te...
Event dalam Implementasi Perangkat Lunak Dalam implementasinya, sebuah event dapat direpresentasikan sebagai  sebuah even...
Contoh Sebuah Event IntanceEvent Header               Event BodyEvent ID, Waktu Terjadi,   DataIntervalEvent Header       ...
Event-Driven Architecture (EDA) Event berperan sebagai penyebab terjadinya interaksi  antarkomponen pada Event-Driven Ars...
Call vs EventEDA memungkinkan pemrograman tanpa menggunakan call stack
Event-Driven ModelEvents    Antrian Event                     Event Loop                                  Event Handlers
Mekanisme pada EDAAplikasi dibangun dari sekumpulan service yang berkomunikasi melaluikanal (channel)
Mekanisme pada EDAMekanisme interaksi publish/subscribe memungkinkan satu sumberdiakses oleh banyak komponen secara bersam...
Lapisan-Lapisan pada EDA Event Generator    Lapisan ini berfungsi sebagai lapisan pembuat event. Tugas lapisan ini adalah...
Publisher-Subscriber Publisher / Source merupakan komponen arsitektur perangkat lunak yang  berperan untuk menyebarkan ev...
Tipe-Tipe EDA Simple Event Processing   Mengelola event yang saling berkaitan secara spesifik, terukur, dan dalam   kondi...
Simple Event Processing
Event Stream Processing
Complex Event Processing
Komponen2 pada Implementasi EDA
Contoh Aplikasi dengan EDA Aplikasi yang cocok untuk dibangun dengan pendekatan EDA adalah  jenis aplikasi yang mementing...
SOA vs EDA
Perbedaan SOA dan EDAService Oriented Architecture          Event-Driven Architecture Interaksi bersifat loosely coupled ...
Request/Reply vs Publish/SubscribeRequest/Reply                        Publish/Subscribe Menghubungkan sekelompok        ...
Kapan menggunakan SOA atau EDA [1]Menggunakan pendekatan SOA, jika terdapat Interaksi secara vertikal di antara layer-lay...
Kapan menggunakan SOA atau EDA [2]Menggunakan pendekatan EDA, jika terdapat Komunikasi secara horisontal di antara lapisa...
Kapan menggunakan SOA atau EDA [3]
Perkembangan SOA
Transisi SOA
Trend Riset SOA
SOA Tingkat Lanjut (Advanced SOA)Untuk memperolah hasil maksimum dari penggunaan SOA dapat digunakan metodepenggabungan an...
Advanced SOA / SOA 2.0
Advanced SOA / SOA 2.0 SOA 2.0 adalah pengembangan dari SOA berupa hasil penggabungan antara    SOA dengan EDA.   Dengan...
Event-Driven SOAPerangkat lunak yang menggabungkan konsep SOA dan konsep EDA
Event-Driven Service Oriented Architecture
Gambaran ED-SOA terhadap Aliran Event
Gambaran Interaksi Antarkomponen pada ED-SOA
Keunggulan ED-SOA Service dapat digunakan kembali Sistem dapat dengan mudah diperbarui
Keunggulan ED-SOA Uji coba services dapat dilakukan secara terisolasi
Keunggulan ED-SOA                           Temporal decoupling Setiap service tidak dapat menghalangi service yang lainn...
Keunggulan ED-SOA                  Dapat memanfaatkan Adaptor Service Adaptor service merupakan service yang berperan unt...
Complex Event ProcessingSuatu mekanisme untuk menganalisis, menyaring, dan memberikan tindakanreaksi terhadap event-event ...
Sejarah CEPCommand-and-Control Strategy Menghubungkan seluruh informasi yang tersedia Menentukan taktik berdasarkan stra...
Event-Event di Dunia Nyata
PermasalahanSimple Event Processing dan Event-Stream Processing tidak dapatmengakomodasi pengolahan event-event yang kompl...
CEP sebagai Solusi Pengolahan Event Kompleks
CEP seperti PayungCEP dapat diibaratkan sebagai suatu payung yang dapat menfiltrasialiran event. Event yang diambil hanyal...
Data Fusion
Perawatan Sistem berdasarkan Kondisi
Gambaran Arsitektural CEP
Contoh Produk Arsitektur CEP
CEP vs EDA vs SOA
CEP vs DBMS                        Database                     CEPQueries                 Ad hoc on stored data        Co...
JENIS APLIKASIYANG TEPAT JIKA DIGUNAKAN CEPMonths                                                                         ...
CEP sebagai Solusi Permasalahan       pada Perusahaan
Perusahaan terdiri dari berbagai event kompleks namunpengolahan event masih dilakukan secara manual.
CEP mengotomatiskan sebagian atau seluruh fase analisispada pengolahan event-event yang ada.
Nilai Analisis Waktu                                                                                                      ...
Manfaat Penggunaan CEP
Dapat mengolah informasi dengan lebih cepat
Mengantisipasi pengolahan informasi yang berlebihan
CEP dapat menganalisi Pola dari Sekumpulan Event
CEP dapat Mengolah Event berdasarkan Aturan
Memiliki kualitas pengambilan keputusan yang lebih baik
Virtuous Cycle: Monitor, Manage, MineIndustry trends                                            CEP advantage• Data acquis...
Contoh Skenario
Berbagai Domain Aplikasi yang Membutuhkan CEP        Manufacturing:            Web Analytics:          Financial Services:...
Penggunaan CEP pada Aplikasi Perusahaan
Demo Scenario: Market Monitor                                                                     Real-time               ...
Use Case: NBC Sunday Night Football                                      SQL Adapter                StreamInsight         ...
Use Case: Data Center Power Consumption                        Visualize    Process    Information                        ...
Contoh Platform CEP
Contoh Platform CEP milik Microsoft Sources                      Caching   Processing      Distribution               Visu...
StreamInsight sebagai Platform CEP                                             StreamInsight                              ...
Contoh Platform CEP LainnyaStreamBase http://www.streambase.com/Sybase CEP http://www.sybase.com/products/financialservi...
Contoh Aplikasi dengan Solusi yang       menggunakan CEP
Aplikasi Pemantauan Web Memperoleh aliran event berupa klik pada server web tertentu Menyediakan papan kendali (dashboar...
CEP sebagai Solusi Scenario: Real-time Behavioral Targeting   Continuously analyze online behavior per user   Identify ...
Microsoft Shuttle Tracker Plot current position for  Redmond campus  shuttles Track specific shuttles Identify when shu...
Vertical: Power Utilities Scenario: Smart grid   Instrument households with smart power meters   Continuous, up-to-date...
Vertical: Retail (Online and Traditional) Scenario: Real-Time Coupon   Provide most relevant/appealing coupon upon check...
Proyeksi dan Masa Depan Complex Event Processing
Status Trend CEP saat ini Event Processing is now emerging as a research discipline The state is similar to the state of...
Complex Event Processing di tahun 2018 Event Processing repeats (in 30-something years offset) the success of “Data  Mana...
Tantangan: Advanced CEPIntelligent CEP• Adaptive• Learning• Logic• AISemantic CEP• Ontologies + Logic• Text / language int...
Tantangan: Semantic Networking Event Monitoring Architecture
Tantangan: Model Konseptual The “Event Processing Network” introduced by Prof. David  Luckhamfrom Stanford has wide accep...
Tantangan: Model Pemrograman Meta-Language that will include:   Programming in the large: declarative specification of t...
Tantangan: Skalabilitas dan Optimalisasi Continuous self-optimization of an EP application based on multiple optimization...
Tantangan: Lebih dekat dengan bisnis pelanggan Domain specific templates based on business vocabularies The direction: f...
Tantangan Lainnya Advance “Intelligent Event Processing” Pattern mining Predicted events and their handling Handling of...
Referensi
 Sybase, Sybase CEP Implementation Methodology for Continuous    Intelligence, 2011   Complex Event Processing with XCha...
Complex Event Processing      Progres Tesis 25 Oktober 2012Rahadian Dustrial Dewandono – 5111201901
Upcoming SlideShare
Loading in...5
×

Complex Event Processing

1,419

Published on

This is the progress report of my thesis about Complex Event Processing.

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,419
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
0
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Complex Event Processing

  1. 1. Complex Event Processing Progres Tesis 25 Oktober 2012Rahadian Dustrial Dewandono – 5111201901
  2. 2. Arsitektur Perangkat Lunak Event-Driven Service Oriented Architecture. Architecture. Perangkat lunak sebagai sekelompok komponen yang memaparkan antar Perangkat lunak sebagai sekelompok muka yang dapat dipanggil oleh komponen yang saling berbagi event komponen lain secara berantai melalui untuk menjalankan fungsi bisnis. proses request/reply.
  3. 3. Service-Oriented ArchitecturePerangkat lunak sebagai sekelompok komponen yang memaparkan antarmukayang dapat dipanggil oleh komponen secara berantai lain melalui prosesrequest/reply. SOA menggunakan proses bisnis dalam bentuk paket layanan.
  4. 4. Layanan (Service) Layanan merupakan suatu unit fungsional yang tidak berpasangan, tidak terasosiasikan, serta tidak memiliki proses saling memanggil di antara satu dan lainnya. Setiap layanan mengimplementasikan satu aksi, seperti mengisi formulir online pada sebuah akun, melihatkan status bank, atau mengeksekusi pemesanan tiket secara online. Dengan SOA, sebuah aplikasi dapat dibangun dengan lebih modular dan efisien dalam penggunaan layanan. Service dapat digunakan secara berulang-ulang (reuseable functions)
  5. 5. Solusi Modular dengan SOA
  6. 6. Service dalam Implementasi Perangkat Lunak Dalam implementasinya, sebuah service dapat direpresentasikan dalam sebuah web service. Web-Service menggunakan bahasa WSDL, sebuah bahasa berbasis XML, sehingga dapat diterima oleh mesin pengolahan dari berbagai jenis vendor. Service berinteraksi dengan cara request-reply. Terdapat komponen yang berperan sebagai penyedia service. Komponen lain meminta service tertentu, kemudian penyedia memberi balasan yang sesuai.
  7. 7. Contoh Aplikasi dengan SOA Jenis aplikasi yang cocok untuk dibangun dengan pendekatan SOA adalah jenis aplikasi modular yang mengolah data pada basis data. Contohnya: Aplikasi penggajian pegawai, aplikasi pencatatan stok barang, aplikasi pencatatan transaksi pada bank.
  8. 8. Event-Driven ArchitecturePerangkat lunak sebagai sekelompok komponen yang saling berbagi event untukmenjalankan fungsi bisnis. Pada EDA, arsitektur yang dibangun mengutamakan padaproses produksi, deteksi, konsumsi, and reaksi dari event. Interaksi dilakukan denganmodel interaksi publish-subscribe.
  9. 9. Event Event merupakan segala hal yang dapat dicatat dan terjadi di dalam atau di luar proses bisnis. Sebuah Event dapat mengandung hal yang sedang terjadi dan merubah suatu keadaan (happening), hal yang mengobservasi entitas tertentu (observation), dan sebuah pesan sederhana (message).
  10. 10. Event vs Data
  11. 11. Event dalam Dunia Nyata
  12. 12. Contoh Sebuah EventHappening Observation Message•Panggilan dari •Record pada CRM terhadap •Pesan dalam bentukpelanggan panggilan dari pelanggan Queued Point-to-•Debit bank •Pelaporan ATM terhadap Debit Bank Point•Gerakan pesawat •Pelaporan posisi pesawat pada radar •Pesan dalam bentuk Publish-Subscribe
  13. 13. Event dalam Implementasi Perangkat Lunak Dalam implementasinya, sebuah event dapat direpresentasikan sebagai sebuah event instance. Sebuah event instance memiliki Event Header dan Event Body. Event Header berisi informasi mengenai Event itu sendiri. Event Body berisi data penting yang akan dapat diolah.
  14. 14. Contoh Sebuah Event IntanceEvent Header Event BodyEvent ID, Waktu Terjadi, DataIntervalEvent Header Event BodyEvent ID=1123, Waktu Nama: Dewa, NRP:Terjadi=11.31.43, Interval 5108100032, Alamat:=12 Mojokerto
  15. 15. Event-Driven Architecture (EDA) Event berperan sebagai penyebab terjadinya interaksi antarkomponen pada Event-Driven Arsitektur (EDA). Setiap komponen terpisah dengan komponen lainnya. Mampu mengeksekusi proses asinchronus yang panjang. Interaksi antarkomponen bersifat publish/subscribe.
  16. 16. Call vs EventEDA memungkinkan pemrograman tanpa menggunakan call stack
  17. 17. Event-Driven ModelEvents Antrian Event Event Loop Event Handlers
  18. 18. Mekanisme pada EDAAplikasi dibangun dari sekumpulan service yang berkomunikasi melaluikanal (channel)
  19. 19. Mekanisme pada EDAMekanisme interaksi publish/subscribe memungkinkan satu sumberdiakses oleh banyak komponen secara bersamaan. Subscribe Publish
  20. 20. Lapisan-Lapisan pada EDA Event Generator Lapisan ini berfungsi sebagai lapisan pembuat event. Tugas lapisan ini adalah untuk memperoleh rangsangan (trigger) event. Rangsangan kemudian disimpan sebagai event. Event Channel Event channel merupakan lapisan yang berisi mekanisme penghubung antara event generator dan event engine. Di lapisan ini, event-event yang berdatangan menunggu untuk diolah. Event Processing Engine Lapisan ini berperan untuk mengidentifikasi kejadian dan memberikan tindakan yang sesuai dengan jenis kejadian tersebut. Pada lapisan ini dapat dilakukan proses pengolahan data. Downstream Event-Driven Activity Lapisan arsitektur ini tidak selalu terdapat pada arsitektur berbasis kejadian. Jika pada lapisan Event ProsessingEngine, tidak dilakukan banyak tindakan otomatis, maka lapisan ini mungkin saja tidak dibutuhkan.
  21. 21. Publisher-Subscriber Publisher / Source merupakan komponen arsitektur perangkat lunak yang berperan untuk menyebarkan event. Subscriber / Listener merupakan komponen arsitektur perangkat lunak yang berperan sebagai pelanggan yang menerima event. Interaksi antara publisher dan subcriber bersifat satu arah dan asynchronous.
  22. 22. Tipe-Tipe EDA Simple Event Processing Mengelola event yang saling berkaitan secara spesifik, terukur, dan dalam kondisi yang berubah-ubah. Event Stream Processing Mengelola event biasa dan event penting. Event penting akan dicatat kemudian dipublikasikan ke seluruh pelanggan. Complex Event Processing Mengelola event yang kompleks dengan cara membuat sebuah penyaring query kemudian dipublikasikan ke seluruh pelanggan secara waktu nyata.
  23. 23. Simple Event Processing
  24. 24. Event Stream Processing
  25. 25. Complex Event Processing
  26. 26. Komponen2 pada Implementasi EDA
  27. 27. Contoh Aplikasi dengan EDA Aplikasi yang cocok untuk dibangun dengan pendekatan EDA adalah jenis aplikasi yang mementingkan pengolahan data secara waktu-nyata. Komponen-komponen pada aplikasi ini akan bekerja saat terdapat event yang datang / terjadi. Contohnya, aplikasi pelaporan saham, aplikasi pemantauan pada radar, aplikasi pemantauan catu daya listrik.
  28. 28. SOA vs EDA
  29. 29. Perbedaan SOA dan EDAService Oriented Architecture Event-Driven Architecture Interaksi bersifat loosely coupled  Interaksi terpisah Komunikasi dari satu komponen  Komunikasi dari banyak ke satu komponen lainnya komponen ke banyak komponen Trigger berasal dari pelanggan lainnya Synchronus  Trigger berasal dari Event  Asynchronus
  30. 30. Request/Reply vs Publish/SubscribeRequest/Reply Publish/Subscribe Menghubungkan sekelompok  Menghubungkan sekelompok client dengan sekelompok service publisher dengan sekelompok pada server subscriber Komunikasi secara dua arah.  Komunikasi secara satu arah. Tiap komponen dapat  Komponen yang berperan mengetahui sebagai publisher tidak pasangannya, sehingga dapat mengetahui komponen mana dilakukan proses pengembalian. saja yang menjadi pelanggannya.
  31. 31. Kapan menggunakan SOA atau EDA [1]Menggunakan pendekatan SOA, jika terdapat Interaksi secara vertikal di antara layer-layer hirarki fungsional Proses request/reply fungsional Proses dengan sebuah transaksi natural yang memerlukan fasilitas commit dan follback. Data yang banyak dalam sebuah pesan untuk dipublikasikan dalam rangka membawa pesan menuju konten penuh dalam sebuah format yang formal
  32. 32. Kapan menggunakan SOA atau EDA [2]Menggunakan pendekatan EDA, jika terdapat Komunikasi secara horisontal di antara lapisan-lapisan dalam sebuah rangkaian proses. Alur kerja dari sekumpulan proses. Beberapa proses yang melintasi batas organisasi fungsional yang masih dapat dikenali, baik secara internal maupun eksternal.
  33. 33. Kapan menggunakan SOA atau EDA [3]
  34. 34. Perkembangan SOA
  35. 35. Transisi SOA
  36. 36. Trend Riset SOA
  37. 37. SOA Tingkat Lanjut (Advanced SOA)Untuk memperolah hasil maksimum dari penggunaan SOA dapat digunakan metodepenggabungan antara mekanisme klasik request/reply (SOA) dan publish/subscribe (EDA)
  38. 38. Advanced SOA / SOA 2.0
  39. 39. Advanced SOA / SOA 2.0 SOA 2.0 adalah pengembangan dari SOA berupa hasil penggabungan antara SOA dengan EDA. Dengan diterapkannya SOA 2.0, arsitektur perangkat lunak dapat mengakomodasi interaksi baik secara singkronus maupun asingkronus. Selanjutnya lebih populer disebut dengan istilah Event-Driven SOA, arsitektur berbasis service dan diawalai dengan event. Keunggulan: Fleksibilitas, Loose Coupling, Bersifat Asingkronus Dilakukan propagasi pada service
  40. 40. Event-Driven SOAPerangkat lunak yang menggabungkan konsep SOA dan konsep EDA
  41. 41. Event-Driven Service Oriented Architecture
  42. 42. Gambaran ED-SOA terhadap Aliran Event
  43. 43. Gambaran Interaksi Antarkomponen pada ED-SOA
  44. 44. Keunggulan ED-SOA Service dapat digunakan kembali Sistem dapat dengan mudah diperbarui
  45. 45. Keunggulan ED-SOA Uji coba services dapat dilakukan secara terisolasi
  46. 46. Keunggulan ED-SOA Temporal decoupling Setiap service tidak dapat menghalangi service yang lainnya Aplikasi lebih responsif
  47. 47. Keunggulan ED-SOA Dapat memanfaatkan Adaptor Service Adaptor service merupakan service yang berperan untuk menyesuaikan antara service satu dengan service lainnya. Kegunaannya adalah untuk membuat events logs, autentikasi events, atau mencocokkan events dengan antarmuka yang diperbarui.
  48. 48. Complex Event ProcessingSuatu mekanisme untuk menganalisis, menyaring, dan memberikan tindakanreaksi terhadap event-event kompleks secara waktu nyata.
  49. 49. Sejarah CEPCommand-and-Control Strategy Menghubungkan seluruh informasi yang tersedia Menentukan taktik berdasarkan strategi dan informasi yang paling mutahir
  50. 50. Event-Event di Dunia Nyata
  51. 51. PermasalahanSimple Event Processing dan Event-Stream Processing tidak dapatmengakomodasi pengolahan event-event yang kompleks.
  52. 52. CEP sebagai Solusi Pengolahan Event Kompleks
  53. 53. CEP seperti PayungCEP dapat diibaratkan sebagai suatu payung yang dapat menfiltrasialiran event. Event yang diambil hanyalah event yang dibutuhkan saja.Event lainnya dibiarkan mengalir.
  54. 54. Data Fusion
  55. 55. Perawatan Sistem berdasarkan Kondisi
  56. 56. Gambaran Arsitektural CEP
  57. 57. Contoh Produk Arsitektur CEP
  58. 58. CEP vs EDA vs SOA
  59. 59. CEP vs DBMS Database CEPQueries Ad hoc on stored data Continuous standing queriesLatency Seconds MillisecondsData Rate Hundreds per Second Tens of thousands per second request Event output input stream response stream
  60. 60. JENIS APLIKASIYANG TEPAT JIKA DIGUNAKAN CEPMonths CEP Target ScenariosDays Relational Database ApplicationsHours Operational Analytics Applications (e.g., Logistics)Minutes Data Warehousing Applications Web Analytics ApplicationsSeconds100 ms Monitoring Manufacturing Applications Applications Financial Trading Applications< 1 ms 0 10 100 1000 10000 100000 higher Aggregate Data Rate (Events/sec)
  61. 61. CEP sebagai Solusi Permasalahan pada Perusahaan
  62. 62. Perusahaan terdiri dari berbagai event kompleks namunpengolahan event masih dilakukan secara manual.
  63. 63. CEP mengotomatiskan sebagian atau seluruh fase analisispada pengolahan event-event yang ada.
  64. 64. Nilai Analisis Waktu $ value of analytics Web Analytics – Ad placement, Financial Services, Smart Grids, Monitoring – Systems mgmt, Health Care, Manufacturing, etc. Forecasting in Enterprises Historical Trend Analysisyears months days hrs min sec Time of interest Present
  65. 65. Manfaat Penggunaan CEP
  66. 66. Dapat mengolah informasi dengan lebih cepat
  67. 67. Mengantisipasi pengolahan informasi yang berlebihan
  68. 68. CEP dapat menganalisi Pola dari Sekumpulan Event
  69. 69. CEP dapat Mengolah Event berdasarkan Aturan
  70. 70. Memiliki kualitas pengambilan keputusan yang lebih baik
  71. 71. Virtuous Cycle: Monitor, Manage, MineIndustry trends CEP advantage• Data acquisition • Process data costs are negligible incrementally, i.e., Manage while it is in flight• Raw storage costs Monitor KPIs are small and business via • Avoid loading Record raw while still doing continue to decrease KPI-triggered data (history) the processing you• Processing costs are actions want non-negligible • Seamless querying• Data loading costs for continue to be monitoring, mana significant ging and mining Mine historical data Devise new KPIs
  72. 72. Contoh Skenario
  73. 73. Berbagai Domain Aplikasi yang Membutuhkan CEP Manufacturing: Web Analytics: Financial Services: Power Utilities: • Sensor on plant floor • Click-stream data • Stock & news feeds • Energy consumption • React through device • Online customer • Algorithmic trading • Outages controllers behavior • Patterns over time • Smart grids • Aggregated data • Page layout • Super-low latency • 100,000 events/sec • 10,000 events/sec • 100,000 events /sec • 100,000 events /sec Visual trend-line and KPI monitoring Batch & product management Automated anomaly detection Real-time customer segmentation Algorithmic trading Proactive condition-based maintenance • Threshold queries • Event correlation from Lookup multiple sources • Pattern queries
  74. 74. Penggunaan CEP pada Aplikasi Perusahaan
  75. 75. Demo Scenario: Market Monitor Real-time Dashboard Push Real-time/historical mesh-ups Push Push Pull Analysis over Asset Ticker Exchange SUM SUM SUM Pull historical data Class Volume Bid Ask Stock MSFT NASDAQ 100 100 100 Stock IBM NASDAQ 200 200 200
  76. 76. Use Case: NBC Sunday Night Football SQL Adapter StreamInsight Listener Adapter PerfCounter Adapter
  77. 77. Use Case: Data Center Power Consumption Visualize Process Information Complex Aggregations/ Correlations
  78. 78. Contoh Platform CEP
  79. 79. Contoh Platform CEP milik Microsoft Sources Caching Processing Distribution Visualization Refresh (Push) Operational DashboardDevices, Sensors (Ticking - Snapshot) Microsoft StreamInsight Refresh (Push) Reporting Dashboard Web servers (Refreshed) ETL Static Reports Re-computeStock tickers & (Pull) News feeds Service Broker ETL Mining, Validation, “What-If” Scenarios
  80. 80. StreamInsight sebagai Platform CEP StreamInsight Application Development StreamInsight Application at Runtime Event sources Event targets Input Output Devices, Sensors Adapters StreamInsight Engine Adapters Pagers & Monitoring devices Standing Queries KPI Dashboards, ` SharePoint UI Web servers Trading stationsEvent stores & DatabasesStock ticker, news feeds Event stores & Databases
  81. 81. Contoh Platform CEP LainnyaStreamBase http://www.streambase.com/Sybase CEP http://www.sybase.com/products/financialservicessolutions/sybasecepOracle CEP http://www.oracle.com/us/technologies/soa/service-oriented-architecture-066455.htmlMicrosoft StreamInsight http://msdn.microsoft.com/en-us/library/ee362541.aspxTruviso http://www.truviso.com/IBM System S http://www-01.ibm.com/software/data/infosphere/streams/SQLStream http://www.sqlstream.com/Esper and NEsper http://esper.codehaus.org/
  82. 82. Contoh Aplikasi dengan Solusi yang menggunakan CEP
  83. 83. Aplikasi Pemantauan Web Memperoleh aliran event berupa klik pada server web tertentu Menyediakan papan kendali (dashboard) untuk memantai aktivitas web untuk mendapatkan informasi seperti 5 situs terbaik atau peta suhu di Amerika.
  84. 84. CEP sebagai Solusi Scenario: Real-time Behavioral Targeting  Continuously analyze online behavior per user  Identify relevant content before the next click  Define content behind next click based on detected online behavior CEP advantages:  Scale to millions of concurrent online users  Event-driven processing provides immediate insight  Web logs no longer processed offline in batches  Decisions are being made automatically as events arrive  Correlate user behavior across your web farms and applications
  85. 85. Microsoft Shuttle Tracker Plot current position for Redmond campus shuttles Track specific shuttles Identify when shuttles approach specific destinations Proximity queries with SQL Spatial Libraries
  86. 86. Vertical: Power Utilities Scenario: Smart grid  Instrument households with smart power meters  Continuous, up-to-date insight into your grid, including generation, distribution, and demand CEP advantages  Event-driven monitoring of the power grid (push instead of pull)  Scales to smart grids requirements  Scale to millions of meters  Hundreds of thousands of meter readings per second  Write validation, editing, estimation (VEE) rules declaratively in LINQ  Scale to the high data volumes expected in smart grids  React in almost real-time to changing grid conditions to avoid power outages
  87. 87. Vertical: Retail (Online and Traditional) Scenario: Real-Time Coupon  Provide most relevant/appealing coupon upon checkout  Maximize expected individual customer revenue  Correlate current sales transaction with customer purchase history CEP advantages  Track current market basket as a real-time stream  Use CEP Engine to correlate current market basket with purchase history  Event-driven: Checkout request triggers the coupon calculation  Easily scale to internet retail with millions of concurrent sessions
  88. 88. Proyeksi dan Masa Depan Complex Event Processing
  89. 89. Status Trend CEP saat ini Event Processing is now emerging as a research discipline The state is similar to the state of databases in the 1960-ies –some engineering models, low coverage, all proprietary, no theoretical basis. The main challenges:  Model (same role in EP as the relational model in DB)  Standard Language (same role as SQL)  Optimization on multiple criteria  Methodology and software engineering challenge
  90. 90. Complex Event Processing di tahun 2018 Event Processing repeats (in 30-something years offset) the success of “Data Management” Part of the “main stream computing” Wide coverage in term of applications that are doing some type of event processing  There are broadly accepted standards  Event Processing extensions to programming languages  Large amount of developers are familiar with the concepts  It is widely taught in universities with popular textbooks  Well-established Research community that contribute to the concepts and the engineering aspects  Other disciplines focused on extracting events and event patterns (image processing, information retrieval, search engines, data mining).
  91. 91. Tantangan: Advanced CEPIntelligent CEP• Adaptive• Learning• Logic• AISemantic CEP• Ontologies + Logic• Text / language interpretationMultiple CEP• Including all types of dataprocessing paradigm
  92. 92. Tantangan: Semantic Networking Event Monitoring Architecture
  93. 93. Tantangan: Model Konseptual The “Event Processing Network” introduced by Prof. David Luckhamfrom Stanford has wide acceptance in the industry  However –it is not well-defined formally;  Most implementations are partial. Building such a model (the equivalent to the “relational model” in databases –but not extension to SQL!) has been designated as the number challenge for the research community.
  94. 94. Tantangan: Model Pemrograman Meta-Language that will include:  Programming in the large: declarative specification of the event flow (can change by optimization)  Programming in the small: declarative specification of each function (“event processing agent”). Translation of programming in the large to logical EPN. Includes context- based routing Translation of the programming in the small to a specific API of a certain run-time engine (e.g. Aptsoft, SQL, IPL). Meta-Language will be based for a standard proposal in this area
  95. 95. Tantangan: Skalabilitas dan Optimalisasi Continuous self-optimization of an EP application based on multiple optimization criteria Items to optimize:  Mapping of the conceptual EPN to physical EPN  EPN topology (e.g. stratification layers)  Tuning options Based on goal function that may optimize:  Throughput  Latency  Local and E2E QOS criteria  Accuracy Multiple scalability goals:  Number of events  Number of agents  Number of sources  Number of sinks  Complexity of computation
  96. 96. Tantangan: Lebih dekat dengan bisnis pelanggan Domain specific templates based on business vocabularies The direction: from template to language and not templates for the language.
  97. 97. Tantangan Lainnya Advance “Intelligent Event Processing” Pattern mining Predicted events and their handling Handling of uncertain and probabilistic events Automated decisions/actions.
  98. 98. Referensi
  99. 99.  Sybase, Sybase CEP Implementation Methodology for Continuous Intelligence, 2011 Complex Event Processing with XChangeEQ Language Design, Formal Semantics, and Incremental Evaluation for Querying Events, 2011 TIMCO, CEP Tutorial TIMCO, 2010 Michelson, Brenda M., Event-Driven Architecture Overview, 2010 Grabs, Torsten, Microsoft StreamInsight: Introduction to Complex Event Processing with SQL Server 2008 R2 StreamInsight, 2011
  100. 100. Complex Event Processing Progres Tesis 25 Oktober 2012Rahadian Dustrial Dewandono – 5111201901

×