Based on a public dataset made available by the US Gov, we created a Data Warehouse, an OLAP Cube and on top of these, we applied OLAP Analysis and four Data Mining tasks along with two Map/Reduce jobs.

1. Επιχειρηματική Ευφυΐα και Ανάλυση Μεγάλων
Δεδομένων

2. Λίγα λόγια για το dataset
Αμερικάνικη κυβέρνηση, Bureau of Consumer Financial
Protection - CFPB
Παράπονα Αμερικανών Πολιτών
Ένα παράπονο ανεβαίνει όταν απαντάει η εταιρία ή όταν
περάσουν 15 μέρες χωρίς να έχει απαντήσει η εταιρία

3. Επίσημη σελίδα διαχείρισης παραπόνων

4. Στοιχεία για το dataset

8. Περιεχόμενα dataset
Sub-
Issue
Issue
Sub-
Product
Company Zip CodeState
Data
Received
Date Sent
Timely
Company
Response
Product
Timely Disputed
Submitted
Via
Date
Received

9. Star Schema

10. Ενδεικτικός κώδικας υλοποίησης πινάκων

11. E
• Λήψη αρχείου
T
• Μετατροπή του αρχείου σε excel από csv
• Εισαγωγή καθέτων γραμμών (στηλών)
• Διαγραφή ορισμένων στηλών
• Αλλαγή τιμών στα δύο binary πεδία
• Αλλαγή τιμών στις ημερομηνίες
• Remove Duplicates
• Change nulls to “” (με τη βοήθεια Stored Procedures)
L
• Δημιουργία δύο “στιγμιότυπων” του πίνακα DATE_S (δύο Views δηλαδή)
• Δημιουργία πίνακα temp
• Import/Export wizard SQL Server

12. Ενδεικτικός κώδικας για Transform/Load του dataset

13. Ένα ακόμα παράδειγμα για το Load του dataset

14. Cube Deployment

15. Πολυδιάστατη
Ανάλυση - Tableau

16. Παράδειγμα σε Excel

17. Complaints per Year, Month and Submitted Via

18. Complaints by State

19. Complaints by State and ZIP Code

20. Company Response and Disputed

21. Complaints per Product Per Year

22. Companies with the most Complaints

23. Issue Names and Disputed

24. Data received and Submitted Via

25. Complaints per Product Name per Year, Month

26. Complaints per Product Name per Year, Month

27. Εκτέλεση ερωτήματος σε SQL Server

28. Εκτέλεση του ίδιου ερωτήματος σε Tableau

29. Εκτέλεση ενός ακόμα ερωτήματος σε SQL Server

30. Εκτέλεση του ίδιου ερωτήματος σε Tableau

31. Data Mining Tasks

32. Data Mining
Temp_test
Καταλληλότητα
Dataset
Decision Tree Suggest
Χρόνος

33. 1η Περίπτωση Λειτουργίας Εξόρυξης Δεδομένων

34. Model Viewer

35. Model Viewer - Association Rules

36. Συμπεράσματα 1ης περίπτωσης
Στοιχεία για
την
κυβέρνηση
Βοήθεια για
τις Εταιρίες
Τι γίνεται με
την χρηματική
αποζημίωση?
1 2 3

37. 2η Περίπτωση Λειτουργίας Εξόρυξης Δεδομένων

38. Model Viewer - Naïve Bayes (dependency network)

39. Model Viewer - Naïve Bayes

40. Model Viewer - Neural Networks

41. Συμπεράσματα 2ης περίπτωσης
Κανάλι
παραπόνου
Όγκος
παραπόνων
Κατάλληλη
προετοιμασία
1 2 3

42. 3η Περίπτωση Λειτουργίας Εξόρυξης Δεδομένων

43. Model Viewer - Naïve Bayes (dependency network)

44. Συμπεράσματα 3ης περίπτωσης
Ποιος έχει την
ευθύνη
παραπόνων?
Τι γίνεται σε
αργοπορίες στις
πιστωτικές?
Τι γίνεται με τα
στεγαστικά
δάνεια?
1 2 3

45. 4η Περίπτωση Λειτουργίας Εξόρυξης Δεδομένων

46. Συμπεράσματα 4ης περίπτωσης
Ποιος είναι ο
πιθανότερος τρόπος
υποβολής
παραπόνων ?
1

47. Map/Reduce Jobs

48. Κώδικας MapReduce

49. Success message

50. Localhost:8088

51. Localhost:50070

52. MapReduce - States

53. MapReduce - States
and Submitted Via