Recommended
Recommended
More Related Content
What's hot
What's hot (14)
Similar to Big Data Expo 2015 - Anchormen Distributed video analysis
Similar to Big Data Expo 2015 - Anchormen Distributed video analysis (20)
More from BigDataExpo
More from BigDataExpo (20)
Recently uploaded
Recently uploaded (20)
Big Data Expo 2015 - Anchormen Distributed video analysis
- 1. Distributed video analysis Big Data Expo 2015
- 2. Data is important innovation driverLooking forward is key Access all information in order to make decisions and achieve their objectives Grow Live!
- 3. Low risk, High Impact Sprin t PoC Sprin t Sprin t Sprin t Tim e Value WS Proof of Concept: • Small 50 - 200hrs • Fast 4/6 weeks Sprint: • Short period (2 weeks) • Business value after sprint • Reality check and go/no-go after each sprint. Workshop: • Identification and Big Data use case • 0,5 day Low risk High impact Fast earnback Up-and-running GROW LIVE
- 4. Consumer 360° : the right presence
- 5. 24/7 business : prevent risks & reduce data-to-action cycle
- 6. 5-10-2015 6
- 7. More and more video! 5-10-2015 7 Online SecurityTelevision Inspection Retail Sport analysis
- 8. Most is done manually 5-10-2015 8 Automating (parts of) the process: • Man-machine cooperation • Fast(er) insights • Reduce costs • Easier to scale up
- 10. Support for video? 5-10-2015 10
- 11. Solutions still largely in the lab 5-10-2015 11 Lots of case studies: OCR (Pythian) X-ray analysis (ETH Zurich) Surveillance (Pivotal) Image tagging (Flickr) … Some software: Hadoop Image Processing Interface (HIPI) 4Quant: Spark Imaging Layer StormCV: Apache Storm + OpenCV …
- 12. Challenges • Computationally expensive (state-full) algorithms • Large volumes, even when encoded • Requires video/image connectors and serializers • Bindings needed for CV libraries (often C/C++) 5-10-2015 12
- 13. StormCV = Apache Storm + OpenCV • Open source https://github.com/sensorstorm/StormCV • Designed for video streams but can also process files • Specific model (frames, features etc.) and serialization for these objects • Supports the use of the OpenCV library (through JNI interface) • Scales by defining the number of operations • Runs on standard Apache Storm cluster 5-10-2015 13 Operation 1 Operation 2 Operation 3Operation 2 Operation 2 Operation 3
- 14. An example 5-10-2015 14 Moving object & keypoint detection
- 15. An example: the processing pipeline 5-10-2015 15 Decode video SIFT extraction Backgroun d subtraction Drawer Streamer
- 16. Chaining (minimizes I/O) 5-10-2015 16 Decode video SIFT extraction Backgroun d subtraction Drawer Streamer
- 17. Demo/video • 18 streams • 9 readers • 18 detectors • 1 streamer • 28 cores total • Storm 0.9.3 on AWS cluster
- 18. To conclude • We love pixels… but they are a challenge to crunch • Automating video processing can improve speed, reduce costs and easer to scale up and down when needed • Some specific video solutions exist, no doubt there are more to come! 5-10-2015 18
Editor's Notes
- Anchormen gelooft dat bedrijven op het juiste moment en op de juiste manier kunnen handelen. Omdat wij vernieuwend denken over het genereren van inzicht, weten we zeker dat we dit geloof met onze oplossingen kunnen waarmaken. Digitalisering verandert de wereld razendsnel. Naast terugkijken, moeten bedrijven weten wat er nu speelt en anticiperen op wat er gaat gebeuren. Datavolumes, dataverscheidenheid en de snelheid van data nemen alleen maar toe en het is dan ook onze missie om organisaties van zoveel mogelijk relevante en waardevolle informatie te voorzien. Dit is wat we doen Als experts in data excellence leveren we diensten als business innovatie consultancy, data science, data architectuur, engineering, training en support. We bedenken en implementeren unieke data gedreven scenario’s waarmee bedrijven sneller en effectiever kunnen handelen. Concreet gezegd zorgen we ervoor dat data ontsloten wordt zodat deze samengebracht kunnen worden met andere data. Vervolgens extraheren we hier bruikbare informatie uit waarmee de juiste beslissingen genomen kunnen worden. Anchormen bestaat uit een enthousiast en gedreven team. Het Anchormen team is klein, maar dat biedt in onze ogen meer voordelen dan nadelen. We zijn allesbehalve een logge organisatie en projecten worden daardoor snel doorgevoerd. Ook zijn we zeer flexibel en efficiënt ten opzichte van de grotere IT-spelers. Grow Live We werken aan de hand van onze Grow Live aanpak. Dit betekent dat we altijd klein starten met een project. Aan de hand van workshops en proof concepts laten we de impact van onze oplossingen zien. Pas daarna starten we met de ontwikkeling. Die ontwikkeling delen we dan weer op in korte sprints waarbij we tweewekelijks onderdelen opleveren. Zo voegen we regelmatig direct inzetbare waarde toe en kunnen we plannen steeds bijsturen om ervoor te zorgen dat we altijd werkzaamheden uitvoeren die aansluiten bij de vraag van onze klant.
- Overall Results: Low Risk: small investment steps. Continuous evaluation Quality: Solution aligned with reality Business has earned back part of the investment Customers is up and running Grow Live Bij grote IT-leveranciers worden ICT-projecten vaak in één keer opgeleverd. Na een lang ontwikkelingstraject krijgen bedrijven eindelijk resultaten te zien, maar juist die lange tijd tussen het geven van de opdracht en het opleveren van de opdracht zorgt vaak voor problemen. Zo kan de markt in de tussentijd alweer veranderd zijn waardoor de behoeften van het bedrijf mee veranderen. Daarnaast kunnen er ook fouten gemaakt zijn die pas na de oplevering aan het licht komen en daardoor moeilijk te herstellen zijn. Anchormen doet er alles aan om bovenstaande risico’s te verlagen. Wij werken daarom volgens ons eigen Grow Live principe. Doordat we onze klanten steeds betrekken bij onze data excellence projecten groeien we mee met het proces van onze klant. Dat meegroeien houdt in dat we klein starten. Aan de hand van workshops en een proof of concept laten we de klant eerst zien wat Anchormen te bieden heeft. Pas nadat er een gedegen plan staat, start de ontwikkeling. Bedrijven zijn dan vrij om te kiezen voor het wel of niet onderbrengen van data in de cloud. Wel zijn er veel voordelen van het opslaan van data in de cloud. Ten eerste ontstaat er snel inzicht in de beschikbare data en ten tweede hoeft er vaak bijna niet direct geïnvesteerd te worden in hard- en software. De gehele ontwikkeling van de oplossing delen we op in korte sprints. Elke twee weken leveren we een deel van de oplossing op. We voegen zo niet alleen regelmatig direct inzetbare waarde toe, ook zijn de risico’s hierdoor zeer laag, want we kunnen de plannen elk moment bijsturen.
- Met deze oplossing creëren B2C-bedrijven moeiteloos een 360˚ klantbeeld. Alles draait om het ontsluiten van databronnen. We brengen data uit die bronnen samen zodat hier informatie uitgehaald kan worden die op het juiste moment en in het juiste formaat beschikbaar gesteld wordt via het juiste kanaal.Organisaties kunnen zo op het juiste moment de juiste beslissingen nemen. Op een relevante manier verbinden en communiceren op basis van vertrouwen en persoonlijke interesse. Daar draait het volgens ons om. Digitalisering verandert de wereld razendsnel en de consumentenrevolutie is al lange tijd gaande. Klanten vinden bedrijven op allerlei verschillende manieren. Of ze nu bellen, websites bezoeken of gebruik maken van de social kanalen of apps, consumenten benaderen bedrijven op de manier die ze zelf prettig vinden. Belangrijk voor bedrijven is dus om overal aanwezig te zijn, maar dat is inmiddels geen nieuws meer. Het is immers nóg belangrijker om al die verschillende contactmomenten met de klant te gebruiken om te verbinden. Het verzamelen van data die vrijkomt bij al die contactmomenten en het omvormen van die data tot bruikbare informatie is daarbij noodzakelijk. Hierbij speelt Anchormen een belangrijke rol. Juiste beslissingen op het juiste moment Met de oplossing Consumer 360˚ zorgt Anchormen voor het ontsluiten van databronnen. Vanuit die verschillende bronnen worden data samengebracht zodat informatie op het juiste moment en in het juiste formaat via het juiste kanaal beschikbaar wordt gesteld. Bedrijven kunnen aan de hand van deze informatie op het juiste moment de juiste beslissingen maken. Dat is het doel. Bij Anchormen bouwen we graag een vertrouwensband op met onze klanten en we beginnen onze projecten daardoor altijd klein. Met onze Grow Live aanpak groeien we mee in het proces van onze klant. Anchormen biedt verschillende diensten zoals business innovatie consultancy, data science, data architectuur, engineering en training en support. Graag werken we als team binnen de organisatie van onze klanten. Zo kunnen we snel schakelen en behalen we snel resultaat. Geen investeringen in hard- en software Aan de hand van workshops en een proof of concept geven we inzicht in de impact van onze oplossingen. Pas daarna start de ontwikkeling. Omdat we data in de cloud onderbrengen start die ontwikkeling bijna nooit met grote investeringen in hard- en software. Daarnaast plannen we tweewekelijks innovatiemomenten waarbij we steeds delen van het project opleveren. Met deze korte sprints voorkomen we dat er één groot oplevermoment is aan het einde van traject. De essentie van Grow Live is dat we kleine, maar snelle stappen zetten. Bij elke stap voegen we direct inzetbare waarde toe aan het bedrijf. Belangrijk voordeel hierbij is dat we na elke stap kunnen bijsturen. Hierdoor verlagen we risico’s. Lees hier meer over onze Grow Live aanpak.
- Prevent risks B2B-bedrijven continuïteit en zekerheid bieden aan de hand van actueel procesmatig inzicht. Daar staat onze oplossing 24/7 Business voor. Met gebruik van relevante data krijgen bedrijven antwoorden op allerlei vraagstukken waardoor direct geschakeld kan worden. Een absolute must in het internet of things tijdperk waarin steeds meer machines met elkaar ‘praten’. De hoeveelheid data binnen bedrijven neemt alleen maar toe. Niet alleen stijgen de volumes van bijvoorbeeld logistieke en financiële data, ook machines binnen bedrijven zorgen tegenwoordig voor heel veel dataverkeer. Hierbij gaat het niet alleen om datavolume, maar ook om de verscheidenheid en de snelheid van data. Het is zeer wenselijk om al deze machinedata te verzamelen en bruikbaar te maken. Risico’s voorkomen met realtime inzicht Onze oplossing 24/7 Business biedt bedrijven op elk moment helder inzicht in onder andere log-, event- en machinedata. Doordat we werken met realtime data, vinden er steeds vergelijkingen plaats met historische gegevens. Hierdoor ontstaat inzicht in uitzonderingen en risicofactoren. Door direct op deze uitzonderingen in te springen kunnen risico’s verlaagd of zelfs voorkomen worden. Een voorbeeld uit de praktijk: een bedrijf dat installaties bouwt voor bakkersfabrieken maakt gebruik van grote kostbare machines. Als zo’n machine problemen vertoont en niet meer gebruikt kan worden, duurt het vaak lang voordat onderdelen of de gehele machine vervangen kan worden. Door de vertraging die hierbij ontstaat lopen de kosten al snel op. Met 24/7 Business verkrijgen bedrijven diepgaande inzichten en hierbij ontstaat de mogelijkheid om te voorspellen wanneer een onderdeel kapot gaat. Hier kan dan op tijd op geanticipeerd worden om zo downtime tot een minimum te beperken. Grow Live aanpak Bij Anchormen bouwen we graag een vertrouwensband op met onze klanten en we beginnen onze projecten daarom altijd klein. Met onze Grow Live aanpak groeien we mee in het proces van onze klanten. Anchormen biedt verschillende diensten zoals business innovatie consultancy, data science, data architectuur, engineering en training en support. Graag werken we als team binnen de organisatie van onze klanten. Zo kunnen we niet alleen snel schakelen, ook behalen we snel resultaat. Aan de hand van workshops en een proof of concept geven we inzicht in de mogelijkheden van onze oplossingen. Pas daarna start de ontwikkeling en omdat we data in de cloud onderbrengen start die ontwikkeling bijna nooit met grote investeringen in hard- en software. Daarnaast plannen we tweewekelijks innovatiemomenten waarbij we steeds delen van het project opleveren. Hiermee voorkomen we dat er één groot oplevermoment is aan het einde van traject. Door deze kleinere oplevermomenten kunnen plannen steeds bijgestuurd worden en hierdoor verlagen we risico’s.
- Lots of video: - Youtube: 300 hours uploaded per minute, / 4 billion video’s watched per day (http://expandedramblings.com/index.php/youtube-statistics/) - as of 2014 adds on video provide more turnover than normal adds (https://gigaom.com/2011/01/24/online-video-ads-5b/) - flicker: 1275 photo’s uploaded per minute (https://www.flickr.com/photos/franckmichel/6855169886) - Instagram: 48.000 photos uploaded per minute (https://instagram.com/press/) - cameras on the streets http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/VNI_Hyperconnectivity_WP.html -aantal cameras 2013: 204.441 (schiphol: 1400, ns: 4200, rijkswaterstaat: 2700) (http://sargasso.nl/cameratoezicht-in-nederland-hoeveel-cameras-zijn-er-eigenlijk/) - Higher resolution (HD 4K)
- Face detection and recognition Logo recognition Object/people tracking Subtitle OCR
- Most projects support a range of structured to unstructured data but very little support for video
- OCR: - http://www.slideshare.net/Hadoop_Summit/gardner-gorbachev-june27230pmroom230cv2 - https://www.youtube.com/watch?v=oKnq4EvpHHU Pivotal: - https://www.youtube.com/watch?v=uEjeMb81cQ0 - http://blog.pivotal.io/data-science-pivotal/features/large-scale-video-analytics-on-hadoop Hadoop summit: - https://www.youtube.com/watch?v=oKnq4EvpHHU Spark summit 2014: - https://spark-summit.org/2014/talk/scaling-up-fast-real-time-image-processing-and-analytics-using-spark Flickr: - http://code.flickr.net/2014/05/20/computer-vision-at-scale-with-hadoop-and-storm/