Fast, Distributed Geoprocessing with Scala, Spark and GeoTrellis

•Download as PPTX, PDF•

5 likes•2,298 views

VisionGEOMATIQUE2014

What got you hooked on geospatial? For me it was more than just maps – it was the ability to transform geographic data to see something new or shed light on some aspect of my environment. Whether you use GDAL, ArcGIS, GRASS or IDRISI, we have usually done this type of data transformation with a variety of desktop software tools. So why have these types of capabilities been relatively rare in web and mobile applications? Speed and scalability are two important factors. It has generally required too much time to calculate a viewshed, combine a stack of raster files into a weighted overlay, or generate slope and aspect from elevation data. Azavea has been working on this problem – fast, scalable geoprocessing – for several years. In 2012 we released a new open source project called GeoTrellis (http://geotrellis.io/), an open source framework for fast, distributed geoprocessing. GeoTrellis leverages the strong type system and functional programming style of the Scala language and the Spark and Akka frameworks. This talk will give an overview of GeoTrellis and how it can be integrated with web mapping tools to create online geoprocessing applications for stormwater modeling, education games, infrastructure prioritization, climate change, and transportation.

Technology

21st Century Geoprocessing
with Scala and GeoTrellis
Robert Cheetham
cheetham@azavea.com
@azavea
@rcheetham

B Corporation
• Civic/Social impact
• Donate share of profits
Research-Driven
• 10% Research Program
• Academic Collaborations
• Open Source
• Open Data

Big Data – Cities
2. Large Data Sets – Digital City

• IO
• Geoprocessing Operations
• Distributed Processing
• Web Services

• Parallel operations across tiles
• Parallel execution of operations
• Basic cluster capabilities with
GeoTrellis v0.9:
+

• Sharding raster data across the cluster
• Caching operation results across cluster
• HDFS support
• Advanced Fault tolerance
• Advanced Scheduling
• ...
What's missing?
+

• Caches results in memory
• Ideal for iterative algorithms
• Significantly outperforms Hadoop
• Uses Hadoop's file system (HDFS)

It’s the second Monday in October
and school is in session. There were 2
burglaries and 3 assaults yesterday.
The Maple Leafs are not playing this
evening. Six bars, three take-out
stores, and a high school are in the
neighborhood. The forecast is 9°C
with a 50% chance of rain this evening.
Where do you focus your 3 vehicles?

It’s the second Monday in October
and school is in session. There were 2
burglaries and 3 assaults yesterday.
The Maples Leafs are not playing this
evening. Six bars, three take-out stores,
and a high school are in the
neighborhood. The forecast is 9°C
with 50% chance of rain.
Where do you focus your 3 vehicles?

• Multi-band
• Temporal bands (climate)
• More operations
• Tile indexes
• GeoMesa collab.
• Simpler setup
• More integration points
What’s next?

geotrellis-user@googlegroups.com
Get Involved

IRC: #geotrellis on freenode
Get Involved

[is hiring]
jobs.azavea.com
cheetham@azavea.com
@rcheetham

The Philadelphia Water Department is leveraging GIS to create a billing system based on the amount of impervious surface cover on commercial properties. Stormwater billing based on impervious surface area both distributes the cost of managing stormwater more equitably and creates incentives for property owners to implement best management practices for mitigating stormwater runoff on-site. The bill calculation is performed using a series of GIS models assembled using ArcObjects, python scripts and a geoprocessing queuing system. The resulting datasets are then made available to Water Department customers via an ArcGIS Server application. In addition to searching and mapping, the application supports the billing appeals process and enables users to calculate the estimated financial benefits of implementing stormwater mitigation activities. This presentation will showcase the Philadelphia Water Department application and outline the benefits and challenges of using GIS technology for stormwater management and impervious surface area calculations in urban environments.

Top 10 Innovations of 2015

Usman Bin Saad

Crowds, Computers, and Coordinates

Abe Usher

GIS 2.0: Impacts on Humanitarian Affairs and Genocide Studies

Joshua Campbell

The Big Data - Same Humans Problem (CIDR 2015)

Alexandros Labrinidis

Le transport durable est une bonne idée, mais peut être difficile à appliquer dans la vie de tout les jours. Pour plusieurs cela implique de multiple modes de transport et la combinaison des horaires de différentes agences pour pouvoir calculer un trajet optimal. Nous avons relevé le défi et travaillé avec le CADUS et les acteurs de la région du Saguenay pour construire un portail qui présente les façons les plus simples et efficaces de se déplacer autant en milieu rural qu’en milieu urbain, que ce soit par bus, par vélo, par taxi partagé, même par covoiturage ou en combinant ces différents modes. Le système bâti sur pgRouting, PostGIS, Django et OpenLayers3 permet aux usagers d’enregistrer des offres ou de rechercher les meilleurs jumelages possibles, en comparant et combinant autant les bus municipaux que vos autres options de transports favoris. Montrajet.ca est une solution qui peut aider et inspirer les agences de transport et les planificateurs urbain à regrouper tous leurs systèmes de transport et leurs différentes organisations pour ainsi aider tout le monde à se déplacer de façon optimale.

FOSDEM 2015: Distributed Tile Processing with GeoTrellis and Spark

Rob Emanuele

安全程式設計 C語言

mango chen

Self-tracking dans un contexte de ville intelligente (Smart City)

Geoffroi Garon-Épaule

La Ville Intelligente au service de la ville durable

Isam Shahrour

Automatisation de la cartographie et de l'analyse des données de comptage de ...

VisionGEOMATIQUE2014

Dans le but de répondre aux demandes facilement et rapidement, les analystes en transport de la Ville de Québec ont grand besoin d’un système supportant la mise en plan automatisée de la cartographie des carrefours et des données de comptages de véhicules associées. La nature multidimensionnelle des données de comptages dans le temps (+ de comptages par carrefour), dans l’espace (+ de carrefours par projet), par période horaire et par direction fait en sorte que les processus de mise en plan actuels sont laborieux et inefficaces. Le volume de données grandissant rendra le processus actuel sous-optimal lorsque les données de comptage par boucle de détection automatisées seront utilisées dans l’architecture globale du gestionnaire artériel. L’opportunité de développer de nouvelles pratiques innovantes, offrant aux analystes en transport un système intégré, performant et adapté à leur vision à long terme des systèmes de transports intelligents (STI), a été rendue possible par la mise en place d’une approche géodécisionnelle, à l’aide de la solution Map4Decision d’Intelli3, pour automatiser l’analyse des données de comptages de véhicules ainsi que la mise en plan des cartes de carrefours. Cette conférence présentera l’architecture et les composantes du système (banque graphique, magasin de données, entrepôt de données, solution logicielle) ainsi que les bénéfices attendus du projet.

Géomatique appliquée : revue des solutions novatrices mises en place en 2014

VisionGEOMATIQUE2014

Grâce à sa démocratisation relativement récente, l’ensemble des décideurs et des gestionnaires dont les mandats sont supportés par la géomatique sont dorénavant en mesure d’en apprécier les possibilités et de reconnaître dans les applications réalisées à l’extérieur de leurs organisations des opportunités pouvant leur venir en aide dans leurs tâches quotidiennes. Cependant, maintenir une veille technologique sur les possibilités qu’offre un outil en constante évolution relève souvent de l’exploit pour tout gestionnaire aux multiples préoccupations. Cette présentation tente de remédier à la situation en proposant une reveue de l’essentiel des solutions et outils développés dans le domaine de la géomatique dans la dernière année. Les projets présentés, provenant des quatre coins de la planète, sont tantôt ambitieux, tantôt inusités, mais toujours novateurs en termes de représentation de l’information, d’originalité du concept initial et de la portée de la solution finale. Se concentrant sur les idées et applications, elle est adressée à tous les intervenants voulant parfaire leurs connaissances des applications récentes de la géomatique. Après tout, un regard sur la créativité de nos collègues autour du globe pourrait bien être un tremplin vers les innovations développées au sein de vos équipes de travail

Les contributions de la géomatique au développement de la ville intelligente

VisionGEOMATIQUE2014

Les TIC s’imposent, actuellement, comme l’un des principaux vecteurs de changement économique et social. À travers le concept de « ville intelligente, » ils prennent une place de plus en plus importante dans le développement des communautés d’ici et d’ailleurs, le numérique apportant ressources afin de solutionner les défis auxquels font face les gestionnaires aujourd’hui. Les technologies géomatiques sont un élément clé pour la mise en œuvre de ces solutions, permettant de prendre des décisions plus informées reposant sur une meilleure connaissance du contexte spatial dans lequel elles doivent intervenir. Dans cette présentation, la directrice par intérim de l’Institut Technologies de l’information et Sociétés (ITIS), Sylvie Daniel, offrira quelques perspectives de définition d’une « ville intelligente » avant de mettre de l’avant les principaux vecteurs de mise en place de ces solutions du point de vue de la géomatique. Par la suite, elle dressera un tableau succinct des activités de recherche menées à l’Université Laval sur la question permettant d’illustrer les formes d’accompagnement que l’ITIS et ses chercheurs peuvent proposer aux municipalités dans leur démarche d’adoption des principes liés aux villes et communautés intelligentes.

Water and Technology, some stuff we've learned by Robert Cheetham, President,...

Kim Beidler

NREN 3.0

Ed Dodds

Earth on AWS - Next-Generation Open Data Platforms

Amazon Web Services

Making Earth observation data available by using Amazon S3 is accelerating scientific discovery and enabling the creation of new products. Attend and learn how the scale and performance of Amazon S3 lets earth scientists, researchers, startups, and GIS professionals gather and analyse planetary-scale data without worrying about limitations of bandwidth, storage, memory, or processing power. Co-presented with support of the Australian Geoscience Data Cube collaboration, DigitalGlobe’s Geospatial Big Data Platform and the developer of the popular ObservedEarth mobile app. Speakers: Craig Lawton, Public Sector Solutions Architect, Amazon Web Services Lachlan Hurst, Observed Earth Matt Paget, Senior Experimental Scientist, CSIRO Dan Getman, Digital Globe

Internet Infrastructures for Big Data (Verisign's Distinguished Speaker Series)

eXascale Infolab

Agents In An Exponential World Foster

Ian Foster

Big Data et eGovernment

eGov Innovation Center

Deep Learning Use Cases - Data Science Pop-up Seattle

Domino Data Lab

Companies like Google, Microsoft, Amazon and Facebook are in fierce competition for teams that can build deep-learning applications. Because of deep learning's general usefulness in pattern recognition, those applications are surprisingly diverse, ranging from image recognition to machine translation. This talk will explore deep learning use cases for the major data types -- image, sound, text and time series -- as they're emerging in the private sector. Presented by Chris Nicholson, Co-Founder and CEO at Skymind.

Big data tutorial_part4

heyramzz

Set My Data Free: High-Performance CI for Data-Intensive Research

Larry Smarr

Geospatial Intelligence Middle East 2013_Big Data_Steven Ramage

Steven Ramage

Big data use cases in the cloud presentation

TUSHAR GARG

Big Data

TUSHAR GARG

Apps for Local Government - Esri Dev Summit

Azavea

Viewers also liked

Q4 2016 GeoTrellis Presentation

Rob Emanuele

Montrajet.ca : une solution multimodale de covoiturage et de planification d'...

VisionGEOMATIQUE2014

FOSDEM 2015: Distributed Tile Processing with GeoTrellis and Spark

Rob Emanuele

安全程式設計 C語言

mango chen

Self-tracking dans un contexte de ville intelligente (Smart City)

Geoffroi Garon-Épaule

La Ville Intelligente au service de la ville durable

Isam Shahrour

Automatisation de la cartographie et de l'analyse des données de comptage de ...

VisionGEOMATIQUE2014

Géomatique appliquée : revue des solutions novatrices mises en place en 2014

VisionGEOMATIQUE2014

Les contributions de la géomatique au développement de la ville intelligente

VisionGEOMATIQUE2014

Viewers also liked (9)

Q4 2016 GeoTrellis Presentation

Montrajet.ca : une solution multimodale de covoiturage et de planification d'...

FOSDEM 2015: Distributed Tile Processing with GeoTrellis and Spark

安全程式設計 C語言

Self-tracking dans un contexte de ville intelligente (Smart City)

La Ville Intelligente au service de la ville durable

Automatisation de la cartographie et de l'analyse des données de comptage de ...

Géomatique appliquée : revue des solutions novatrices mises en place en 2014

Les contributions de la géomatique au développement de la ville intelligente

Similar to Fast, Distributed Geoprocessing with Scala, Spark and GeoTrellis

Water and Technology, some stuff we've learned by Robert Cheetham, President,...

Kim Beidler

NREN 3.0

Ed Dodds

Earth on AWS - Next-Generation Open Data Platforms

Amazon Web Services

Internet Infrastructures for Big Data (Verisign's Distinguished Speaker Series)

eXascale Infolab

Agents In An Exponential World Foster

Ian Foster

Big Data et eGovernment

eGov Innovation Center

Deep Learning Use Cases - Data Science Pop-up Seattle

Domino Data Lab

Big data tutorial_part4

heyramzz

Set My Data Free: High-Performance CI for Data-Intensive Research

Larry Smarr

Geospatial Intelligence Middle East 2013_Big Data_Steven Ramage

Steven Ramage

Big data use cases in the cloud presentation

TUSHAR GARG

Big Data

TUSHAR GARG

Apps for Local Government - Esri Dev Summit

Azavea

Big Data By Vijay Bhaskar Semwal

IIIT Allahabad

Rocket City Keynote

Learon Dalby

New analytical methods for geocomputation - Guy Lansley, UCL

Guy Lansley

Data Science At Zillow

Nicholas McClure

Tutorial - Modern Real Time Streaming Architectures

Karthik Ramasamy

Across diverse segments in industry, there has been a shift in focus from big data to fast data, stemming, in part, from the deluge of high-velocity data streams as well as the need for instant data-driven insights, and there has been a proliferation of messaging and streaming frameworks that enterprises utilize to satisfy the needs of various applications. Drawing on their experience operating streaming systems at Twitter scale, Karthik Ramasamy, Sanjeev Kulkarni, Arun Kejariwal, and Sijie Guo walk you through state-of-the-art streaming architectures, streaming frameworks, and streaming algorithms, covering the typical challenges in modern real-time big data platforms and offering insights on how to address them. They also discuss how advances in technology might impact the streaming architectures and applications of the future. Along the way, they explore the interplay between storage and stream processing and speculate about future developments. Topics include: Basic requirements of stream processing Streaming and one-pass algorithms Different types of streaming architectures An in-depth review of streaming frameworks Deploying and operating stream processing applications Lessons learned from building a real-time stack using Apache Pulsar and Apache Heron at Twitter Scale

SPAR 2015 - Civil Maps Presentation by Sravan Puttagunta

Sravan Puttagunta

Internet of Things

Aniekan Akpaffiong

Similar to Fast, Distributed Geoprocessing with Scala, Spark and GeoTrellis (20)

Water and Technology, some stuff we've learned by Robert Cheetham, President,...

NREN 3.0

Earth on AWS - Next-Generation Open Data Platforms

Internet Infrastructures for Big Data (Verisign's Distinguished Speaker Series)

Agents In An Exponential World Foster

Big Data et eGovernment

Deep Learning Use Cases - Data Science Pop-up Seattle

Big data tutorial_part4

Set My Data Free: High-Performance CI for Data-Intensive Research

Geospatial Intelligence Middle East 2013_Big Data_Steven Ramage

Big data use cases in the cloud presentation

Big Data

Apps for Local Government - Esri Dev Summit

Big Data By Vijay Bhaskar Semwal

Rocket City Keynote

New analytical methods for geocomputation - Guy Lansley, UCL

Data Science At Zillow

Tutorial - Modern Real Time Streaming Architectures

SPAR 2015 - Civil Maps Presentation by Sravan Puttagunta

Internet of Things

More from VisionGEOMATIQUE2014

Indoor location with the Bluetooth Low Energy standard

VisionGEOMATIQUE2014

Indoor location is finally beginning to deliver on promises made over the last decade. Low cost deployment using simple, power efficient sensors is driving this development. This presentation will provide a survey of mobile location technologies that employ the Bluetooth Low Energy standard paired with the capabilites of recent mobile devices. After moving on to consider the cross platform capabilities of recent vendor protocols, the talk will weigh the pros and cons of various uses of triangulation, proximity and hybrid GPS/Wifi/Bluetooth in location applications. Finally, a live demo of proximity, ranging and position using Bluetooth Low Energy devices and the iBeacon protocol will be conducted within the presentation room.

ScribeUI: La productivité avec MapServer

VisionGEOMATIQUE2014

Quiconque a déjà essayé de créer de superbes cartes avec Mapserver et de multiples jeux de données tels que OpenStreetMap par exemple, sait à quel point la tâche peut être énorme. Scribe est une solution pour ce genre de besogne. Cette présentation sera une introduction à ce nouveau moyen pour créer, modifier dans le temps et gérer, vos projets cartographiques. Peu importe la quantité de données à gérer, le nombre de mapfiles ou la complexité de votre symbologie, Scribe vous aidera à être plus efficace en éliminant les tâches redondantes, diminuant la taille de vos mapfile, simplifier leur gestion et réduire le nombre d’erreurs de production! Après près de deux ans de développement et un autre Google Summer of Code, l’outil est plus que jamais une solution pertinente et prête à être exploré par la communauté.

OpenGL ES pour le développement d’applications géospatiales sur Android

VisionGEOMATIQUE2014

Plusieurs API cartographiques sont disponibles pour les développeurs Android. Toutefois, dans le cadre de certains projets, il n’est pas toujours possible de les utiliser, et ce, pour différentes raisons (ex : type de licence, absence d’une fonctionnalité donnée, etc.). Il est heureusement possible de développer soi-même une application cartographique en ayant recours à OpenGL ES (Open Graphics Library for Embedded System), une API de rendu graphique 2D et 3D disponible sur Android. Cette présentation consiste en une introduction à OpenGL ES. Différents points seront abordés, tels que les scénarios d’utilisation, les concepts de base propres à OpenGL ES, les principales classes, etc. Des exemples avec des données géospatiales seront aussi présentés. Enfin, des références utiles seront fournies pour ceux et celles qui désirent débuter avec l’API OpenGL ES sur Android.

Accès ouvert aux données météorologiques d’Environnement Canada

VisionGEOMATIQUE2014

Deux services de données géospatiales offerts par le Service météorologique Canada (Environnement Canada) seront présentés. Le Datamart du SMC permet de télécharger des données brutes produites par le Service météorologique du Canada (SMC) et rend possible la cueillette automatisée des produits et données météorologiques du SMC. Une grande diversité de données s’y retrouvent, tels les avertissements météo, les prévisions publiques en XML, les données brutes de prévision, les observations météorologiques et bien davantage. Le Datamart du SMC jouit d’une grande popularité avec plus de 12 millions d’accès quotidiennement. Les services web géospatiaux GeoMet permettent au public d’intégrer dans leurs outils SIG, cartes interactives ou appareil mobile, les données brutes de modèles de prévision numérique du temps et de la mosaïque nord-américaine des radars météo par le biais de deux standards de l’Open Geospatial Consortium : le WMS et le KML. Qu’il s’agisse par exemple de la pluie observée par les radar météo ou les prévisions de précipitation de neige ou une animation des prévisions de températures , les utilisations de ces données sont nombreuses et d’une grande valeur pour de nombreux décideurs.

LocationTech Data Commons

VisionGEOMATIQUE2014

Mass collaboration for points of interest A considerable amount of geodata is commodity. This is to say that it is not a source of competitive advantage if it does not differ from organization to organization. Collaboration based on a common pool of data makes sense. In order to enable collaboration, certain factors are quite important. These include licensing, governance, infrastructure, services, and architecture. This talk will present the LocationTech Data Commons, a new initiative focusing on collaboration for points of interest data.

TDW FOSS GEO-STACK FOR MINERAL EXPLORATION

VisionGEOMATIQUE2014

Exploring for subsurface Mineral accumulations using Remote Sensing Imagery (RSI) interpretation had its beginning in detecting: Hydrocarbon seeps, Rock Alterations, Structural or Lineaments. Hydrocarbon seeps are direct indicators of subsurface Petroleum accumulations, Mineral Alteration studies indicate the source of hydrothermal alteration, structural and lineament analysis gives the potential for Mineral accumulation. RSI use is one of the key methods for understanding the surface and subsurface Mineralization: potential, genesis and quality without drilling. The detection process involves the integration of geospatial data from a variety of formats and a numerous sources. TDW FOSS Geo-stack presents a stackable package that allows for the: storage, visualization and analyses of geospatial data. This Free and Open Source Software (FOSS) solution integrates an extensible geospatial database, visualization tools, analysis, and metadata handling tools. TDW FOSS Geo-stack can be deployed from a 64 GB USB stick or within a Virtual Machine environment. Preliminary case studies involving the detection of Hydrocarbon Seeps, Mineral Alteration, Structures and Lineaments will be discussed using: SQLite/SpatiaLite, Quantum GIS, Optics, GeoNetwork.

Spatial Data processing with Hadoop

VisionGEOMATIQUE2014

Solution Geoctopus : améliorations et défis

VisionGEOMATIQUE2014

Infrastructure de géomatique ouverte (IGO) : un modèle inspirant de développe...

VisionGEOMATIQUE2014

G.O LOC est un projet géomatique développé à partir de logiciels libres par le MSP depuis 2008 et utilisé par une dizaine de partenaires. G.O. Loc consolide plusieurs centaines de couches d’information provenant de plus d’une soixantaine de ministères et organismes dans une seule architecture orientée service. Il propose, entre autres, un navigateur géographique, des services communs et standards, tel que le service de localisation et les services web de carte. Le projet IGO (Infrastructure géomatique ouverte) est une évolution du projet G.O. Loc du MSP avec l’objectif d’en faire un projet commun, modulaire, basé sur les logiciels libres et avec un modèle de gouvernance ouverte inter-organisationnel. À terme, le MSP devient un partenaire comme les autres à l’intérieur de ce projet de géomatique libre et ouvert au sein du gouvernement du Québec. La présentation traitera de l’expérience du projet IGO, son modèle de gouvernance et montrera comment le logiciel libre a pu faciliter la démarche et l’intégration d’IGO dans les solutions déjà en place chez les partenaires, qu’elles soient libres ou propriétaires.

GeoMesa: Scalable Geospatial Analytics

VisionGEOMATIQUE2014

MACHINE LEARNING FOR SATELLITE-GUIDED WATER QUALITY MONITORING

VisionGEOMATIQUE2014

SIGim la plateforme adaptée à la gestion municipale

VisionGEOMATIQUE2014

Au cours de cette présentation vous découvrirez la suite SIGim, l’outil de gestion développé par Geomap GIS Amérique, à destination des MRC et municipalités. SIGim est une plateforme géomatique complète permettant une gestion des données géoréférencées de la digitalisation, à la diffusion à l’ensemble de l’organisation, au travers des dernières technologies Web ou mobile. Grâce à la dimension géomatique et à la pleine intégration des données de la Ville ou de la MRC, les utilisateurs peuvent visualiser ce qu’ils gèrent. Le conférencier présentera également comment la solution SIGim vous permet d’exploiter vos différentes sources de données et les passerelles possible avec les applications de gestion municipale les plus courantes.

Optimisation et analyse des parcours de déneigement à la Ville de Shawinigan

VisionGEOMATIQUE2014

Plusieurs solutions existent déjà pour suivre en temps réel le parcours de la machinerie œuvrant au ramassage de la neige ainsi que pour évaluer l’avancement des opérations. Toutefois quand vient le temps d’optimiser la répartition du travail entre les équipes et les machines, d’analyser leur performance sur le terrain lors d’épisodes neigeux, en temps réel, à la fin de la saison hivernale voire sur plusieurs années, un système géodécisionnel facilite grandement la simulation de différents scénarios en amont et l’analyse des résultats en aval. L’objectif de ce projet est de produire facilement des rapports d’analyse portant sur plusieurs critères d’optimisation, comme le pourcentage du ramassage réalisé par type de machinerie, le rendement des équipes, la rapidité du ramassage par nuit d’opération, par épisode neigeux, par année, et ce, pour chaque type de ramassage (dans les camions, soufflage sur les terrains, dans les champs…). L’objectif ultime de cet outil consiste à réduire les coûts liés au déneigement en optimisant l’usage de chaque machinerie, de chaque équipe et en mettant en place de meilleures pratiques. Cette conférence présentera l’architecture et les composantes du système (base de données, processus d’extraction-transformation et chargement, solution logicielle), les bénéfices du projet ainsi que certains résultats obtenus.

AutoTri, une application automatisant l’analyse du stationnement de l’arrondi...

VisionGEOMATIQUE2014

Dans le but de mesurer l’impact des modifications aux zones de stationnement; l’arrondissement Plateau-Mont-Royal de la Ville de Montréal devait faire des relevés manuels des véhicules stationnés. Pour accélérer la cueillette de données, l’arrondissement s’est doté en 2012 d’un véhicule faisant la reconnaissance automatique des plaques d’immatriculation et leur géolocalisation. Bien qu’accélérant la cueillette d‘information, le traitement de ces dernières restait long et fastidieux. De plus, le stockage des données ainsi que leur analyse historique étaient difficiles. Afin de traiter plus efficacement le flot de données géolocalisées ainsi généré, la Division des études techniques de l’arrondissement Plateau-Mont-Royal, en collaboration avec OODA Technologies, a créé l’application web AutoTri permettant de calculer et visualiser sur une carte le taux d’occupation des stationnements à partir des relevés automatisés. L’application est développée uniquement avec des logiciels et des données libres ou appartenant à la Ville de Montréal. AutoTri s’intègre parfaitement au contexte actuel de l’émergence de Montréal Ville Intelligente: elle améliore et facilite le travail des analystes, fait un meilleur usage des équipements disponibles et permet l’analyse et le stockage rapide des données disponibles.

Requirements for Geospatial Agent Simulation to Strengthen the 'Property-Powe...

VisionGEOMATIQUE2014

This session illustrates how geospatial attributes of payments data can be used in applied geographical economics, both micro and macro. The micro-economic example involves positioning of railway stations in the « Property-Powered Rail Open Development Model. The macro-economic example involves re-purposing trade data on currency of settlement to create the « Earth Reserve Index », a weighting system to employ biophysical indicators such as infrared reflectivity, in price benchmarking.

JMap 6.0 : une solution complète et évolutive pour l'intégration, la diffusio...

VisionGEOMATIQUE2014

La plateforme d’intégration et de diffusion de données spatiales JMap a connu une évolution constante depuis sa première version en 2000. Utilisé par plus de 500 organisation dans le monde, JMap est maintenant disponible en version 6.0. Avec ses 4 interfaces (JMap Admin, JMap Pro, JMap Web et JMap Mobile) JMap 6 a offre une réponse de plus en plus adaptée à l’ensemble des besoins des utilisateurs. La conférence permettra de survoler JMap dans son ensemble et présentera spécifiquement les nouveautés de JMap 6.0 dont les nouvelles sources de données spatiales éditables (MySQL Spatial, ESRI ArcSDE, MS SQL Server, …), la connection aux serveurs Google Maps, Bing Maps and OpenStreetMap, la création de formulaires d’édition de données pour JMap Pro et JMap Mobile.

Language Technologies for Geomatics: From Intelligence to Agility

VisionGEOMATIQUE2014

Observatoire interactif des accessibilités pour une mobilité urbaine intellig...

VisionGEOMATIQUE2014

En moyenne, plus de 220,000 automobiles entrent chaque jour dans le périmètre du Grand Lyon. De quoi causer tout un casse-tête! Mené par le Laboratoire d’Économie des Transports (LET) de l’université de Lyon, le projet OPTIMOD’LYON est une plateforme intégrée d’innovation sur la mobilité urbaine et de coopération public-privé sur les systèmes de transports intelligents en milieu urbain. Le projet comporte un système de cartographie interactive permettant de visualiser et de comparer en ligne différentes options de transport afin d’inciter la population à se déplacer de manière intelligente. L’utilisateur peut comparer les temps de parcours et les coûts des déplacements entre les différents modes de transports (véhicule particulier, diesel, hybride, électrique, transport en commun, vélo, vélo à assistance électrique, marche à pied) dans une interface interactive simple et efficace, développée à l’aide du logiciel CartoVista. En s’appuyant sur une modélisation pertinente, des cartes d’accessibilité multimodales sont présentées sous la forme d’isochrones, pour les principales origines/destinations de l’agglomération lyonnaise. Dans un cadre ergonomique, le système de cartographie interactive permet de visualiser rapidement une bibliothèque d’indicateurs pour mieux planifier le transport et aussi fournir aux décideurs et grand public des éléments de réponse quant à la problématique du coût global des déplacements.

CartoVista 5 passe en 5ième vitesse avec HTML 5!

VisionGEOMATIQUE2014

Le logiciel CartoVista 5 présente une toute nouvelle interface développée entièrement avec les technologies HTML5/Javascript. CartoVista 5 permet de gérer et d’afficher un nombre très impressionnant d’objets dans n’importe quel navigateur web récent, dans un cadre ergonomique. Cette présentation mettra l’emphase sur des démonstrations pratiques qui mettent en évidence les innovations et nouvelles possibilités offertes par ce nouveau moteur. Les fonctions de cartographie thématique ont été grandement bonifiées en HTML5 pour permettre un rendu encore plus rapide. Tirant profit des index spatiaux et du Canvas, il est possible d’afficher plusieurs dizaines de milliers d’objets en mode interactif. L’interface du logiciel en HTML5 est simplifiée à l’aide de panneaux conviviaux. Le tableau de données offre un affichage rapide des indicateurs en mode graphique avec des fonctions avancées de tri et de configuration. Le visualiseur HTML5 a aussi été développé pour offrir une navigation et un affichage adéquat sur les téléphones intelligents et tablettes. La mise en place de gabarits HTML permet une intégration encore plus simple à des sites web existants ou gestionnaires de contenus. En somme, CartoVista 5 est une grande avancée technologique pour publier n’importe quelle donnée géographique en exploitant la dimension analyse thématique dans un cadre interactif exceptionnel.

La cartographie sur mobile dans un contexte municipal: Un outil puissant de p...

VisionGEOMATIQUE2014

À l’ère où l’instantané devient une norme, l’accessibilité aux données est un must pour une municipalité qui veut se démarquer, tant comme employeur qu’ auprès de ses citoyens. Il est évident qu’offrir une application mobile comme outil de travail au sein d’une municipalité augmente considérablement l’efficacité des ressources et la transparence auprès de la population. Durant cette présentation, vous pourrez observer la facilité avec laquelle il est possible de gérer des projets sur le terrain à l’aide d’une application de visualisation de données sur iPad. Retrouver et localiser rapidement un projet précis à l’aide d’un grand nombre de filtres que ce soit par nom, par valeur, par date ou par emplacement par exemple. Il est également possible d’ajouter et modifier une fiche descriptive et même des objets multimédias pour donner vie aux informations recueillies sur le terrain et appuyer les observations. Le partage d’information, la gestion des ressources et l’accès en tout temps aux données, offrent une infinité de possibilités aux municipalités. Des cas réels d’utilisation du mobile par l’entremise du logiciel de visualisation de données CartoVista vous démontreront comment tirer profit de cette technologie dans un cadre urbain pour offrir une facilité et surtout une rapidité d’accès aux données.

More from VisionGEOMATIQUE2014 (20)

Indoor location with the Bluetooth Low Energy standard

ScribeUI: La productivité avec MapServer

OpenGL ES pour le développement d’applications géospatiales sur Android

Accès ouvert aux données météorologiques d’Environnement Canada

LocationTech Data Commons

TDW FOSS GEO-STACK FOR MINERAL EXPLORATION

Spatial Data processing with Hadoop

Solution Geoctopus : améliorations et défis

Infrastructure de géomatique ouverte (IGO) : un modèle inspirant de développe...

GeoMesa: Scalable Geospatial Analytics

MACHINE LEARNING FOR SATELLITE-GUIDED WATER QUALITY MONITORING

SIGim la plateforme adaptée à la gestion municipale

Optimisation et analyse des parcours de déneigement à la Ville de Shawinigan

AutoTri, une application automatisant l’analyse du stationnement de l’arrondi...

Requirements for Geospatial Agent Simulation to Strengthen the 'Property-Powe...

JMap 6.0 : une solution complète et évolutive pour l'intégration, la diffusio...

Language Technologies for Geomatics: From Intelligence to Agility

Observatoire interactif des accessibilités pour une mobilité urbaine intellig...

CartoVista 5 passe en 5ième vitesse avec HTML 5!

La cartographie sur mobile dans un contexte municipal: Un outil puissant de p...

Recently uploaded

20240607 QFM018 Elixir Reading List May 2024

Matthew Sinclair

GraphSummit Singapore | Neo4j Product Vision & Roadmap - Q2 2024

Neo4j

Enchancing adoption of Open Source Libraries. A case study on Albumentations.AI

Vladimir Iglovikov, Ph.D.

Presented by Vladimir Iglovikov: - https://www.linkedin.com/in/iglovikov/ - https://x.com/viglovikov - https://www.instagram.com/ternaus/ This presentation delves into the journey of Albumentations.ai, a highly successful open-source library for data augmentation. Created out of a necessity for superior performance in Kaggle competitions, Albumentations has grown to become a widely used tool among data scientists and machine learning practitioners. This case study covers various aspects, including: People: The contributors and community that have supported Albumentations. Metrics: The success indicators such as downloads, daily active users, GitHub stars, and financial contributions. Challenges: The hurdles in monetizing open-source projects and measuring user engagement. Development Practices: Best practices for creating, maintaining, and scaling open-source libraries, including code hygiene, CI/CD, and fast iteration. Community Building: Strategies for making adoption easy, iterating quickly, and fostering a vibrant, engaged community. Marketing: Both online and offline marketing tactics, focusing on real, impactful interactions and collaborations. Mental Health: Maintaining balance and not feeling pressured by user demands. Key insights include the importance of automation, making the adoption process seamless, and leveraging offline interactions for marketing. The presentation also emphasizes the need for continuous small improvements and building a friendly, inclusive community that contributes to the project's growth. Vladimir Iglovikov brings his extensive experience as a Kaggle Grandmaster, ex-Staff ML Engineer at Lyft, sharing valuable lessons and practical advice for anyone looking to enhance the adoption of their open-source projects. Explore more about Albumentations and join the community at: GitHub: https://github.com/albumentations-team/albumentations Website: https://albumentations.ai/ LinkedIn: https://www.linkedin.com/company/100504475 Twitter: https://x.com/albumentations

Microsoft - Power Platform_G.Aspiotis.pdf

Uni Systems S.M.S.A.

By Design, not by Accident - Agile Venture Bolzano 2024

Pierluigi Pugliese

Large Language Model (LLM) and it’s Geospatial Applications

Rohit Gautam

Observability Concepts EVERY Developer Should Know -- DeveloperWeek Europe.pdf

Paige Cruz

Monitoring and observability aren’t traditionally found in software curriculums and many of us cobble this knowledge together from whatever vendor or ecosystem we were first introduced to and whatever is a part of your current company’s observability stack. While the dev and ops silo continues to crumble….many organizations still relegate monitoring & observability as the purview of ops, infra and SRE teams. This is a mistake - achieving a highly observable system requires collaboration up and down the stack. I, a former op, would like to extend an invitation to all application developers to join the observability party will share these foundational concepts to build on:

GDG Cloud Southlake #33: Boule & Rebala: Effective AppSec in SDLC using Deplo...

James Anderson

Effective Application Security in Software Delivery lifecycle using Deployment Firewall and DBOM The modern software delivery process (or the CI/CD process) includes many tools, distributed teams, open-source code, and cloud platforms. Constant focus on speed to release software to market, along with the traditional slow and manual security checks has caused gaps in continuous security as an important piece in the software supply chain. Today organizations feel more susceptible to external and internal cyber threats due to the vast attack surface in their applications supply chain and the lack of end-to-end governance and risk management. The software team must secure its software delivery process to avoid vulnerability and security breaches. This needs to be achieved with existing tool chains and without extensive rework of the delivery processes. This talk will present strategies and techniques for providing visibility into the true risk of the existing vulnerabilities, preventing the introduction of security issues in the software, resolving vulnerabilities in production environments quickly, and capturing the deployment bill of materials (DBOM). Speakers: Bob Boule Robert Boule is a technology enthusiast with PASSION for technology and making things work along with a knack for helping others understand how things work. He comes with around 20 years of solution engineering experience in application security, software continuous delivery, and SaaS platforms. He is known for his dynamic presentations in CI/CD and application security integrated in software delivery lifecycle. Gopinath Rebala Gopinath Rebala is the CTO of OpsMx, where he has overall responsibility for the machine learning and data processing architectures for Secure Software Delivery. Gopi also has a strong connection with our customers, leading design and architecture for strategic implementations. Gopi is a frequent speaker and well-known leader in continuous delivery and integrating security into software delivery.

RESUME BUILDER APPLICATION Project for students

KAMESHS29

Monitoring Java Application Security with JDK Tools and JFR Events

Ana-Maria Mihalceanu

Goodbye Windows 11: Make Way for Nitrux Linux 3.5.0!

SOFTTECHHUB

As the digital landscape continually evolves, operating systems play a critical role in shaping user experiences and productivity. The launch of Nitrux Linux 3.5.0 marks a significant milestone, offering a robust alternative to traditional systems such as Windows 11. This article delves into the essence of Nitrux Linux 3.5.0, exploring its unique features, advantages, and how it stands as a compelling choice for both casual users and tech enthusiasts.

Epistemic Interaction - tuning interfaces to provide information for AI support

Alan Dix

Paper presented at SYNERGY workshop at AVI 2024, Genoa, Italy. 3rd June 2024 https://alandix.com/academic/papers/synergy2024-epistemic/ As machine learning integrates deeper into human-computer interactions, the concept of epistemic interaction emerges, aiming to refine these interactions to enhance system adaptability. This approach encourages minor, intentional adjustments in user behaviour to enrich the data available for system learning. This paper introduces epistemic interaction within the context of human-system communication, illustrating how deliberate interaction design can improve system understanding and adaptation. Through concrete examples, we demonstrate the potential of epistemic interaction to significantly advance human-computer interaction by leveraging intuitive human communication strategies to inform system design and functionality, offering a novel pathway for enriching user-system engagements.

DevOps and Testing slides at DASA Connect

Kari Kakkonen

How to Get CNIC Information System with Paksim Ga.pptx

danishmna97

Artificial Intelligence for XMLDevelopment

Octavian Nadolu

In the rapidly evolving landscape of technologies, XML continues to play a vital role in structuring, storing, and transporting data across diverse systems. The recent advancements in artificial intelligence (AI) present new methodologies for enhancing XML development workflows, introducing efficiency, automation, and intelligent capabilities. This presentation will outline the scope and perspective of utilizing AI in XML development. The potential benefits and the possible pitfalls will be highlighted, providing a balanced view of the subject. We will explore the capabilities of AI in understanding XML markup languages and autonomously creating structured XML content. Additionally, we will examine the capacity of AI to enrich plain text with appropriate XML markup. Practical examples and methodological guidelines will be provided to elucidate how AI can be effectively prompted to interpret and generate accurate XML markup. Further emphasis will be placed on the role of AI in developing XSLT, or schemas such as XSD and Schematron. We will address the techniques and strategies adopted to create prompts for generating code, explaining code, or refactoring the code, and the results achieved. The discussion will extend to how AI can be used to transform XML content. In particular, the focus will be on the use of AI XPath extension functions in XSLT, Schematron, Schematron Quick Fixes, or for XML content refactoring. The presentation aims to deliver a comprehensive overview of AI usage in XML development, providing attendees with the necessary knowledge to make informed decisions. Whether you’re at the early stages of adopting AI or considering integrating it in advanced XML development, this presentation will cover all levels of expertise. By highlighting the potential advantages and challenges of integrating AI with XML development tools and languages, the presentation seeks to inspire thoughtful conversation around the future of XML development. We’ll not only delve into the technical aspects of AI-powered XML development but also discuss practical implications and possible future directions.

Secstrike : Reverse Engineering & Pwnable tools for CTF.pptx

nkrafacyberclub

Climate Impact of Software Testing at Nordic Testing Days

Kari Kakkonen

My slides at Nordic Testing Days 6.6.2024 Climate impact / sustainability of software testing discussed on the talk. ICT and testing must carry their part of global responsibility to help with the climat warming. We can minimize the carbon footprint but we can also have a carbon handprint, a positive impact on the climate. Quality characteristics can be added with sustainability, and then measured continuously. Test environments can be used less, and in smaller scale and on demand. Test techniques can be used in optimizing or minimizing number of tests. Test automation can be used to speed up testing.

GraphSummit Singapore | The Future of Agility: Supercharging Digital Transfor...

Neo4j

Leonard Jayamohan, Partner & Generative AI Lead, Deloitte This keynote will reveal how Deloitte leverages Neo4j’s graph power for groundbreaking digital twin solutions, achieving a staggering 100x performance boost. Discover the essential role knowledge graphs play in successful generative AI implementations. Plus, get an exclusive look at an innovative Neo4j + Generative AI solution Deloitte is developing in-house.

Introduction to CHERI technology - Cybersecurity

mikeeftimakis1

Essentials of Automations: The Art of Triggers and Actions in FME

Safe Software

In this second installment of our Essentials of Automations webinar series, we’ll explore the landscape of triggers and actions, guiding you through the nuances of authoring and adapting workspaces for seamless automations. Gain an understanding of the full spectrum of triggers and actions available in FME, empowering you to enhance your workspaces for efficient automation. We’ll kick things off by showcasing the most commonly used event-based triggers, introducing you to various automation workflows like manual triggers, schedules, directory watchers, and more. Plus, see how these elements play out in real scenarios. Whether you’re tweaking your current setup or building from the ground up, this session will arm you with the tools and insights needed to transform your FME usage into a powerhouse of productivity. Join us to discover effective strategies that simplify complex processes, enhancing your productivity and transforming your data management practices with FME. Let’s turn complexity into clarity and make your workspaces work wonders!

Recently uploaded (20)

20240607 QFM018 Elixir Reading List May 2024

GraphSummit Singapore | Neo4j Product Vision & Roadmap - Q2 2024

Enchancing adoption of Open Source Libraries. A case study on Albumentations.AI

Microsoft - Power Platform_G.Aspiotis.pdf

By Design, not by Accident - Agile Venture Bolzano 2024

Large Language Model (LLM) and it’s Geospatial Applications

Observability Concepts EVERY Developer Should Know -- DeveloperWeek Europe.pdf

GDG Cloud Southlake #33: Boule & Rebala: Effective AppSec in SDLC using Deplo...

RESUME BUILDER APPLICATION Project for students

Monitoring Java Application Security with JDK Tools and JFR Events

Goodbye Windows 11: Make Way for Nitrux Linux 3.5.0!

Epistemic Interaction - tuning interfaces to provide information for AI support

DevOps and Testing slides at DASA Connect

How to Get CNIC Information System with Paksim Ga.pptx

Artificial Intelligence for XMLDevelopment

Secstrike : Reverse Engineering & Pwnable tools for CTF.pptx

Climate Impact of Software Testing at Nordic Testing Days

GraphSummit Singapore | The Future of Agility: Supercharging Digital Transfor...

Introduction to CHERI technology - Cybersecurity

Essentials of Automations: The Art of Triggers and Actions in FME

Fast, Distributed Geoprocessing with Scala, Spark and GeoTrellis

1. 21st Century Geoprocessing with Scala and GeoTrellis Robert Cheetham cheetham@azavea.com @azavea @rcheetham

2. B Corporation • Civic/Social impact • Donate share of profits Research-Driven • 10% Research Program • Academic Collaborations • Open Source • Open Data

3. Use geodata to do stuff that matters

4. Land Water People

5. Ian McHarg

6. Dana Tomlin

7. Idrisi

8. GRASS

9. advanced spatial analysis on the web

10. advanced spatial analysis on the web

11. 3 Challenges

12. 1. Performance & Scalability

13. Big Data – Cities 2. Large Data Sets – Digital City

14. 2. Large Data Sets – Social Media

15. 2. Large Data Sets - Science

16. 3. User Interface

17. 3. User Interface

18. 3. User Interface

19. 3. User Interface

20. 3. User Interface

21. We can do better

22.

23. • IO • Geoprocessing Operations • Distributed Processing • Web Services

24. Real-time Processing

25. 6183 x 4992 4598 x 4867 118 MB 86 MB

26. Cluster-style Processing

27. 1770271 x 910139 5.8 TB

28. How does it work

29. On the shoulders of giants

30. LocationTech Community

31.

32. Some changes coming

33. • Parallel operations across tiles • Parallel execution of operations • Basic cluster capabilities with GeoTrellis v0.9: +

34. • Sharding raster data across the cluster • Caching operation results across cluster • HDFS support • Advanced Fault tolerance • Advanced Scheduling • ... What's missing? +

35. • Caches results in memory • Ideal for iterative algorithms • Significantly outperforms Hadoop • Uses Hadoop's file system (HDFS)

36. +

37. What becomes possible?

38. Urban Forests

39. Urban Forests

40. Simulation Modeling

41. Sea Level Rise

42. Business Siting

43. Streaming Data

44. Counting Carbon

45. Digital Humanities

46. GeoTrellis Transit

47. Travelsheds

48. Crime Analysis and Forecasting

49. It’s the second Monday in October and school is in session. There were 2 burglaries and 3 assaults yesterday. The Maple Leafs are not playing this evening. Six bars, three take-out stores, and a high school are in the neighborhood. The forecast is 9°C with a 50% chance of rain this evening. Where do you focus your 3 vehicles?

50. It’s the second Monday in October and school is in session. There were 2 burglaries and 3 assaults yesterday. The Maples Leafs are not playing this evening. Six bars, three take-out stores, and a high school are in the neighborhood. The forecast is 9°C with 50% chance of rain. Where do you focus your 3 vehicles?

51. Data Science + Geography

52. Data Science + Geography

53. Faster is different…

54. Educational Games

55. New Devices and Displays

56.

57.

58. I am very excited

59. advanced spatial analysis on the web

60. advanced spatial analysis on the web

61. Land Water People

62. Simulation Modeling Forecasting