Utilitarian Aggregation of Open Data
Srinath Srinivasa, Sweety Agrawal
Chinmay Jog, Jayati Deshmukh
IIIT Bangalore
OSL@IIIT­B
●

●

Started in 2002
Current strength: 3 PhD students, 5 MS (by Research) students, 24 MTech project 
students...
OSL Releases
Agama: A graph database for 
storing large undirected graphs 
for efficient traversal (not 
structure­based r...
OSL Releases
Topical Anchors: Given 
a list of noun phrases, 
identify a semantic 
topic for these terms.
Powered by Wikip...
OSL Releases
Topic Expansion: Given a
term, expands it into
semantically relevant topical
clusters with different
senses.
...
OSL Releases
Silverfish: A social space for 
managing and discussing 
research papers
Supports automatic 
indexing, recomm...
Utilitarian Aggregation of Open Data
Open Data
Data hosted publicly for use and re­
publication with a free or open license
Usually comprising of structured 
d...
Open Data in India: A Summary [Agrawal et al. 2013]
Sandesh
A “semantic data mesh” over Indian Open Data
Connecting elements from different datasets under an 
overarching sem...
Challenges in Open Data Aggregation
Fragmentation
Challenges in Open Data Aggregation
Bounded validity of utilitarian data
Consider the following RDF statements: 
( Einstei...
Challenges in Open Data Aggregation
The “divergent” nature of utilitarian aggregation

The “convergent” nature of encyclop...
Challenges in Open Data Aggregation
The “divergent” nature of utilitarian aggregation
Utilitarian 
aggregation 
involves c...
Challenges in Open Data Aggregation
Open Data and Credibility

Open data portals hosting utilitarian data (Ex: Data.gov.in...
Challenges in Open Data Aggregation
The problem of “open­ended” data
Data containing private information about entity p, b...
Many Worlds on a Frame (MWF)
A trusted, distributed middleware for utilitarian aggregation 
and dissemination of open data...
MWF: Conceptual World
Place

Person

Conceptual World: A semantic context to host data about something
Institution

Crop
City

is-a
is-in

is-a
is-in

State

is-a
is-in

MWF: Frame

Place

Every conceptual world has a “type” and a 
“location” ...
MWF: World Structure and Participation
Institution

Person

Office
Location

Member
Components

Member

Member
Association...
MWF: Privileges
Institution

User ::
Person

Credentials of a Person (User) defined 
by the roles played by the Person in ...
MWF: Inheritances
Place

City

is-a
is-in

State

is­a hierarchy inherits:
● World structure
● Attributes
● Participations...
MWF: Other Features 

 (ongoing work)

Constraints
Uniqueness constraints
Dual Associations

Bulk loading of data
Cognitiv...
MWF: Future Work
Distributed MWF with proxy worlds
From privileges and constraints to an 
integrity management subsystem
Some Screenshots
Some Screenshots
Some Screenshots
Some Screenshots
Thank You!
References
[Agrawal et al, 2013] Sweety Agrawal, Jayati Deshmukh, Srinath Srinivasa, Chinmay Jog, Sri 
Sayi Bhavani Kakarl...
Upcoming SlideShare
Loading in …5
×

Utilitarian aggregation of open data

812 views
595 views

Published on

Presented by Professor Srinath Srinivasa

Published in: Social Media
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
812
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
8
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Utilitarian aggregation of open data

  1. 1. Utilitarian Aggregation of Open Data Srinath Srinivasa, Sweety Agrawal Chinmay Jog, Jayati Deshmukh IIIT Bangalore
  2. 2. OSL@IIIT­B ● ● Started in 2002 Current strength: 3 PhD students, 5 MS (by Research) students, 24 MTech project  students ● Research Graduates: 4 PhDs, 1 MS ● Part of the Intel PlanetLab grid between 2003—2006  ● Broad research areas: data, systems and cognition ● Specific research areas over the years ● Data models for graph databases ● Distributed query processing ● Data management in ad hoc networks ● Semantics mining from text data ● Analytics of online social spaces ● Community knowledge management ● Linked Open Data ● Computational Cognition Current focus areas
  3. 3. OSL Releases Agama: A graph database for  storing large undirected graphs  for efficient traversal (not  structure­based retrieval) Currently Agama powers a co­ occurrence graph of all noun­ phrases from Wikipedia articles  hosted in OSL, managing 10s of  millions of nodes and 100s of  millions of edges 
  4. 4. OSL Releases Topical Anchors: Given  a list of noun phrases,  identify a semantic  topic for these terms. Powered by Wikipedia  co­occurrence graph  hosted by Agama Web APIs enable use of  Topical Anchors in  third party applications 
  5. 5. OSL Releases Topic Expansion: Given a term, expands it into semantically relevant topical clusters with different senses. Uses co-occurrence datasets from Wikipedia 2006 or 2011. Web APIs enable use by third party applications
  6. 6. OSL Releases Silverfish: A social space for  managing and discussing  research papers Supports automatic  indexing, recommendations  and social networking  features 
  7. 7. Utilitarian Aggregation of Open Data
  8. 8. Open Data Data hosted publicly for use and re­ publication with a free or open license Usually comprising of structured  datasets in the form of tables Major government, NGO and corporate  players in the open data space
  9. 9. Open Data in India: A Summary [Agrawal et al. 2013]
  10. 10. Sandesh A “semantic data mesh” over Indian Open Data Connecting elements from different datasets under an  overarching semantic structure Challenges Open data about no single topic in particular, fits into no  single ontology Contextual boundaries of open data assertions unable to  model using LinkedData standards The problem of “open­ended” data
  11. 11. Challenges in Open Data Aggregation Fragmentation
  12. 12. Challenges in Open Data Aggregation Bounded validity of utilitarian data Consider the following RDF statements:  ( Einstein , HasWon , NobelPrize) (Wheat , PricePerKilo , 50) Encyclopedic knowledge Utilitarian knowledge Valid everywhere without contextual boundaries Valid only within specific  contextual boundaries (market,  place, time, etc.) No immediate or specific utility Has immediate and/or specific  utility
  13. 13. Challenges in Open Data Aggregation The “divergent” nature of utilitarian aggregation The “convergent” nature of encyclopedic aggregation like Wikipedia articles
  14. 14. Challenges in Open Data Aggregation The “divergent” nature of utilitarian aggregation Utilitarian  aggregation  involves creation  of several “utility  worlds” each of  which combine a  given data with  different other  data sets for  different  utilitarian goals.
  15. 15. Challenges in Open Data Aggregation Open Data and Credibility Open data portals hosting utilitarian data (Ex: Data.gov.in) requires  credential checks from data sources for establishing trust, which is  not so critical for open data portals hosting encyclopedic data (Ex:  Wikipedia). 
  16. 16. Challenges in Open Data Aggregation The problem of “open­ended” data Data containing private information about entity p, but which may need  to be (legitimately) disseminated and used by several entities unrelated  to p Owner (p) of data may not have knowledge or control over consumers of  data; but trusts the system to disseminate this data to legitimate  consumers  Example case studies: ● ICSE marks data ● BPL data
  17. 17. Many Worlds on a Frame (MWF) A trusted, distributed middleware for utilitarian aggregation  and dissemination of open data Users  as  knowledge  elements Users MWF Datasets Formal model of MWF developed independently, but representable as a  superposition of two Frames in Kripke Semantics Aggregated  knowledge in  utilitarian  “worlds” 
  18. 18. MWF: Conceptual World Place Person Conceptual World: A semantic context to host data about something Institution Crop
  19. 19. City is-a is-in is-a is-in State is-a is-in MWF: Frame Place Every conceptual world has a “type” and a  “location” specified by an “is­a” parent and “is­in”  parent respectively. The data structure formed by  is­a and is­in connections is called the Frame
  20. 20. MWF: World Structure and Participation Institution Person Office Location Member Components Member Member Associations Heads Office Location ReportsTo Member Place
  21. 21. MWF: Privileges Institution User :: Person Credentials of a Person (User) defined  by the roles played by the Person in  different worlds Administrator Schema Manager Data owner Casual user Public Credentials determine privilege level in  a target world
  22. 22. MWF: Inheritances Place City is-a is-in State is­a hierarchy inherits: ● World structure ● Attributes ● Participations ● Constraints is­in hierarchy inherits: ● Privilege levels ● Visibility ● Construction ● Destruction
  23. 23. MWF: Other Features   (ongoing work) Constraints Uniqueness constraints Dual Associations Bulk loading of data Cognitive gap­fillers Query semantics ● Select­in Answer a query by matching query condition inside a world and its contained worlds ● Select­on Answer a query by matching query condition on a set of worlds of a given type ● Select­world Answer a query about the participation of a given world in other worlds
  24. 24. MWF: Future Work Distributed MWF with proxy worlds From privileges and constraints to an  integrity management subsystem
  25. 25. Some Screenshots
  26. 26. Some Screenshots
  27. 27. Some Screenshots
  28. 28. Some Screenshots
  29. 29. Thank You!
  30. 30. References [Agrawal et al, 2013] Sweety Agrawal, Jayati Deshmukh, Srinath Srinivasa, Chinmay Jog, Sri  Sayi Bhavani Kakarla, Rahul Dhek, Sneha Deshpande, Sana Javed and Vikas Mohandoss. A  Survey of Indian Open Data. Proceedings of IBM ICARE 2013. ACM Press. New Delhi, India. Oct  2013 [Srinivasa et al, 2014] Srinath Srinvasa, Sweety Agrawal, Chinmay Jog, Jayati Deshmukh.  Characterizing Open Utilitarian Knowledge. Proceedings of CoDS 2014, New Delhi, India, March  2014. 

×