CEIR - Looking under the hood of Connections - Engage 2020

Susan Williams, Julian Mosen, Petra Schubert
Looking under the hood of Connections
What is really happening
on our Collaboration Platform?

Susan P. Williams, Julian Mosen, Petra Schubert 04.03.2020Engage 2020 2
Petra Schubert
Professor
Director of CEIR
Business Software
Susan Williams
Professor
Director of CEIR
Social Informatics
Julian Mosen
PhD Candidate
Research Assistant
Social Documents
Patrick Nitschke
PhD Candidate
Research Assistant
Internet of Things
Berit Gebel-Sauer
PhD Candidate
Research Assistant
Information Integration
Carolin Wambach
Student Assistant
ProjectSupport
Florian Schwade
PhD Candidate
Research Assistant
Social Collaboration
Analytics
Söhnke Grams
PhD Candidate &
Manager UCT
Benefits of ECS
Clara Nitschke
PhD Candidate
Research Assistant
Sociotechnical Change
Sebastian Bahles
Research Assistant
Community
Management
Simon Meier
Student Assistant
UniConnect Platform
Manager
Jonas Baier
Student Assistant
Domino Development
Daniel Hillebrand
Student Assistant
Connections
Administration
Hoang Quan Chu
Student Assistant
IT Administration

DIGITAL
WORKPLACE
READINESS
TECHNOLOGY
ADOPTION &
IT-ENABLED CHANGE
COLLABORATION USE
CASES & SCENARIOS
SOCIAL
COLLABORATION
ANALYTICS
SOCIAL PROCESS
MINING
BENEFITS
REALISATION
MANAGEMENT
DIGITAL WORKPLACE
COMPETENCES
INFORMATION
INTEGRATION
SOCIAL BUSINESS
DOCUMENTS
INTERNET OF
THINGS
ENTERPRISE COLLABORATION SYSTEMS AND THE DIGITAL WORKPLACE
Digital work & IT-enabled change Collaboration analytics/platform activity Integration
CEIR Research Themes

Workshops
Bilateral
research
Online
community
3 types of activities
Tofacilitatehighqualityresearch thatis
relevant forresearchers andpractitioners
University-industry research community
>30 industry members
Leading ECS using organisations
Evidence-based research
Next IC Workshop:
April 02/03, 2020

 Part 1: Motivation
 Why should we analyse collaborative work?
 Part 2: Social Content and Visualising Collaboration
 How can we analyse collaborative work?
 Part 3: Benefits Realization for Enterprise Collaboration Scorecards
 What value do we get from analysing collaborative work?
Agenda

PART 1:
MOTIVATION
Why should we analyse collaborative work?

Focus
Content & Communication
People-focused
Information & Knowledge Management
Focus
Processes & Coordination
Process-focused
Business Process Support
D I G I TA L W O R K P L A C E D E S I G N S
Information Exchange &
Sharing Documents
Portal Solution
The Networked
Enterprise Platform
Project Support
Efficiency Tool for Business
Processes
Multi-Function
Integration Platform
© CEIR 2018(Williams and Schubert, 2018)

 Gathering evidence and deriving insights into:
Why are we looking under the hood of HCL Connections?
Through investigating platform structure and activity
we can understand how our digital workplace is
evolving and take actions to improve the support of
digital work processes and practices
Community types and
how they are being used
Content structure and
tool use
Interactions and boundary
spanning collaborations
 Enabling the identification of best practices for supporting digital work

PART 2:
SOCIAL CONTENT AND VISUALISING COLLABORATION
How can we analyse collaborative work?

 Based on HCL Connections 6.0 CR4
 Hosted on premise as academic collaboration platform since 2013
UniConnect
1501
communities
2005
students
220
employees
1549
students & researchers
112
researchers
4420
registered users
75
universities and
research institutions
80
organisations

UniConnect – Platform View Demo

Social Collaboration Analytics
Organisational Data
• Master data
• Organisational structure
• Users
Transactional Data
• Event database
• Web server log files
Content Data
• Content database
• File system
Social Collaboration Analytics
(Schwade and Schubert, 2017)

Organisational
Data
Content Data
Data Sources for Social Collaboration Analytics
Status
Updates
Communities
Activities Blogs Bookmarks
Files Forum Wikis
Metrics
User Profiles
Home
HOMEPAGE OPNACT BLOGS DOGEAR
PEOPLEDB FILES FORUM WIKIS
METRICS
SNCOMM
Transactional Data
LDAP Directory UniKo

Steps and Tools for our Analysis
Data Source
Data Extraction,
Transformation and
Visualisation
Data Analytics
UniConnect

 The Social Document Ontology (SocDOnt) provides a generic model
describing the structure of social documents in enterprise
collaboration platforms
 High-level concepts of SocDOnt:
The Structure of Social Documents
Composition
Aggregation
Ontology:
Concept Name
Sub-concept
Concept
Legend
SIOC:
Space
SIOC:
Container
SocDOnt:
Collection
has *1 has *
1
has
2..*
*
SIOC:
Item
SocDOnt:
Social Document
has 1..**
(Williams, Mosen and Schubert, 2020)

Social Documents
Items
UniConnect
Container
Workspaces
Enterprise
Collaboration
Platform
Activity
Stream Activities Blog Forum WikiFiles
Community
Community
User
Workspace
Community
User
Workspace
User
Workspace
Organisational
Platform
TopicsFilesStatus Updates Wiki PagesTasks Blog Posts

Intellectual
Entity
Simple
Components
Intellectual
Components
Version

Forum Thread in HCL Connections Social Document Graph

How to Examine Social Documents
HCL Connections
APIs
Connections 6.0
Communities
Content Dashboard
HCL Domino
Notes Application
SQL
REST
REST
DB2
Databases

Analysing Communities in Power BI Demo

Analysing Organisations in Power BI Demo

Content Dashboard based on Domino Demo

Visualising Content of a cross-organisational Community

Visualising Content of a cross-organisational Community
Blog
Status Updates Files & Folders Forum
Wiki Activities

Microblogs Social document characteristics
Tweeting/informing
 Low number of components
 Few comments
 Some attachments
 High percentage of
recommendations
 Simple structures
 Some inter-container and inter-space
collections
 Microblog post with attachment

Wikis Social document characteristics
Documenting information
 Higher number of components
 Many versions and attachments
 Few comments
 More complex structures
 Sub articles lead to hierarchies
 Many intra-container collections

Forums Social document characteristics
Discussing
 High number of components
 Many comments
 Many recommendations
 Highly complex structures
 Long paths of comments
 Long and threaded discussions
 Strands of discussion can split up
 Very few collections

Part 3:
Benefits Realization for Enterprise Collaboration Scorecards
What value do we get from analysing collaborative work?

A total of 25 years of experience from three ECS user
companies are integrated in this research project
sehr
interessant
eher
interessant
eher
uninteressant
völlig
uninteressant
028 Über welche Verweisquellen gelangen Benutzer auf die Plattform?
029 Wie hoch ist der Anteil von inaktiven Communities?
030 Welche Vorerfahrung haben Mitarbeiter im Umgang mit kollaborativer Software?
031 Wie viele Benutzeraktionen finden durchschnittlich pro Benutzer im Betrachtungszeitraum statt?
032 Wie viel Zeit ist durchschnittlich vergangen, seitdem sich ein Benutzer das erste Mal auf seinem
Account eingewählt hat?
033 Wie viel Zeit vergeht durchschnittlich zwischen der erstmaligen Plattfomnutzung und der erstmaligen
produktiven Plattformnutzung eines Benutzers?
034 Wie befähigt fühlen sich Mitarbeiter, die Plattform produktiv einzusetzen?
035 Welche Schulungen haben überdurchschnittlich aktive Benutzer im Vergleich zu anderen Benutzern
erhalten?
036 Nach welchen Schulungen steigt die Anzahl der Benutzeraktionen pro Teilnehmer?
037 Welchen Einfluss hat die Hierarchiestufe eines Benutzers auf den Zweck der Plattformnutzung?
038 Welchen Einfluss hat die Hierarchiestufe eines Benutzers darauf, welche Module und dazugehörige
Funktionen benutzt werden?
039 Welchen Einfluss hat die Hierarchiestufe eines Benutzers auf die Häufigkeit der Plattformnutzung?
040 Wie ist die Verteilung der Benutzer auf die verschiedenen Hierarchiestufen?
041 Wie viele Benutzeraktionen finden pro Benutzer an einzelnen Standorten statt?
042 Wie verteilt sich die Gesamtanzahl der Benutzeraktionen auf die einzelnen Standorte?
043 Wie hoch ist der Anteil der Benutzer im Verhältnis zur Gesamtmitarbeiterzahl?
044 Welche Benutzertypen können identifiziert werden und welche Eigenschaften haben diese?
045 Wie viele Benutzer zählen zu den einzelnen Benutzertypen?
046 Wie viele Benutzeraktionen finden pro Benutzer im Betrachtungszeitraum statt?
047 Wie viele Benutzeraktionen finden durchschnittlich pro Benutzer pro Session im
Betrachtungszeitraum statt?
048 Aus welcher Social Software setzt sich das ECS im Unternehmen zusammen?
049 Welche Use Cases und Kollaborationsszenarien können identifiziert werden?
050 Welche Use Cases und Kollaborationsszenarien können in bestimmten Communitys identifiziert
werden?
051 Welche Use Cases und Kollaborationsszenarien können in den einzelnen Abteilungen identifiziert
werden?
052 Welche Community-Typen können identifiziert werden und welche Eigenschaften haben diese?
053 Welche Module werden am häufigsten in bestimmten Kollaborationsszenarien eingesetzt?
054 Wie viele Benutzer arbeiten durchschnittlich an einem Social Business Document?
055 Welche Module werden am häufigsten in bestimmten Abteilungen eingesetzt?
056 Wann, wo und warum finden überdurchschnittlich häufig/wenig Benutzeraktionen statt?
057 In welchen Abteilungen arbeiten die Benutzer, die überdurchschnittlich viele/wenige
Benutzeraktionen durchführen?
058 An welchen Standorten arbeiten die Benutzer, die überdurchschnittlich viele/wenige
Benutzeraktionen durchführen?
059 In welchen Abteilungen arbeiten die Benutzer, die besonders häufig/selten auf bereits
veröffentlichte Inhalte reagieren?
060 An welchen Standorten arbeiten die Benutzer, die überdurchschnittlich häufig/selten
Benutzeraktionen mit Social Business Documents durchführen?
061 Wie verändert sich die Anzahl der Benutzeraktionen pro Benutzer in einem bestimmten
Betrachtungszeitraum?
062 In welchen Communities finden die meisten Benutzeraktionen pro Benutzer statt?
063 In welchen Teilen des sozialen Netzwerks finden überdurchschnittlich häufig Benutzeraktionen
zwischen Netzwerkknoten statt?
064 In welchen Abteilungen finden die meisten Benutzeraktionen pro Benutzer statt?
065 Wie hoch ist der Anteil der Social Business Documents, an denen mindestens zwei Benutzer aus
derselben Abteilung arbeiteten?
066 Wie hoch ist der Anteil der Social Business Documents, an denen mindestens zwei Benutzer
abteilungsübergreifend arbeiteten?
067 In welchen Communities befinden sich überdurchschnittlich viele Benutzer, die Social Business
Documents editieren?
068 Welcher Anteil an Communities hat eine bestimmte Phase des Communitylebenszyklus erreicht?
069 Wie lange dauern die einzelnen Phasen des Communitylebenszyklus durchschnittlich an?
Im gesamten Dokument bitte noch 314 von insgesamt 314 Frage(n) bewerten
Auf diesem Reiter bitte noch 53 von 53 Frage(n) bewerten
Bitte in jede Zeile genau ein X eingeben
Analyse der Nutzung (Usage)
Ich verstehe
diese Frage
nicht
Begründung (wenn unverständlich)ID
Beantwortung wäre …
Frage
?
sehr
interessant
eher
interessant
eher
uninteressant
völlig
uninteressant
081 Wie ist das Verhältnis zwischen gezielt angeregten Diskussionen (managementgetrieben) und
Diskussionen, die organisch entstanden sind?
082 Zu welchen Themen lassen sich Benutzer identifizieren, die einen großen Einfluss auf die Meinung
und das Verhalten anderer Benutzer haben?
083 Wie lange ist die durchschnittliche Reaktionszeit eines Benutzers auf Nachrichten auf der Plattform,
im Vergleich zur Reaktionszeit auf anderen Kommunikationskanälen?
084 Wie lange ist die Zeit bis zur Bereitstellung (Erstellung bis Teilen) von Social Business Documents auf
der Plattform im Vergleich zu der Zeit auf anderen betrieblichen Anwendungssystemen ?
085 Wie lange ist die Bereitstellungszeit von Social Business Documents auf der Plattform im Vergleich zu
der Weitergabe von Dateien auf mobilen Speichermedien?
086 Wie lange ist die Reaktionszeit auf Social Business Documents auf der Plattform im Vergleich zu der
Reaktionszeit auf Dateien auf mobilen Speichermedien?
087 Wie lange ist die Reaktionszeit auf Social Business Documents auf der Plattform im Vergleich zu der
Reaktionszeit auf Dateien auf anderen betrieblichen Anwendungssystemen?
088 Welcher Anteil der Kommunikation zwischen Benutzern auf der Plattform ist abteilungsübergreifend?
089 Zu welchen Themen finden überdurchschnittlich häufig Benutzeraktionen statt?
090 Zwischen welchen Abteilungen findet überdurchschnittlich häufig Kommunikation auf der Plattform
statt?
091 Wie hoch ist die Reichweite der Themen, die auf der Plattform überdurchschnittlich häufig diskutiert
werden?
092 Über welche Themen wird überdurchschnittlich häufig abteilungsübergreifend diskutiert?
093 Wie hoch ist der Anteil von Communities, in denen abteilungsübergreifend an Themen gearbeitet
wird?
094 In welchen Communities wird abteilungsübergreifend an Themen gearbeitet?
095 Über welche Themen wird in mehreren Communities auf der Plattform diskutiert?
096 Über welche Themen wird in mehreren Komponenten auf der Plattform diskutiert?
097 Über welche Themen wird in mehreren Dokumenten auf der Plattform diskutiert?
098 Wie häufig findet Kommunikation innerhalb einer Hierarchiestufe statt?
099 Wie häufig findet Kommunikation zwischen verschiedenen Hierarchiestufen statt?
100 Wie häufig werden Hierachiestufen in der Kommunikation übersprungen?
101 Wie lange ist die durchschnittliche Antwortzeit auf Fragen?
102 Welcher Anteil der Fragen wird beantwortet?
103 Wie informativ und hilfreich sind Antworten?
104 Welcher Anteil der Mitarbeiter weiß, wie Social Business Documents über die Plattform geteilt
werden können?
105 Welcher Anteil der Mitarbeiter möchte Social Business Documents über die Plattform teilen?
106 Wie hoch ist der Anteil von Social Business Documents aus einer Community, die über Grenze dieser
Community hinaus geteilt werden?
107 Welcher durchschnittliche Anteil der Nachrichten wird in den verfügbaren Modulen geteilt?
108 Welcher durchschnittliche Anteil der Social Business Documents wird in den verfügbaren Modulen
geteilt?
109 Wie häufig werden Social Business Documents in den verfügbaren Modulen durchschnittlich geteilt?
110 Wie häufig werden Nachrichten in den verfügbaren Modulen durchschnittlich geteilt?
111 Wie hoch ist der Anteil der Mitarbeiter, die Social Business Documents teilen?
112 Wie hoch ist der Anteil der Mitarbeiter, die Nachrichten teilen?
113 Welche Social Business Documents werden wie häufig zwischen Benutzern von verschiedenen
Standorten miteinander geteilt?
114 Wie häufig teilen Benutzer eines Standortes durchschnittlich Social Business Documents mit
Benutzern von anderen Standorten?
115 Welche Social Business Documents werden wie häufig zwischen Benutzern eines Standortes
miteinander geteilt?
116 Mit welchen Social Business Documents werden wie häufig und zu welchem Zweck Benutzeraktionen
an einem Standort durchgeführt?
117 Wie häufig teilen Benutzer durchschnittlich Social Business Documents mit anderen Benutzern?
118 In welchen Modulen befinden sich die Social Business Documents, mit denen überdurchschnittlich
häufig Benutzeraktionen durchgeführt werden?
119 Wie häufig und wie lange werden Social Business Documents durchschnittlich gelesen?
120 Welcher Anteil der Social Business Documents, die einem Benutzer zur Verfügung stehen, wird
durchschnittlich gelesen?
121 Welcher Anteil der Benutzer liest einen bestimmten Anteil der Social Business Documents?
122 Wie lange ist die durchschnittliche Lesezeit eines Benutzers pro Social Business Document?
123 Welche Social Business Docuements haben die höchste Reichweite?
124 Wie hoch ist der Anteil der Social Business Documents, die weiterempfohlen werden?
125 Welche Social Business Documents werden am häufigsten weiterempfohlen?
126 Wie oft wird ein Social Business Document im Durchschnitt weiter empfohlen?
127 Welche Social Business Documents werden am positivsten bewertet?
128 Wie hoch ist der durchschnittliche Kontaktgrad eines Benutzers, der ein Social Business Document
liest, zu dem Benutzer, der das Social Business Document erstellt hat?
129 Wie hoch ist der Anteil der Fragen auf der Plattform, denen zuvor eine erfolglose Suche mittels
Suchfunktion vorausging?
130 Wie hoch ist der Anteil der Benutzer, die die Suchfunktion benutzen, bevor sie eine Frage auf der
Plattform stellen?
131 Wie gut unterstützt die Nutzung von Social Business Documents Benutzer bei der Weiterbildung?
132 Zu welchen Themen gibt es überdurchschnittlich viele "Collections" von Social Business Documents
(zusammenhängende/ verlinkte Social Business Documents)?
133 In welchen Collections von Social Business Documents befinden sich Best Practices zu bestimmten
Themen?
134 Welche Eigenschaften haben Social Business Documents, die häufig gesucht und gefunden werden im
Vergleich zu Social Business Documents, die gesucht aber nicht gefunden werden?
135 Welcher Anteil der Social Business Documents ist mit Tags versehen?
136 Wie häufig gelangt ein Benutzer durchschnittlich über bestimmte Verweisquellen auf Social Business
Documents?
137 Wie hoch ist der Anteil der Suchen mittels Suchfunktion die von Benutzern als erfolgreich bewertet
werden?
138 Wie viel Zeit ist durchschnittlich vergangen, seitdem ein Social Business Document das letzte mal
aktualisiert wurde?
139 Wie hoch ist der Anteil der Social Business Documents, die inhaltliche Fehler aufweisen?
140 Wie häufig wird der Beschluss arbeitsrelevanter Entscheidungen auf der Plattform dokumentiert?
141 Wie häufig werden arbeitsrelevante Entscheidungsprozesse auf der Plattform dokumentiert?
142 Welche Abteilungen haben eine zentrale Community, um fachspezifische Social Business Documents
auszutauschen?
143 Wie hoch ist der Anteil der Mitarbeiter, der das Teilen von Social Business Documents eher als
nützlich empfindet?
144 Wie hoch ist der Anteil der Mitarbeiter, der das Teilen von Social Business Documents eher als lästig
empfindet?
145 Nach welchen Begriffen wird mittels der Suchfunktion gesucht?
146 Welcher Anteil der Benutzer ist noch nicht an Diskussionen zu Themen beteiligt, für die sie Experten
sind?
147 An den Diskussionen welcher Themen sind noch nicht alle zugehörigen Experten beteiligt?
148 Zu welchen Themen gibt es redundante Communities?
149 Welche Social Business Documents sind redundant?
150 Als wie nützlich empfinden Mitarbeiter die Plattform, um Antworten auf ihre Fragen zu erhalten?
151 Welcher Anteil der Benutzer stellt Fragen?
152 Welcher Anteil der Benutzer antwortet auf Fragen?
153 Zu welchen Fragen bestehen auf der Plattform Antworten?
154 Zu welchen Abteilungen gehören die Benutzer, mit deren veröffentlichten Social Busines Documents
überdurchschnittlich häufig Benutzeraktionen durchgeführt werden?
155 Wie schnell steigt die Reichweite von Social Business Documents?
Analyse der Zielerreichung
Begründung (wenn unverständlich)
ID Frage
Ich verstehe
diese Frage
nicht
Kommunikation verbessern
Wissensmanagement verbessern
?
Catalogue with 314 questions
sehr
interessant
eher
interessant
eher
uninteressant
völlig
uninteressant
001
Wie groß ist die Angst der Mitarbeiter, die die Plattform nicht benutzen, von Benutzern negativ
wahrgenommen zu werden?
002 Welche Barrieren halten Mitarbeiter davon ab die Plattform zu nutzen?
003 Welche Einstellung haben die Benutzer gegenüber computergestützter Kollaboration?
004 Welche intrinsischen Einflussgrößen motivieren die Benutzer zur Nutzung der Plattform?
005 Wie stark motivieren die intrinsischen Einflussgrößen die Benutzer zur Nutzung der Plattform?
006 Welche extrinsischen Einflussgrößen motivieren die Benutzer zur Nutzung der Plattform?
007 Wie stark motivieren die extrinsischen Einflussgrößen die Benutzer zur Nutzung der Plattform?
008 Welche positiven oder negativen Einflüsse übt die Plattform auf die Unternehmenskultur aus?
009 Wie groß ist der wahrgenommene Einfluss der Plattform auf die Unternehmenskultur?
010
Welches sind die Social Business Documents, die Informationen über die Unternehmenskultur
enthalten und in welchen Communities bzw. Modulen befinden sie sich?
011
Welche Reichweite haben die Social Business Documents, die Informationen über die
Unternehmenskultur enthalten?
012
Welche Kollaborationsszenarien führen bei den Benutzern zu einer wahrnehmbaren Veränderung der
Unternehmenskultur?
013 Wie hoch ist der Zeitanteil, den Mitarbeiter für die Arbeit mit mobilen Endgeräten aufwenden?
Analyse der Unternehmenskultur
Begründung (wenn unverständlich)ID Frage
Beantwortung wäre … Ich verstehe
diese Frage
nicht
?
sehr
interessant
eher
interessant
eher
uninteressant
völlig
uninteressant
014 Welche wahrgenommenen Veränderungen im Unternehmen werden von den Benutzern auf die
Plattformnutzung zurückgeführt?
015 Wie viele Mitarbeiter nehmen Veränderungen wahr und führen diese auf die Plattformnutzung
zurück?
016 Wie stark stimmen die Mitarbeiter folgender Aussage zu: Die Plattform sollte wieder abgeschaltet
werden?
017 Welche Konsequenzen hätte die Abschaltung der Plattform aus Sicht der Mitarbeiter?
018 Welche negativ wahrgenommenen Effekte, die darauf zurückzuführen sind, dass die Plattform nicht
genutzt wird, werden von den Mitarbeitern wahrgenommen, die die Plattform nicht nutzen?
019 Wie hoch ist der Anteil der Benutzer, der zu den Evangelisten gehört?
020 Wie positiv oder negativ wird die Benutzeroberfläche der Plattform wahrgenommen?
021 Wie positiv oder negativ werden die Funktionen zur computergestützten Zusammenarbeit der
Plattform wahrgenommen?
022 Wie positiv oder negativ wird der Softwarehersteller der Plattform wahrgenommen?
023 Wie positiv oder negativ wird der interne Support der Plattform wahrgenommen?
024 Wie positiv oder negativ wird die Performance der Plattform wahrgenommen?
025 Wie positiv oder negativ werden die unterstützenden Funktionen zur Datensicherung und -
wiederherstellung der Plattform wahrgenommen?
026 Wie positiv oder negativ werden die softwareseitigen Maßnahmen zum Datenschutz und zur
Informationssicherheit wahrgenommen?
027 Wie positiv oder negativ werden die Integrationsmöglichkeiten über die Schnittstellen der Plattform
wahrgenommen?
Analyse der Wahrnehmung bzgl. der Plattform
ID Frage
Ich verstehe
diese Frage
nicht
?
sehr
interessant
eher
interessant
eher
uninteressant
völlig
uninteressant
308 Wie stark fühlen sich die Benutzer durch die Anzahl der Social Business Documents überfordert?
309 Wie viele Benutzer haben Zugriff auf Communities, auf die sie keinen Zugriff haben sollten?
310 Wie viele Benutzer haben Zugriff auf Social Business Documents, auf die sie keinen Zugriff haben
sollten?
311 Auf welche Social Business Documents kann unberechtigter Weise zugegriffen werden?
312 Auf welche Communities können unberechtigter Weise zugegriffen werden?
313 Wie schädlich ist der Zugriff auf Social Business Documents, auf die unberechtigter Weise zugegriffen
wird?
314 Wie schädlich ist der Zugriff auf Communities, auf die unberechtigter Weise zugegriffen wird?
Ich verstehe
diese Frage
nicht
ID Frage
Analyse der Zielerreichung
?
BRM Scorecard
Source: Findings from the IndustryConnect Initiative 2015-2020.

BRECS Approach for BRM Scorecards for ECS
Ask
question
What questions are
suitable for a continuous
benefits measurement?
Develop
algorithm
What is the algorithm to
calculate the measure?
Measure What is the result?
Learn and
take
action
What do we need to do to
achieve the defined target
values?
Define
target
What realistic target values
can we achieve?
Source: Findings from the IndustryConnect Initiative 2015-2020.
What data do we need and
how do we get this data?
Collect
data

Question to be
answered:
To be defined by stakeholders, e.g.
"What is the proportion of social business documents on which at least two users work
across organisations?”
Question
category:
Socio-technical
change
Perceived
platform quality
Usage Benefit Dis-benefit
Sub-category
for selected
category
(here: BENEFIT):
Communication
Transfer of
knowledge
Internal
transparency
Support Information
Search for
experts/talents
Innovation
Personal
Information
Management
Employer's
attractiveness
Onboarding new
employees
E-Mail
Employee
satisfaction
Networking
Merger &
Acquisition
Product quality
Use of resources Agility Profit …
Ask
question
Collect
data
Develop
algorithm
Define
target
Measure
Learn &
take
action

Method:
Indirect
observation of
system users
based on digital
traces of activity
Direct
observation of
users
Experiment Survey …
Tool:
Online
questionnaire
Paper-based
questionnaire
Measuring
device
Business
software
…
Source:
Completed
questionnaires
Enterprise
Collaboration
System
ERP System EIM System
Eye Tracking
System
E-Learning
System
Gauge system LDAP Transcripts …
Reactivity
of data:
Reactive Non-reactive
Question type
for generating
reactive data:
Scale Single-choice Multiple-choice Number entry …
Type of non-
reactive data:
Log file data
Organizational
data
Content data
Gauge analysis
data
…
Collect
data
Develop
algorithm
Define
target
Measure
Learn &
take
action
Ask
Question

Collect
data
Develop
algorithm
Define
target
Measure
Learn &
take
action
Ask
Question
Type of
indicator:
Relative Absolute
Measured
variable:
User IDs Rating points
SBD core
element ID
Profile link ID …
Unit:
Percent Space(s) User(s)
Rating points/
participant
Social business
documents
Hours Perceived hours
Perceived
satisfaction
Reciprocal profile
links/user
….
Algorithm:
To be defined by stakeholders, e.g.:
i,n ∈ ℕ{0}
IDSBDi ∈ {0,1}
IDSBD is the ID of the interlectual core element of a Social Business Document
n is the total number of IDSBD
z ∈ {0,1}, where 0 ="true"; 1 = „false„
z is the characteristic of the IDSBD: “collaborative actions are carried out by at least
one active user on the associated core element or on at least one associated
component, whose user ID does not match that of the initial creator of the core element
and who works in a different organisation than the creator”
Interpretation:
"The result correlates positively with the proportion of Social Business Documents on
which at least two users work across organisations.”
i
𝐊𝟎𝟎𝟐𝟕 =
𝟏
𝐧
𝐢=𝟏
𝐧
𝐈𝐃𝐒𝐁𝐃𝐢 , where
𝐈𝐃𝐒𝐁𝐃𝐢= 1, if 𝐳𝐢 = 𝟏
o𝐫
𝐈𝐃𝐒𝐁𝐃𝐢= 0, if 𝐳𝐢 = 𝟎

Collect
data
Develop
algorithm
Define
target
Measure
Learn &
take
action
Targets to be
achieved:
”At least two users from different organisations work on 6% of the Social
Business Documents by the end of 2015.”
Measured result:
To be measured by professional analysts as described above, e.g.:
“Based on the analysis from 31st
Dec. 2014, at least two users from
different organisations work on 5,11% of the Social Business
Documents.”
Visualisation
of (previous)
results:
Target achieved: Yes No
Action derived
from result:
“Organize at least two workshops with managers to foster organisation
collaboration on the platform and to reach the target by Q3/2015.”
Ask
Question
Learn &
take
action

Cross-organisational Collaboration based on Content

Cross-organisational Collaboration based on Events

 Business Intelligence Dashboard for Social Collaboration using…
 Connections – Domino – Power BI
 Two BI perspectives
 Now: What is the current situation?
 Over time: How do things change/evolve?
 Data
 You have to understand the data first
 Extract, transform, enrich and harmonise data
 We generated entirely new data (graph structures)
 Can I use this in my organisation?
 Yes. It requires a customization project (regarding tools) and you have to develop the
scorecards that match your use cases (and thus your questions)
 Outlook
 Cross-platform analytics: query heterogeneous sources
 First successful tests with Hadoop and Ontop
Summary

 Mosen, J., Williams, S. P., & Schubert, P. (2020). Visualizing Social
Documents as Traces of Collaborative Activity in Enterprise
Collaboration Platforms. In 53rd Hawaii International Conference on
System Sciences (pp. 5369–5378).
 Schwade, F., & Schubert, P. (2017). Social Collaboration Analytics for
Enterprise Collaboration Systems: Providing Business Intelligence on
Collaboration Activities. In 50th Hawaii International Conference on
 Williams, S. P., Mosen, J., & Schubert, P. (2020). The Structure of
Social Documents. In 53rd Hawaii International Conference on
 Williams, S.P. and Schubert, P (2018) Designs for the Digital
Workplace. Proceedings of CENTERIS - Conference on ENTERprise
Information Systems, Lisbon, Portugal, 21-23 November 2018.
References

University of Koblenz-Landau | Institute for Information Systems Research | Center for Enterprise Information Research
Thank you for your attention!
Professor
Enterprise Information Research
Group
University Koblenz-Landau
williams@uni-koblenz.de
Researcher
Business Application Research
Group
julianmosen@uni-koblenz.de
Susan P.
Williams Julian Mosen
Professor
Business Application Research
Group
schubert@uni-koblenz.de
Petra Schubert

CEIR - Looking under the hood of Connections - Engage 2020

Recommended

Recommended

More Related Content

Similar to CEIR - Looking under the hood of Connections - Engage 2020

Similar to CEIR - Looking under the hood of Connections - Engage 2020 (20)

CEIR - Looking under the hood of Connections - Engage 2020