Konferens Grundvattenövervakning 2016, 12-13 april

1. Grundvattenövervakningsdagarna vid SGU 2016
Inrapportering av data genom SGU's valideringstjänst – Workshop
12/4 2016
Datasalen Dalarna, Geocentrum
Denna övning syftar till att förbereda leverantörer av regionala grundvattenövervakningsdata för att
använda vår nya portal för inrapportering. Tjänsten är fortfarande under utveckling men vi bedömer
ändå att vi kan börja använda den och att vi under tiden även kan få feedback på tjänsten i form av
förslag på funktionalitet och önskemål kring valideringssvar etc.
SGU arbetar tillsammans med Metria för att förbättra och förenkla tjänsten. Mallar och websidans
utseende kommer troligtvis att förändras under året och det kommer troligen även att läggas till en
möjlighet att validera nivåmätningar.
Allmänt om övningarna
Övningarna tar upp vissa delar av inrapporteringen. Meningen är att få en förståelse för hur
inrapporteringen skall gå till. Övningarna täcker inte upp hur man använder Excel eller andra verktyg
som kan behövas för att formatera de egna formaten till leveransmallens format.
Under eftermiddagen under grundvattenövervakningsdagarnas andra dag kommer ni att ha tillfälle
att diskutera valideringstjänsten. Notera gärna under övningen det ni ser som positivt och negativt
och föreslå förbättringar.
Under övningarna vill vi att ni noterar synpunkter kring tjänsten och vad vi kan göra för att
förenkla och göra leveranserna smidigare.
Detta behövs för övningarna
-MS Excel eller motsvarande, exemplen visar hur det ser ut i excel 2007 men är oberoende av version
-internetuppkoppling och tillgång till din epost från datorn
-övningsdata som finns på mappen valideringstjänsten_övningar
Övningsmappen innehåller följande mappar
 dok - här ligger denna övningshandledning - detta dokument
 exempel - här ligger analysdata som används i övningarna.
 indata - här läggs filer som är färdiga för validering
 länkar - länkar till valideringstjänsten

2. Grundvattenövervakningsdagarna vid SGU 2016
 mallar - mallar för leveransfiler och för transponeringsfunktionen (funktion för att
transponera data)
 temp - temporär lagring av arbetsmaterial
Allmänt om valideringstjänsten
SGU kommer från och med i år endast att ta emot data via valideringstjänsten. Tjänsten skall
säkerställa att alla data kommer in i samma format och är validerade mot ett schema. Det betyder att
tjänsten kontrollerar att alla data som kommer in följer leveranmallen och är rimliga. Under en
inkörsperiod kommer vi att handleda de som rapporterar in data från den regionala
miljöövervakningen. Allteftersom kommer vi att göra förbättringar i tjänsten för att ni skall kunna
rapportera in så smidigt som möjligt.
Valideringstjänsten kontrollerar att :
 värden som är obligatoriska finns med i leveransen
 värden som är kopplade till en kodlista har ett värde ur för attributet korresponderande
kodlista, dvs att bara tillåtna värden finns med i leveransen
 värden har rätt format och är av rätt datatyp
Tilläggsfunktion för transponering
Rapportering av analysdata följer i stort Interlab-formatet, ett standardformat som flera labb kan
leverera data i. Eftersom vi sett att många har data strukturerat i breda tabeller dvs med en
parameter per kolumn har vi som test lagt ut en funktion som kan transponera dessa tabeller till den
interlab-liknande form som leveransmallen kräver. Funktionen utgår från en förenklad mall som körs
igenom transponeringsfunktionen och resultatet skickas tillbaka med mail. Merr om detta under
rubriken transponering.
Inrapporteringen i stora drag:
1. Excelmall med flikar för information om prov, analysresultat och stationsinformation laddas
hem från SGUs hemsida, se nedan.
2. I det fall era data ligger med kemiska parametrar som kolumnrubriker kan en transponering
göras med transponeringsfunktionen.
3. Excelmallen används som grund för leveransfilen som fylls på med analysresultat och övrig
information.
4. Leveransfilen/Excelmallen laddas upp på valideringstjänstens webbplats.
5. Valideringen/kontrollen utförs av tjänsten och felrapport skickas tillbaka med mail
6. Leveransfilen/Excelmallen rättas om detta behövs och laddas upp igen och körs tills allt är
rätt.
7. Valideringstjänsten skickar leveransfilen/Excelmallen vidare när den är godkänd.

3. Grundvattenövervakningsdagarna vid SGU 2016
Valideringstjänsten hittar du här:
http://gis-services.metria.se/inspire/validering_hav/sidor/grundvatten/grundvatten_validering.html
Figur 1 Valideringstjänstens webbsida

4. Grundvattenövervakningsdagarna vid SGU 2016
Övning 1. Fylla i mallen
Ladda ner mallen från valideringshemsidan. Under menyn Grundvatten-SGU väljer du Mallar och
kodlistor
Figur 2 nedladdning av mallar och kodlistor
1. Ladda ner mallen och öppna den i Excel, alternativt hämta den från mappen ”mallar”.
2. Lägg några minuter på att titta igenom mallen.
3. Spara filen i mappen indata med namnet rmo_XX_2016_04_12.xlsx där XX är två eller flera
bokstäver med länsnr. eller organisation.
OBS: Det viktiga är att filen har ett unikt namn när de körs in i valideringstjänsten eftersom den ännu
inte hanterar konflikter mellan filnamn då flera skickar in filer med samma namn ungefär samtidigt.
Namnet på filen får heller inte innehålla mellanslag.
Excelmallen har tre flikar som skall fyllas
PROVADM information om provet
PROVDAT analysdata
NYA_STATIONER information om stationer som inte finns med i SGU's data sedan tidigare
Förutom dessa finns flikar med beskrivningar.
4. I Excel öppar du nu exemple_kemi_data.xlsx från mappen exempel
5. Kopiera in data från exemplet till din leveransfil den som du nyss sparat.
Spara leveransfilen i mappen indata igen.
Kontroll av befintliga stationer och parametrar i PROVADM och PROVDAT
Stationskontroll i PROVADM

5. Grundvattenövervakningsdagarna vid SGU 2016
I fliken PROVADM finns en kolumn ProvplatsID (J) och en kolumn Provplatsnamn (K). I de fall
provplatsen redan finns registrerad i SGUs miljöövervakningsdatabas (så småningom i det nationella
stationsregistret) skall SGUs ID användas så att vi kan hantera tidsserier och undvika
sammanblandning av stationer. Så
 Om stationen finns registrerad i SGUs miljöövervakningsdatabas - Använd SGUs ID i
kolumnen ProvplatsID (J). Om stationen finns i SGUs databas sedan tidigare kan
kontrolleras via SGUs kartvisare.
 Om stationen inte finns med sedan tidigare - ange ert eget ID i kolumnen ProvplatsID i
fliken PROVADM och fyll sedan i fliken NYA_STATIONER.
Fliken NYA_STATIONER skall endast användas när stationen inte finns registrerad i SGUs databas. Det
är viktigt att stationer som redan finns får sitt befintliga stations ID/ProvplatsID, annars skapas en
dubblett.
Vi skall nu gå igenom ett exempel för att kontrollera detta och hitta stationen i exemplet som saknar
ett id. Det kan göras med hjälp av en lista med parametrar från SGUs öppna data. På webbsidan där
du laddade ner excelmallen hittar du även en excelfil med kodlistor att ladda ner.
6. Ladda ner filen med kodlistor från valideringstjänstens webbsida, se Figur 2
7. Öppna filen i Excel. Filen är relativt stor och listar alla koder, identiteter, parmetrar som finns
i SGU's databas för miljöövervakning.
8. -Filtrera ut kommun - Välj fliken "stationer och skapa ett filter, välj kommunkod som
filtreringsfält. Filtrera på kommunkod 1384 och 1315. De stationer som ligger i dessa
kommuner kommer nu fram. Du kan även prova med att filtrera på län om du är osäker på
att du har rätt kommunkod.
Figur 3 filtrera fram tänkbara stationer.
9. Leta efter stationen i det filtrerade resultatet,

6. Grundvattenövervakningsdagarna vid SGU 2016
om du hittar den använd i så fall det ID som du finner i i kolumnen ”STATIONSID”. Det går även att
titta på stationerna i SGUs kartvisare, då kommer dock inte vattentäkterna att synas. Kartvisare
www.sgu.se – Grundvatten – lista till höger - Miljöövervakning av grundvattenkemi. Länk till
karttjänsten finns under fliken förklaringar_PROVADM.
10. Leta reda på stationen Hyltegård i valideringslistan och sätt in Id nummret för den i fliken
PROVADM under provplatsID
11. För Stankt Olofs källa verkar det inte finnas någon station i SGU' valideringlistor använd
därför ert eget id (redan ifyllt i exemplet).
12. Lägg in stationsinformationen för den station som inte fanns med i SGU's listor från
exempel_kemi_data.xlsx till din mallbaserade leveransfil, (redan gjort i exemplet)
13. Spara excelfilen i mappen indata
Kontroll av övriga parmetrar och kodlistor
Parameternamn och metodnamn mm kan kontrolleras mot kodlistan på samma sätt. Du kan göra
detta innan du skickar in filen via valideringstjänsten alternativt efter att valideringen har körts och
felloggen indikerar vilka parameternamn eller andra koder som var felaktiga.
Övning 2 kör leveransfilen genom valideringstjänsten
1. gå in på valideringtjänstens webbsida:
http://gis-
services.metria.se/inspire/validering_hav/sidor/grundvatten/grundvatten_validering.html
2. följ instruktionerna på sidan
3. tryck på choose file och välj den filen som du redigerat och som ligger i mappen indata.
4. Lägg in din epostadress och ditt namn, lägg även till vilket län eller organisation exvis
Jakob Nisell SGU.
5. På mottagande datavärd skall du normalt lägga en SGU adress, för övningen lägger du
dock din egen epostadress även här.
6. media monitored skall vara water.
7. starta valideringen med knappen Starta validering.
8. ett meddelande kommer upp som du skall bekräfta med OK
9. efter någon minut kan du kolla din epost, Under tiden kan du börja förbereda nästa övning.
Svaret från valideringstjänsten kommer i form av ett mail med länkar till valideringsresultatet. Det
kan ta en stund att få dessa
Svaret från valideringstjänsten kommer att se ut så här med det exempel som laddades upp
---------------------------------------------------------
Den rapport som du laddar upp har felaktigheter i nyckelattribut, "Lablittera".
Attributet "Lablittera" och värdet 15180842 på fliken PROVADM förekommer på mer än en rad, vilket

7. Grundvattenövervakningsdagarna vid SGU 2016
inte är tillåtet.
Felet måste åtgärdas, sedan kan rapporten laddas upp igen.
------------------------------------------------------------
Detta betyder att det finns dubbletter av lablittera i fliken PROVADM. filen kan innehålla flera fel förutom
detta men valideringen går inte vidare förrän detta är åtgärdat.
10. Åtgärda problemet med lablittera dubbletter och gör om uppladdningen och valideringen.
Ett nytt svar från valideringstjänsten kommer nu att mailas till dig igen.
Kontrollera felmeddelanden
I mailet som du fått från valideringstjänsten hittar du en länk till att titta på resultatet i en
webbläsare.
Figur 4 svar från valideringstjänsten
11. Följ länken Webbsida för att komma till valideringsresultatet
12. Läs igenom förklaringarna till felkoder och varningar högst upp på sidan
13. om ni använt exemplet bör det inte finnas några Error, däremot finns några varningar. du
kan titta på dessa genom att klicka på texten
För att visa, gömma Warning, klicka här
Övning 3 hantera felmeddelanden
Validera en leverans som innehåller fel
För denna övning finns en färdigställd leveransfil som innehåller några avvikelser för hur leveransen
skall se ut, denna ligger i mappen exempel
1. öppna exempel rmo_xx_2016_04_12_med_fel.xlsx

8. Grundvattenövervakningsdagarna vid SGU 2016
2. spara filen mappen indata som rmo_xx_2016_04_12_med_fel.xlsx där xx är dit län eller
organisation
3. kör den filen genom valideringstjänsten, följ instruktionerna i övning 2
4. När du fått svar från valideringtjänsten via mail öppnar du webbsidan med
felmeddelanden.
Figur 5 exempel på felmeddelande
5. Ta fram excelfilen rmo_xx_2016_04_12_med_fel.xlsx i indata mappen.
6. Gå till fliken "Förklaringar_PROVDAT" och leta upp vad som står om Mätvärdetal inklusive
fotnoter.
7. Felbeskrivningen hänvisar till rad 10 i fliken PROVADM. ändra mätvärde tal så att det blir
korrekt
8. Gå igenom resten av felen och varningarna om det finns sådana, ändra och kör om
valideringen
Övning 4 Transponera tabeller med analysdata.
Vissa labb levererar data i breda tabeller där de olika kemiska parametrarna finns angivna i olika
kolumner. I denna övning använder vi en funktion som vi har satt upp för att transponera data till
den form som skall användas vid leveranserna. Det finns naturligtvis andra sätt att transponera
tabeller det kan göras rent programmatiskt in viket programmeringsspråk som helst eller med FME,
SAS , Access eller JMP program som säkert inte alla har tillgång till. Det går även med lite klippande
och klistrande att göra det i Excel. Vi har tagit fram en mall som enklare kan fyllas i och köras genom
tranponeringsfunktionen för att sedan hanteras vidare i Excel.
9. Öppna excelfilen exempel_bred_tabell.xlsx i mappen exempel
10. spara excelfilen i mappen indata som rmo_xx_bredtabell.xslx
11. Titta igenom excelfilen och lägg märke till hur den är uppbyggd.
Excelfilen har en flik analysdata som innehåller alla kemiska analyser.
De gröna fälten är låsta och skall inte utökas eller ändras det är dock fritt att lägga till eller ta
bort kolumner med kemiska parametrar. I mappen mallar finns mallen för hur data skall se ut
för att kunna köras i valideringstjänsten.
12. öppna transponeringsfunktionen:

9. Grundvattenövervakningsdagarna vid SGU 2016
http://gis-
services.metria.se/inspire/validering_hav/sidor/grundvatten/grundvatten_transponering.html
13. ladda upp filen och klicka på starta validering
14. Invänta mailsvar och öppna filen i Excel
15. öppna en mall som du hämtar från valideringstjänstens webbplats eller från mappen mall
16. Spara mallen som rmo_xx_2016_04_12.xslx där xx är ditt länsnummer eller organisation.
17. Leveransfilen kan nu kompletteras med saknad information i PROVADM och skickas in
genom valideringstjänsten som tidigare uppgift redigera och lägg till den information som
saknas.
18. leverera filen genom valideringstjänsten
Fundera på om transponeringsfunktionen är något ni har behov av och om formen för detta är
tillräcklig. Vi kan ta upp detta under slutliga diskussionerna under dag 2
Övning 5 Extrauppgift. Hantering av många fel eller varningar.
I det fall många fel skall hanteras kan det var bra att kunna ta hjälp av felloggen för att
hitta felen. felloggen kommer med tiden att bli mera anpassad för att snabbt identifiera
fel. Denna övning visar bara på ett exempel på hur felhanteringen skulle kunna
underlättas med den utformningen som loggen har idag.
Fundera på hur felhanteringen skulle kunna förbättras
1. öppna arbetsboken exempel_ovning5_xx_lan.xslx
2. spara arbetsboken med samma namn i indata men byt xx till ditt länsnummer
3. kör valideringstjänsten och vänta på svar.
4. Öppna webbsidan där felen och varningarna finns på den filen du nyss skickade in finns.
5. visa varningar för fliken PROVDAT
6. Titta även på varningarna. längst ner finns en varning kring Metodbeteckning.
Några valideringssteg är ännu inte implementerade i den version som ni nu arbetar med. Med tiden
kommer kraven att stramas upp vad gäller överensstämmelser med kodlistor osv.

10. Grundvattenövervakningsdagarna vid SGU 2016
7. Skapa en ny arbetsbok i excel Kopiera och klistra in innehållet från PROVADM från
exempel_ovning5_XX som du skall rätta. Spara den i temp katalogen med namnet
rättningar..
8. Markera texten från KOLUMN;RAD;FELMEDDELANDE och nedåt under PROVADM Error på
webbsidan med felrapporten .
Figur 6 markera och kopiera felmeddelanden
9. Klistra in felmeddelandena i den nya arbetsboken rättningar på ett nytt blad.
allt läggs in under en kolumn. nästa steg blir att separera till enskilda kolumner.
10. Markera kolumnen du klistrat in
11. Under data (excel 2007) väljer du Text till kolumner.
12. Välj avgränsande fält
13. Välj semikolon och inget annat som separerare ;
14. Under den sista raden gör en lista med alla radnummer med start på 2 - antalet rader i
PROVDAT fliken se Figur 7.

11. Grundvattenövervakningsdagarna vid SGU 2016
Figur 7 lägg till raderna 2 till 12 (sista raden i PROVDAT
15. I Excel använd nu Pivottabell som finns under Infoga.
16. markera de tre kolumnerna med kolumn rad och felmeddelande.
17. välj att placera pivottabellen i den flik och efter den sista kolumnen där PROVDAT data
ligger i den nya arbetsboken" rättningar"

12. Grundvattenövervakningsdagarna vid SGU 2016
Figur 8 skapa en pivottabell som läggs efter analysdata
Figur 9 placering för pivottabellen
18. välj RAD för radettiketter, KOLUMN för kolumnettiketer och Felmeddelande för Värden.
Figur 10 definiera upp pivottabellen

13. Grundvattenövervakningsdagarna vid SGU 2016
19.markera cellerna i pivottabellen ( M2 - N13) kopiera och klistra sedan in
special i bladet med data som skall rättas. lägg dessa i kolumnen efter
data.
20.Nu kan man välja Autofilter i de blad som du använder för att rätta och på
detta sätt sortera ut de rader som är felaktiga.
21.Leta reda på felen och redigera data så att de följer mallen.
22.Kopiera de redigerade datamängden och klistra in den i den arbetsbok
som skall användas för valideringen.
Kontakt kring valideringstjänsten
jakob.nisell@sgu.se
018-179062