På denne siden kan du lese mer om:
Generelle behov for dokumentasjon
Anbefaling (Rammeverk)
(155) For å gi et kortfattet, helhetlig bilde av modellen, hva modellen gjør, målgruppe, hvem som vedlikeholder, i tillegg til konstruksjon av modellen, som algoritme, arkitektur og treningsdata anbefales det å bruke Model Card.Nærmere informasjon og anbefalt dokumentasjon om Model Cards finnes i rapporten fra arbeidsgruppa som et vedlegg til rammeverksdokumentet.
(156) For å gi en oversikt over forhold som bør vurderes og informeres om ved oppretting og bruk av treningsdatasett for maskinlæring anbefales det å bruke Datasheets for Dataset. Denne inneholder metadata for denne type treningsdata, og avviker fra det som brukes for geografisk informasjon (ISO 19115-1). Nærmere informasjon og anbefalt dokumentasjon finnes i rapporten fra arbeidsgruppa som et vedlegg til rammeverksdokumentet.
(165) Det anbefales å bruke "training Data Markup Language for Artificial Intelligence (TrainingDML for AI)" for følgende områder:
- Hvordan treningsdataene er forberedt, for eksempel opphav eller kvalitet;
- Hvordan spesifisere forskjellige metadata som brukes til ulike ML-oppgaver, som scene/objekt/pikselnivåer;
- Hvordan skille mellom høy-nivå treningsdata-informasjonsmodell og utvidede informasjonsmodeller spesifikke for ulike ML-applikasjoner; og
- Hvordan introdusere eksterne klassifikasjonssystemer og fleksible metoder for å representere "ground truth"-merking.
Detaljerte krav til dokumentasjon
Anbefaling (Rammeverk)
(157) Forskjellige prosjekter vil ha ulike behov for videre bruk av modeller og resultater av modeller, slik som:
- Prediksjonsresultater fra maskinlæringsmodellen skal overleveres. Ingen krav, anbefalinger dekkes opp av kapittel 16.2.1 Generelle behov for dokumentasjon.
- Ferdig trent modell skal kunne kjøres av andre
- Andre skal kunne finjustere modellen
- Andre skal kunne videreutvikle modellen
- Andre skal kunne finjustere modellen
- Man skal kunne reprodusere modellen
Denne type dokumentasjon dekkes ikke nødvendigvis av Model Cards eller Datasheets for Dataset, og dokumentasjon gjøres tilgjengelig i Geonorge.
Krav (Rammeverk)
(158) Dersom man jobber med en ML-modell som skal overleveres og kunne kjøres/driftes av andre uten å endres (ref 157 andre kulepunkt B), må følgende dokumenteres:
- Ferdig trent modell
- Ferdig trent modell skal kunne kjøres av andre
- Informasjon om dataformatet som modellen tar som input
(159) For å kunne finjustere en modell (ref 157 tredje kulepunkt) må følgende dokumenteres:
- Ferdig trent modell
- Format på treningsdataene
- Arkitektur og kode for modellen
- Type data og format. Om det er benyttet noen form for «data augmentation» under trening
- F.eks. rotering av bilder
(160) For å kunne videreutvikle en modell (ref 157 fjerde kulepunkt) må følgende dokumenteres:
- Ferdig trent modell
- Format på treningsdataene
- Arkitektur og kode for modellen
(161) For at andre skal kunne reprodusere modellen (ref 157 femte kulepunkt)må følgende dokumenteres:
- Arkitekturen til modellen (med kode, kodemiljø og avhengigheter) - anbefales, et alternativ kan være tilstrekkelig med skriftlig dokumentasjon til å kunne implementere tilsvarende arkitektur.
- Hyperparametre ved trening (som ikke fremkommer av eventuell kode)
- Ved f.eks. deep learning ville dette kunne vært loss function, activation function, batch-size, optimizer, antall epoker trent osv
- Treningsdatasett, enten et statisk datasett eller metadata til å kunne gjenskape tilsvarende datasett
- Beskrivelse av hvordan treningsdataene ble behandlet
- Data preparation, data augmentation/feature engineering
Deling og gjenbruk
Anbefaling (Rammeverk)
(162) For å gjøre eksisterende data lettere tilgjengelig for maskinlæring anbefales det å gjøre tilgjengelig (i Geonorge) årsversjoner av de mest anvendelige data, dette for å sikre best mulig tids-synkronisering mellom data og flyfoto.
(163) For å gjøre eksisterende data lettere tilgjengelig for maskinlæring anbefales også grensesnitt som er mer hensiktsmessige for utviklere og dataforskere, slik som REST API-er (OGC API-er) fremfor dagens WMS, WFS. Likeledes bruk av andre formater (som f.eks ulike versjoner av JSON) som et tillegg til GML.
(164) Treningsdata bør gjøres tilgjengelig gjennom Geonorge.