Még az agilitásra átállás előtt is fontos a cél mellé az optimális folyamat és csapat összerakása, hatékony munka folyamat működtetése.
Feladatok:
- Kezdeti Scope kijelölése.
- Mérhető célok meghatározása
- kockázat elemzés (Készen áll a bevezetésre)
- Beruházás gazdaságossági vizsgálatok elkészítése
- Koncepcióterv és megvalósíthatósági tanulmány
- Projekt megtervezése: Ki mit fog csinálni (staffing), ki kinek mikor számol be, …
Felmérési fázis:
- Üzleti igényfelmérés
-- Interjú és workshop összefoglalók, Üzleti igény specifikáció, Üzleti adatszótár, Észrevételek az üzleti igényfelmérések során
- Forrásrendszer felmérés és adatprofilozás
-- Adatprofilozási , adatminőségi észrevételek, interfész specifikációk (hogyan, mikor fogjuk elérni a forrásrendszereket, hogyan válogatjuk le őket, …), adatfolyam diagram (mi honnan jön, hova megy (stage, pre stage, business meta), adatmennyiség becslések.
- IT igényfelmérés
- Üzleti adatszótár elkészítése
- Egyéb leszállítandók: Részletes projektterv, felülvizsgált scope, névkonvenciók
Jogosultság kezelés:
- Jogosultság kezelés kidolgozása
- proxi user, rolok, ..
Modell kialakítása
- Logikai adatmodell elkészítése
- Forrás-cél összerendelések elkészítése (mapping)
- Fizikai adatmodell elkészítése
- Attribútumok és measure-ök listája
Betöltők (MAP) specifikálása, elkészítése:
- Adattárház egyszeri feltöltése (ősfeltöltés)
- Adattárház napi töltésének megvalósítása
Adatprofilozási , adatminőségi észrevételek, interfész specifikációk (hogyan, mikor fogjuk elérni a forrásrendszereket, hogyan válogatjuk le őket, …),
adatfolyam diagram (mi honnan jön, hova megy (stage, pre stage, business meta), adatmennyiség becslések.
Fejlesztési módszertanok, szabályok és alkalmazott névkonvenciók használatáról már munka a legelején meg kell állapodni és ehhez következetesen tartani kell magunkat.
Ezeknek a megállapodások elsősorban üzemeltetési fázisban lesznek fontosak. A objektumok, objektum kapcsolatok, megkötések és ezek hatása naplók, szerver logok-ban jelentkeznek, ugyanis a névkonvencióknak megfelelő megnevezéseinket tartalmazzák majd.
Ha a névkonvenciók beszédesek, akkor a betöltési logok-at, hiba üzeneteket olvasva gyorsan összeáll a kép, hogy hol kell keresni a hiba okát.
Ha nem jók, vagy nem konzekvensek akkor nagyon nehéz belőlük dolgozni.
Dokumentációk:
- Ősfeltöltés módszertana, tapasztalatai, adatbetöltők és a betöltési folyamat dokumentálása, adattisztítás módszertana, ..
Kimenet / Riportok felmérése
- Riportok, riport minták (template-ek) elkészítése, időzített futtatásának, jogosultság kezelésük megoldása
- BI portál megtervezése és elkészítése
- Riportok felmérésének eredménye (Címe, alcíme, mi található soron, oszlopon, lapozó területen, …)
- Riport templétek, arculati kézikönyv, Rirport- tárolt eljárás összerendelések,
Éles üzembe állítás:
- Tesztelés: adatok, működés, teljesítmény
- Tesztelés módszertana, teszt esetek, teszt riportot és szkriptek, a tesztelés eredménye
- ..
- Élesbe állás, stabilizáció, utó gondozás
- Oktatás, Oktatási anyagok (üzemeltetői, felhasználói)
- Dokumentációk: Élesbe állítási kézikönyv (hogyan térünk át a tesztről az élesre) üzemeltetői dokumentációk (mentés - visszaállítási terv, karbantartási terv, …)
Az újonnan keletkező DWHD-s és adatpiaci táblákat adatkörhöz kell rendelni. Adatkörnek egy üzleti szempontból összetartozó táblahalmazt nevezünk
Ezek az objektumok a repository-ban csak tervként, metaadatként léteznek. Innen telepíthetőek a fizikai adatbázisba (deploy-művelet).
Metaadat kezelés
Az adattárház metaadat-szótára kulcsfontosságú a használhatósága és a hatékonysága szempontjából.
Fontos ezért, hogy kialakításuk jól átgondoltan, esetleg megfelelő formalizmusok használatával történjen.
Fontos még az általános használhatóság, a könnyen illeszthetőség feltétele is más rendszerekhez,
valamint lehetőség szerint a minél teljesebb elfogadottság, a nagy piaci szereplők meggyőzése a metaadatkezelő szabvány használatáról, így az egységesítés.
Jó kérdések DWH:
Milyen problémák megoldását várod az adattárháztól
Mi az a hajtóerő, vagy üzleti probléma amit miatt adattárházat szeretnél?
Mikor neveznéd sikeresnek a projektet?
Mi ami miatt megnőnek a válaszidők?
Miért vannak egymást átfedő lekérdezés igények?
Elvárások (folyamatos pontosítás):
- Kellően gyors
- Elvárhatóan pontos
- Megbízható
- Felhasználóbarát
90%-ka fusson le 10 másodpercen belül
50-60 riport előállítása, priorizálása
A riportok álljanak elő a betöltés napján reggel 9-ig
Munkanapokon 9-19-ig terjedő időszakban 90 %-os rendelkezésre állás
önállóan (az IT támogatása nélkül) legyenek képesek előállítani a riportokba
A forrás rendszerek felmérése:
Derüljön ki mihamarabb, hogy egyáltalán elérhető-e az adat: Pl jogi korlátok, szervezeti korlátok (nem kapunk jogosultságot hozzá)
Tudjuk azt, hogy mekkora adatmennyiséggel/adatmennyiség növekedéssel kell majd számolnunk
Bevezető, tisztázó kérdések
Mi a projekt célja,
hol tartunk most,
minek jöttünk ide,
mi az én feladatom,
mit várok el tőle,
milyen előnnyel jár NEKI a bevezetés, ….
- első fázis feladatait,
- első fázisból kimaradó feladatokat.
Célzott kérdések az adatok áramlásával kapcsolatban:
kitől kap,
kinek ad,
hogyan szerez információt,
milyen riportokat használ,
mivel elégedetlen,
min változtatna, s ha bekövetkezne ez a változás akkor az milyen hasznot hozna a szervezetnek,
mitől szenved legjobban,
hol van az információáramlás szűk keresztmetszete, …
Résztvevők felé nagyon fontos a lezáró kérdés:
Ön szerint mikor lesz sikeres a projekt (mérhető kell)
A riport lista összegyűjtési szempontok:
Riport neve, Leírása, Prioritás,
Mintafájl neve,
Mintafájl munkalapja,
Periodicitás,
Forrás (feltételezett),
Ki készíti,
Ki kapja,
Terület (Szervezeti egység, adatkör, kategória...)
A kész riportokat dokumentáljuk le és ezeket is foglaljuk bele:
Ki,
mikor,
milyen riportot,
milyen paraméterekkel kért az IT-től
Mennyi idő volt a riport előállítási ideje
Egyéb kérdések:
Mit használnak a versenytársak, milyen szakember van hozzá, vállalati szabvány mit mond.
Hogyan fogjunk hozzá?
Feladatok:
- Kezdeti Scope kijelölése.
- Mérhető célok meghatározása
- kockázat elemzés (Készen áll a bevezetésre)
- Beruházás gazdaságossági vizsgálatok elkészítése
- Koncepcióterv és megvalósíthatósági tanulmány
- Projekt megtervezése: Ki mit fog csinálni (staffing), ki kinek mikor számol be, …
Felmérési fázis:
- Üzleti igényfelmérés
-- Interjú és workshop összefoglalók, Üzleti igény specifikáció, Üzleti adatszótár, Észrevételek az üzleti igényfelmérések során
- Forrásrendszer felmérés és adatprofilozás
-- Adatprofilozási , adatminőségi észrevételek, interfész specifikációk (hogyan, mikor fogjuk elérni a forrásrendszereket, hogyan válogatjuk le őket, …), adatfolyam diagram (mi honnan jön, hova megy (stage, pre stage, business meta), adatmennyiség becslések.
- IT igényfelmérés
- Üzleti adatszótár elkészítése
- Egyéb leszállítandók: Részletes projektterv, felülvizsgált scope, névkonvenciók
Jogosultság kezelés:
- Jogosultság kezelés kidolgozása
- proxi user, rolok, ..
Modell kialakítása
- Logikai adatmodell elkészítése
- Forrás-cél összerendelések elkészítése (mapping)
- Fizikai adatmodell elkészítése
- Attribútumok és measure-ök listája
Betöltők (MAP) specifikálása, elkészítése:
- Adattárház egyszeri feltöltése (ősfeltöltés)
- Adattárház napi töltésének megvalósítása
Adatprofilozási , adatminőségi észrevételek, interfész specifikációk (hogyan, mikor fogjuk elérni a forrásrendszereket, hogyan válogatjuk le őket, …),
adatfolyam diagram (mi honnan jön, hova megy (stage, pre stage, business meta), adatmennyiség becslések.
Fejlesztési módszertanok, szabályok és alkalmazott névkonvenciók használatáról már munka a legelején meg kell állapodni és ehhez következetesen tartani kell magunkat.
Ezeknek a megállapodások elsősorban üzemeltetési fázisban lesznek fontosak. A objektumok, objektum kapcsolatok, megkötések és ezek hatása naplók, szerver logok-ban jelentkeznek, ugyanis a névkonvencióknak megfelelő megnevezéseinket tartalmazzák majd.
Ha a névkonvenciók beszédesek, akkor a betöltési logok-at, hiba üzeneteket olvasva gyorsan összeáll a kép, hogy hol kell keresni a hiba okát.
Ha nem jók, vagy nem konzekvensek akkor nagyon nehéz belőlük dolgozni.
Dokumentációk:
- Ősfeltöltés módszertana, tapasztalatai, adatbetöltők és a betöltési folyamat dokumentálása, adattisztítás módszertana, ..
Kimenet / Riportok felmérése
- Riportok, riport minták (template-ek) elkészítése, időzített futtatásának, jogosultság kezelésük megoldása
- BI portál megtervezése és elkészítése
- Riportok felmérésének eredménye (Címe, alcíme, mi található soron, oszlopon, lapozó területen, …)
- Riport templétek, arculati kézikönyv, Rirport- tárolt eljárás összerendelések,
Éles üzembe állítás:
- Tesztelés: adatok, működés, teljesítmény
- Tesztelés módszertana, teszt esetek, teszt riportot és szkriptek, a tesztelés eredménye
- ..
- Élesbe állás, stabilizáció, utó gondozás
- Oktatás, Oktatási anyagok (üzemeltetői, felhasználói)
- Dokumentációk: Élesbe állítási kézikönyv (hogyan térünk át a tesztről az élesre) üzemeltetői dokumentációk (mentés - visszaállítási terv, karbantartási terv, …)
Az újonnan keletkező DWHD-s és adatpiaci táblákat adatkörhöz kell rendelni. Adatkörnek egy üzleti szempontból összetartozó táblahalmazt nevezünk
Ezek az objektumok a repository-ban csak tervként, metaadatként léteznek. Innen telepíthetőek a fizikai adatbázisba (deploy-művelet).
Metaadat kezelés
Az adattárház metaadat-szótára kulcsfontosságú a használhatósága és a hatékonysága szempontjából.
Fontos ezért, hogy kialakításuk jól átgondoltan, esetleg megfelelő formalizmusok használatával történjen.
Fontos még az általános használhatóság, a könnyen illeszthetőség feltétele is más rendszerekhez,
valamint lehetőség szerint a minél teljesebb elfogadottság, a nagy piaci szereplők meggyőzése a metaadatkezelő szabvány használatáról, így az egységesítés.
Jó kérdések DWH:
Milyen problémák megoldását várod az adattárháztól
Mi az a hajtóerő, vagy üzleti probléma amit miatt adattárházat szeretnél?
Mikor neveznéd sikeresnek a projektet?
Mi ami miatt megnőnek a válaszidők?
Miért vannak egymást átfedő lekérdezés igények?
Elvárások (folyamatos pontosítás):
- Kellően gyors
- Elvárhatóan pontos
- Megbízható
- Felhasználóbarát
90%-ka fusson le 10 másodpercen belül
50-60 riport előállítása, priorizálása
A riportok álljanak elő a betöltés napján reggel 9-ig
Munkanapokon 9-19-ig terjedő időszakban 90 %-os rendelkezésre állás
önállóan (az IT támogatása nélkül) legyenek képesek előállítani a riportokba
A forrás rendszerek felmérése:
Derüljön ki mihamarabb, hogy egyáltalán elérhető-e az adat: Pl jogi korlátok, szervezeti korlátok (nem kapunk jogosultságot hozzá)
Tudjuk azt, hogy mekkora adatmennyiséggel/adatmennyiség növekedéssel kell majd számolnunk
Bevezető, tisztázó kérdések
Mi a projekt célja,
hol tartunk most,
minek jöttünk ide,
mi az én feladatom,
mit várok el tőle,
milyen előnnyel jár NEKI a bevezetés, ….
- első fázis feladatait,
- első fázisból kimaradó feladatokat.
Célzott kérdések az adatok áramlásával kapcsolatban:
kitől kap,
kinek ad,
hogyan szerez információt,
milyen riportokat használ,
mivel elégedetlen,
min változtatna, s ha bekövetkezne ez a változás akkor az milyen hasznot hozna a szervezetnek,
mitől szenved legjobban,
hol van az információáramlás szűk keresztmetszete, …
Résztvevők felé nagyon fontos a lezáró kérdés:
Ön szerint mikor lesz sikeres a projekt (mérhető kell)
A riport lista összegyűjtési szempontok:
Riport neve, Leírása, Prioritás,
Mintafájl neve,
Mintafájl munkalapja,
Periodicitás,
Forrás (feltételezett),
Ki készíti,
Ki kapja,
Terület (Szervezeti egység, adatkör, kategória...)
A kész riportokat dokumentáljuk le és ezeket is foglaljuk bele:
Ki,
mikor,
milyen riportot,
milyen paraméterekkel kért az IT-től
Mennyi idő volt a riport előállítási ideje
Egyéb kérdések:
Mit használnak a versenytársak, milyen szakember van hozzá, vállalati szabvány mit mond.
Tudni kell mi a fontos, mi az ami közelebb visz a cél eléréséhez.
Csapatépítő hozzáállás:
tisztázza a célokat és definiálja a csapattagok szerepét, eloszlassa a félelmeket, …
Hívjuk meg a hajóra és valószínűleg nem fogja elsüllyeszteni
Elérhető a kompetencia?
Hány nap alatt válaszolnak a kérdésekre átlagosan?
Adatokat meg kell tisztítani betöltés előtt és ellenőrizni kell a jóságot
Új mezők felvétele (pl. elemzéshez szükséges csoportosítások)
Táblák időpecséttel történő ellátása
Korábbi manuális adatbevitelek automatizálása (pl. árfolyamok)
Számítsunk-e megtérülést az adattárház vagy BI bevezetés előtt? (ROI : Return on Investment a befektetés megtérülésének mutatója. )
Eredményesség felmérő kérdések:
Mit jelentene az üzleti területednek, ha hamarabb tudnád, hogy …?
Mi lenne, ha képes lennél kimutatni…?
Mennyit érne meg, ha … ?
Ennyit bukunk havonta amíg el nem készül az adattárház. Ugyanaz a szám, de más az optikája
Eszközrendszer:
Státusz riportok, Feljegyzések, emlékeztetők, Problémák nyomon követése (Issue list, To do list), Változáskérők (change request), Hibakövetési rendszer
Megbeszélés tematika:
- Hogy állunk a projekttervhez képest?
- Milyen feladatokat teljesítettünk, milyen feladatok következnek, milyen készültségi szinten állnak az egyes feladatok
- Milyen kockázatok veszélyeztetik a határidőket
- Milyen problémákat oldottunk meg, milyen problémák merültek fel és azokat kinek mikorra kell megoldania, milyen problémák vannak még mindig nyitva, …
Emlékeztető = jegyzőkönyv:
Ki, mikor, mit mondott, mit vállalt, kik voltak jelen a megbeszélésen, stb.
Issue Lista
- Felmerült problémák gyűjtőhelye: Adathibák, telepítési kérések
ToDo és Issue ugyanaz. Vezessük egy helyen
Cégsztenderdek, policy-k begyűjtése (dokumentációs, …)
Élesbe állás előtti tesztek (Tematika) összeállítása
- Relációs adattárház tesztelése
- OLAP adatbázis tesztje
- Adatbetöltési (ETL) folyamatok
- Adatminőség és adatteljesség vizsgálat
- Adatbiztonság tesztelése
- Klienskörnyezet tesztelése
Minimális elvárások felmérése:
Legyen azonos a collation az összes adatbázison belül
- Backup legyen külön drive-on
- Adatbázis fájlok mérete legyen fix (15 GB)
Adatpiac OLAP teszt
- Aggregációk száma
- Distinct count measure legyen külön measure group-ban
- Non Empty behavior
- Számformázás legyen beállítva
- Legyenek helyesed definiálva az attribútum relációk
- 1 kódhoz egy megnevezés tartozzon
- Measure overflow teszt!!!
Az ETL folymat és adat validációs teszt:
- Betöltő specifikus tesztek
- Naplózva van a betöltő?
- Külsőleg vannak konfigurálva a betöltők
- Hibaágak be vannak kötve
- ETL specifikus ellenőrzések
- Kitöltöttség tesztek (hol találunk null értékeket?)
- Min RowstartDate <> alapért., Max RowEndDate <> alapért.
- RowstartDate = RowEndDate
- Forrás és cél adattípus mapping: pl. hány olyan oszlop van, ahol a cél adattípusa kisebb mint a forrás?
Az adatminőség teszt:
Meg kell profilozni az adattárházat (Statisztikai számításokat kell futtatni az adatokon). Pl. oszloponként a kitöltöttség (Null elemek száma), min, max értékek száma, összes elem száma, különböző elemek száma, ISMERETELEN elemek száma (!)
- Ezt többször le kell futtatni és nézni, hogy nem kezdenek el elmászni valahol az értékek
- Adatteljesség. Ellenőrizni kell, hogy hány rendelés van a forrásban, hány az adattárházban, … hogy megállapíthassuk: minden átjött a forrásrendszerből
- TempDB legyen külön lemezen
- Recovery model legyen simple
Az adatbiztonság elvárások:
- Authentikációs mód ne legyen mixed
- Password policy (üres jelszó az SA felhasználónak)
- Kiknek a nevében futnak a szervizek
- Hogyan férnek hozzá a felhasználók relációs és többdimenziós adatbázisok adataihoz, a riportokhoz, …
Üzleti felhasználói tesztek kezelése:
Az üzleti felhasználó veszi át az adattárházat. Ellenőrizniük kell a számokat, a mutatók számítását, a riportokat.
- A tesztelés során talált hibákat össze kell gyűjtenünk és ehhez ki kell alakítani egy hibakövetési rendszert: Excel, külön program, helpdesk rendszer
- Mit kell feljegyezni: hiba sorszáma, hiba leírása, Terület (betöltési, OLAP, …), Objektum (tábla, kocka, riport, …neve), Prioritás, Státusz, keletkezés dátuma, Lezárás dátuma, Ki jelezte, Ki a felelős a megoldásért, Megjegyzés
Változások követése, verziózás megtervezése
- Ha eddig nem tettük meg, akkor legkésőbb most ki kell alakítanunk egy rendszer, ahol az adattárház változásait (új fejlesztések, módosítások) nyomon követjük
- Ha eddig nem készültünk a teszt és éles szerverek közti átmenetek megoldására, akkor most itt az idő felkészülni erre is
Felhasználók monitorozása/beszámolásnál: (mindig legyen néhány minősítő szó a felhasználókról)
- 1. jelentés szolgáltatók: Viselkedésük kiszámítható. Heti rendszerességgel ugyanazokat a lekérdezéseket futtatják
- 2. Felfedezők: Kiszámíthatatlan a viselkedésük. Hetekig nem használják a rendszert, majd egy nap szétterhelik. Ők a heurisztikus keresők. Mintákat keresnek. Ha találnak valamit akkor új keresést indítanak.
Azonosítani kell a kulcsfelhasználókat:
- Ők fogják tudni megmondani, hogy mi legyen a következő elemzési terület. (Elmesélni G. Gábor példáját)
- Az ő kritikáikat nagyon komolyan kell venni.
- Ő hozzájuk kell irányítani a felhasználókat tanulni.
Adatminőség folyamatos monitorozása
- Ugyanúgy meg kell profiloznunk az adattárházat, ahogy a forrásrendszerekkel tettük.
- Ugyanazokat a teszteket, amelyeket az átvétel időszakában futtattunk, le kell futtatni rendszeresen
Megjegyzések
Megjegyzés küldése