IT, BI, DWH, DM, AI

  • A követelményspecifikáció az adattárház felépítésének kezdeti lépése, amely során információkat gyűjtünk a felhasználók adatbázisrendszerrel kapcsolatos igényeiről. A követelmények meghatározásához számos megközelítés áll rendelkezésre, mind a tudományos körök, mind a gyakorlati szakemberek részéről. Ezek a technikák segítik a szükséges és kívánatos rendszer tulajdonságok azonosítását a leendő felhasználókból, valamint elősegítik a követelmények homogenizálását és prioritások meghatározását. • A konceptuális tervezés során az adatbázist a felhasználók számára érthető és használható formában jelenítjük meg, olyan szinten, amely nem tartalmaz megvalósítási szempontokat. Ennek érdekében koncepcionális modellek alkalmazásával azonosítjuk az alkalmazás releváns fogalmait. Az entitás-kapcsolat modell az egyik legelterjedtebb fogalmi modell az adatbázis-alkalmazások tervezésében. Alternatívaként az objektum-orientált modellezési technikák is alkalmazhatók, például az UML (Unified Modeli

Dimenziós modell   Az adattárházban az adatkocka az egyik alapvető fogalom, amely a többdimenziós adatmodell elrendezését szolgálja. Az adatkockák általában tényeket, dimenziókat, mértékeket és hierarchiákat tartalmaznak, és segítenek az analitikus lekérdezések és jelentések hatékony kezelésében. Tények (Facts): A tények az adatkockákban található alapvető numerikus adatok, amelyek az üzleti folyamatokra vonatkoznak. Például, a pénzügyi adattárházban a tény lehet az eladások összege vagy az eladott termékek mennyisége. Dimenziók (Dimensions): A dimenziók az adatkocka strukturális elemei, amelyek csoportosítják és kategorizálják a tényeket. Például, egy idő dimenzió csoportosíthatja az eladásokat hónapok vagy évek szerint. Egy másik dimenzió lehet a termékek kategóriája. Mértékek (Measures): A mértékek az adatkocka numerikus értékei, amelyeket elemzésre és aggregációra használnak. Például, az eladások összege vagy a bevétel egy mérték lehet. A mértékek segítenek az üzleti teljesítmény é

Az adatbázisok fejlődése és a növekvő adatigények hatására új architektúrák és technológiák jelennek meg. Ezek az új irányzatok magukban foglalják az elosztott tárolást és feldolgozást, a NoSQL adatbázisrendszereket, az oszloptároló adatbázisrendszereket, valamint a memórián belüli adatbázisrendszereket. A következőkben részletesen kifejtem ezeket az új adatbázis-architektúrákat: Elosztott tárolás és feldolgozás: Elosztott tárolás: Az elosztott adatbázisokban az adatok fizikailag különböző helyeken tárolódnak, és a rendszer több számítógépen vagy szerveren fut. Ez lehetővé teszi az adatok redundáns tárolását és az adatbázis rendelkezésre állásának javítását. Elosztott feldolgozás: Az adatok feldolgozása szintén elosztott módon történik, ahol a különböző részeket különálló szerverek vagy csomópontok dolgozzák fel. Ez növeli a feldolgozási sebességet és skálázhatóságot. NoSQL adatbázisrendszerek: A NoSQL (Not Only SQL) adatbázisrendszerek különböző adatmodelljeikkel és architektúráikkal

A szemantikus web olyan fejlett webes környezetet ír le, ahol a webes tartalmakat gépi feldolgozható módon adják meg és értelmezik, lehetővé téve a számítógépek számára, hogy jobban megértsék és kezeljék az információkat. Az alapvető célja a webtartalom jelentésének javítása és a gépek számára érthetővé tétele.  Kifejező adatmodell: A szemantikus web egy kifejező adatmodellt alkalmaz, amely lehetővé teszi a tartalom strukturált és jelentéses kifejezését. Az RDF (Resource Description Framework) és az OWL (Web Ontology Language) ilyen típusú nyelvek, amelyek segítik az adatokat értelmezhető kapcsolatokkal és jelentésekkel rendelkező formában való reprezentálását. Egyedek és kapcsolatok: Az adatokat úgy strukturálják, hogy egyedek és azok közötti kapcsolatok formájában jelenjenek meg. Ezek az egyedek és kapcsolatok segítik a gépek számára a tartalom jelentésének pontosabb megértését. Például, az RDF segítségével egy entitás és a hozzá tartozó tulajdonságok (attribútumok) egyértelműen defi

  A DAX (Data Analysis Expressions) és az MDX (Multidimensional Expressions) két különböző lekérdezőnyelv, amelyek a Microsoft technológiában alkalmazhatók, különösen az Analysis Services szolgáltatásokban. Az összehasonlításukat tudományos szinten értékelve, néhány kulcsfontosságú jellemzőt lehet kiemelni mindkét nyelv esetében, majd egy táblázatban össze lehet foglalni ezeket. DAX (Data Analysis Expressions): Felhasználás: DAX elsősorban az Excel Power Pivot, Power BI és az Analysis Services szolgáltatásokban használható, ahol a táblázatos adatmodellezés a fő szempont. Adatmodell: DAX erősen kapcsolódik a táblázatok és relációs adatmodellhez. A relációs adatmodellezési paradigmát alkalmazza. Kifejezések: DAX kifejezései hasonlítanak az Excel függvényekre, és lehetőséget adnak az összetett adatmanipulációra, számításokra. Lehetőségek: DAX támogatja az időszakok, szűrők, összefoglalók, és egyéb analitikai funkciókat a táblázatos adatmodellekhez. MDX (Multidimensional Expressions): Felh

 Az adattárházfejlesztők számára hasznos lehet egy strukturált ellenőrző lista alkalmazása, amely segíti a kód rendszeres tesztelését, még mielőtt az eljutna a minőségellenőrzési (QA) csapathoz. A mező-mező megfeleltetések ellenőrzése a kritikus adatok esetében mind a staging (előkészítő), mind az éles konszolidációs környezetekben. Ellenőrizze a szekvencia generátor által előállított adatok esetleges duplikációit. Vizsgálja meg a másodlagos kulcsok egyediségét. Ellenőrizze az adattípus-kényszereket mind a staging, mind az éles konszolidált környezetben. Végezze el az adatbetöltés ellenőrzését és elemelje ki az ETL után felmerülő hibaüzeneteket. (ETL – kinyerés, átalakítás, betöltés) Keresse meg a rosszul jobbról vagy balról levágott szövegeket. Győződjön meg arról, hogy minden tábla és mező sikeresen betöltődött-e a staging-ről. Ellenőrizze, hogy a nem NULL értékek biztosan betöltődtek. Vizsgálja meg az adatcsonkolások hiányát. Ellenőrizze az adattípusok és formátumok konzisztenciáját

Az adattárház tesztelésének és minőségbiztosítási folyamatok alkalmazásának számos ésszerű indoka van: Hatalmas mennyiségű és változatos forrásadatok: Az adattárházakba beáramló adatok gyakran hatalmas mennyiségűek és különböző forrásokból származnak. Ez megnehezítheti az adatok összehangolását és egységesítését. Forrásadatok minősége: A forrásadatok minősége változó lehet, és előfordulhat, hogy profilozásra és tisztításra van szükség a megfelelő minőség és konzisztencia elérése érdekében. Inkonzisztencia és redundancia: Az adatforrásokban gyakran előfordulhatnak inkonzisztenciák és redundanciák, amiket az adattárházba való betöltés előtt fel kell ismerni és kezelni. Selejtes vagy hibás adatok: Az ETL folyamatok vagy tárolt eljárások során hibás vagy selejtes adatok keletkezhetnek, ezért fontos, hogy azokat megfelelően logolják és azonosítsák. Hiányzó adatok: Fontos, hogy minden adatforrásból származó adat rendelkezésre álljon, és azoknak minden esetben értékkel kell rendelkezniük. Hiá

  Power BI  DAX lekérdező parancs nézet Mint újítás megjelent a DAX lekérdezés futtatás funkció a Power BI (desktop) alkalmazásban. Az eredmények visszaellenőrzésére, validálására, részeredmények lementésére lehet használni. Fő jellemzők A DAX-lekérdezések hasonlóak az SQL-lekérdezésekhez, amelyekben megjeleníthetik a már meglévő adatokat.  A DAX-lekérdezések nem hoznak létre elemeket a modellben vagy a vizualizációkban a jelentésben. A DAX-lekérdezések felépítése: A DEFINE utasítás, amely nem kötelező. Lehetővé teszi DAX-képletek, például mértékek definiálására a lekérdezésben való használatát. A mértékeket a CodeLens használatával lehet hozzáadni a modellhez, ha a DEFINE-ben használják. Szükség van egy EVALUATE utasításra. Meghatározza, hogy mit és hogyan ad vissza az adatok a lekérdezésben. Használatba vétel - Előszőr be kell kapcsolni, majd újra indítani (beállítások -> Előzetes verzió funkciók): - Újra indítás után megjelenik egy új szerkesztési terület ahol a DAX lekérdezések