Definíció
Informatikai megoldás tervezése egy adott alkalmazás adattartalmának állomány extraktum alapú adatszolgáltatására egy adott adatpiac számára.
A fájl extraktum alapú adatszolgáltatás lényege, hogy a forrásrendszerből az arra speciálisan kifejlesztett kiöntő eljárások a meghatározott adattáblák tartalmát előre definiált formátumnak megfelelően fájlokba írják. Az állományok a forrásrendszer fájlrendszerébe kerülnek elhelyezésre. A kiöntés megismételhető egy adott időpontra.
A megoldás 3 komponensből áll:
- CSV állományok készítése: adatbázis technológia (fejlesztett SQL - és gyári eljárások) segítségével kerül kialakításra. A paraméterként megadott táblákból összegyűjti a kiöntésre szánt adatokat és elkészíti az extraktum állományokat.
- Tömörítés és ellenőrző összeg képzése: Unix parancsokon alapuló Shell script illetve Microsoft Windows batch script végzi a tömörítést és az ellenőrző összeg képzését.
- Audit állomány elkészítése: adatbázis technológia (fejlesztett SQL - és gyári eljárások) segítségével kerül kialakításra.
Alkalmazható adatbázisok:
- Oracle,
- Mysql,
- SQL Server.
Megvalósítási feltételek, általános követelmények
A kiöntést vezérlő interfész az igényspecifikációban fogalmazott általános követelményeknek megfelel, azaz: -az interfész adattáblák, nézetek adattartalmának kiöntését biztosítja -a kiöntés „fix” pozíciós, illetve „CSV” formátumú fájlt generál, ez paraméterrel vezérelhető. Fix pozíciós kiöntés esetén a paraméter táblában megadható, hogy az egyes mezők milyen hosszon és sorrendben kerüljenek a generált adatállományba.
Az interfész paraméterezhető, a paraméter táblákban az alábbi beállítások adhatók meg:
- [adatbázis séma.] Tábla, nézet neve
- Tábla, illetve nézet attribútumai
- Kiöntés típusa: fix pozíció vagy CSV
- CSV esetén az elválasztó karakter (alapértelmezetten: „|”, de bármilyen karakterre paraméterezhető)
- Fix pozíció esetén a mező pozíció - az interfész a kiöntés eredményéről napló információkat rögzít (kiöntés időpontja, paraméterei, eredménye) - az interfész adatbázis technológián (fejlesztett SQL - és gyári eljárások) és standard Unix parancsokon (gzip, md5), illetve Microsoft Windows parancsokon alapszik.
Interfész követelmények
A kiöntést vezérlő interfész az alábbi Extrakt tartalmak előállítását biztosítja: - teljes kiöntés (az adattáblákban szereplő összes rekord exportálása, az adattábla összes beparaméterezett oszlopának tartalmával) - adott időpontnál frissebb rekordok kiöntése (az adattáblában szereplő, megadott időpont után létrejött vagy módosult rekordok exportálása az adattábla összes oszlopának tartalmával) - az adott időpontnál frissebb rekordok meghatározása az adattábla / view olyan mezőin alapulhat, ami az adott rekord létrehozási és módosítási időpontjait tárolja - utolsó sikeres kiöntésnél frissebb rekordok kiöntése (az adattáblában szereplő, az adott adattábla legutolsó sikeres kiöntése után létrejött vagy módosult rekordok exportálása, az adattábla összes oszlopának tartalmával) - az adott időpontnál frissebb rekordok meghatározása az adattábla / view olyan mezőin alapulhat, ami az adott rekord létrehozási és módosítási időpontjait tárolja.
Extrakt formátum követelmények
Az extraktumokra az alábbi általános megkötések vonatkoznak: Extraktumok tartalmi és formai megkötései Az extraktumok CSV formátumban tárolják az adatokat, egy rekordra jellemző paraméterek:
- Alapértelmezett elválasztó karakter: „|” (pipe), paraméterezhető
- Text qualifier: " (idézőjel)
- Soremelés: CRLF (operációs rendszer függetlenül)
- Dátum típus Extrakt formátuma: yyyymmdd
- Időpont típus Extrakt formátuma: yyyymmddhh24miss
- Egy sorban csak egy rekord adatai szerepelnek
- Az extraktum fájlok karakterkódolása utf-8
- Az extraktumok tömörített formában kerülnek átadásra, az extraktum fájlok névkonvencióinak megfelelően, „.gz” kiterjesztéssel
Audit információs fájl
A napi kiöntéskor audit információt tartalmazó állomány készül el, amely tartalmazza az adott napra a kiöntésben szereplő fájlok neveit, md5 checksum-ját, és az állományokban lévő rekordok számát.
Az audit állomány neve: yyyymmdd.txt
A kiöntés során az audit állomány készül el utoljára, ez triggereli az adatáttöltést.
Kiöntési könyvtár struktúrája és hozzáférések
A kiöntési eljárás az operációs rendszer fájlrendszerében létrehozott előre paraméterezett, tetszőleges könyvtárba, illetve a kiöntés időpontjának megfelelő alkönyvtárba hozza létre a szükséges adatállományokat. Az eljárás a kiöntött fájlokról az előre paraméterezett, tetszőleges/"HARDLINK" könyvtárba fájlonként egy-egy hardlinket helyez el.
Az adattöltés fajtái
Full adattöltés
Az adattárház indulásakor alapértelmezetten egy évre visszamenőleg fog adatot tartalmazni a forrásrendszerekből. Ahhoz, hogy ezeknek a rendszereknek az adatait visszamenőlegesen be lehessen tölteni az adattárházba, szükséges, hogy az adott forrásrendszer a kiindulási időpontja és az adattárház élesbe indulási időpontja között meghatározott időpontokra rendelkezzen aktuális adatokkal.
Változáskezeléses adattöltés
Az inkrementális töltés során napi rendszerességgel fut a kiöntési eljárás. A forrásadatokról minden nap végén leválogatás készül, mely tartalmazza az aznap megváltozott adatokat.
Az adott időpontnál frissebb rekordok meghatározása olyan tábla / view mezőin alapul, ami az adott rekordlétrehozási, illetve módosítási időpontjait tárolja.
Eseti (ad-hoc) adattöltés
Az eseti töltés esetén a paraméterként megadott dátumok közötti módosítások kerülnek kiöntésre. Az adott időszakban módosult rekordok meghatározása olyan tábla / view mezőin alapul, ami az adott rekordlétrehozási, illetve módosítási időpontjait tárolja.
Dokumentáció letöltése 
