RealTime DWH

Predmetom dodávky bolo:

1. Realizácia PoC pre online synchronizáciu dát vybranej podmnožiny tabuliek, v rámci ktorej bol
   • dodaný Log-based CDC source connector pre databázu IBM informix zabezpečujúci  odchytávanie zmien vykonaných v zdrojovej databáze SIRAEL, 
   • nakonfigurovaný JDBC Sink connector pre zápis údajov do MS SQL databázy DWH,
   • vytvorený mechanizmus na iniciálne naplnenie synchronizovaných tabuliek využívajúci IBM Informix External Tables a TSQL Bulk Insert,
   • pripravený mechanizmus zabezpečujúci spracovanie odchytených transakcií (Commit, Rollback) na strane MS SQL databázy,
   • navrhnutý spôsob historizácie zmien v synchronizovaných tabuľkách v MSSQL.  
2. Realizácia celého riešenia online synchronizácie dát, v rámci ktorej bolo
   • riešenie rozšírené na celú množinu synchronizovaných dát (viac ako 300 tabuliek), pričom množina synchronizovaných tabuliek je riadená metadátami uloženými v konfiguračných tabuľkách v MS SQL,
   • definovanie a odladenie prevádzkových procesov,
   • inštalácia a konfigurácia prevádzkového Apache Kafka cluster-a,
   • inštalácia a nastavenie nástrojov na monitoring riešenia (Prometheus, Grafana),
   • prvotná inicializácia DWH databázy na MS SQL.

V rámci projektu sa podarilo dosiahnuť:

• Vybudovať platformu pre online sychronizáciu dát prostredníctvom Apache Kafka.
• Napojiť DWH priamo na produkčnú databázu core systému SIRAEL bez potreby vytvárania dennej kópie zdrojovej databázy na IBM Informix.
• Umožniť tvorbu online reportingu na strane DWH a tým znížiť prevádzkovú záťaž core systému.
• Zabezpečiť dôveryhodný zdroj dát obsahujúci informácie o všetkých zmenách vykonaných v core systéme SIRAEL a tým umožniť implementáciu optimalizovaných dátových púmp spracovávajúcich iba modifikované údaje pri časovo kritických spracovaniach.