Multi-speed ODS

Predmetom dodávky bola realizácia riešenia synchronizácie a transformácie dát z viacerých  zdrojových systémov ČSOB Poisťovne do nového jednotného ODS. 

Predmetom projektu bolo: 

1. Dodanie triggrov a source connectorov zabezpečujúcich real-time prenos odchytených zmien dát na zdroji pre informačné systémy ČSOB Poisťovne prevádzkované na DB platformách Sybase ASE, Sybase IQ, Oracle 19c a MS SQL 2019.
2. Konfigurácia JDBC Sink connectorov pre zápis údajov do cieľových štruktúr MS SQL databázy nového ODS.
3. Dodanie konfigurovateľného mechanizmu microbatchového spracovania dát.
4. Vytvorenie mechanizmu na iniciálne full-load naplnenie synchronizovaných tabuliek.
5. Vytvorenie mechanizmu na prenos, transformáciu a konsolidáciu inkrementálnych zmien aplikačných dát a číselníkov.
6. Inštalácia a konfigurácia prevádzkového Apache Kafka clustera vrátane nastavenia nástrojov na prevádzkový monitoring (Prometheus, Grafana).
7. Dodanie vrstvy REST webových služieb na poskytovanie dát z ODS pre koncové systémy poisťovne - Autorizovaná Klientská zóna.
    

V rámci projektu sa podarilo:

1. Vybudovať platformu pre online a near-real time synchronizáciu, transformáciu a konsolidáciu dát z viacerých zdrojových systémov poisťovne do jedného nového ODS prostredníctvom Apache Kafka a microbatch spracovania dát. 

Vzhľadom na potrebu efektívneho narábania s výpočtovými zdrojmi a licenčnými nákladmi na prevádzku bol využitý pokrokový technologický koncept Multi-speed ODS, ktorý efektívne rozdeľuje výpočtovú záťaž medzi procesy:

• prenášané cez Apache Kafka (real -time rýchlosť prenosu, ale zároveň vzhľadom na transformácie vysoký HW a licenčný CPU náklad),
• microbatch processing na strane cieľového stroja ODS (near-real-time rýchlosť prenosu, ale zároveň výrazne nižšie licenčné a HW náklady). 

Týmto spôsobom boli naplnené biznis potreby poisťovne a zároveň boli optimálne vynaložené finančné prostriedky na potrebné licencie komerčných softvérov a prevádzkový hardvér. 

2. Vytvoriť konsolidovaný zdroj dát v ich prezentovateľnej podobe pre používateľov koncových systémov - Autorizovanej klientskej zóny.