Creditech: Implementazione Dwh ed Odi 2017-11-06T11:39:24+00:00

Project Description

La seguente relazione ha lo scopo di descrivere il progetto ODI-SAS . Come si evince dal nome l’obbiettivo del progetto è la costruzione di un DWH basato sull’utilizzo del Banking DDS di SAS personalizzato sulla base dei requisiti specifici del cliente Creditech e il popolamento di questo tramite processi di ETL gestiti da ODI (Oracle Data Integration) software che combina tutti gli elementi riguardanti l’integrazione, lo spostamento in tempo reale e in blocco, la sincronizzazione, la trasformazione, la qualità e i servizi relativi ai dati in un’unica piattaforma. Dopo un primo caricamento di tipo full delle tabelle sono previsti caricamenti delta atti ad aggiornare giornalmente e mensilmente i dati caricati tramite processi di ETL schedulati nelle ore notturne al fine di rendere disponibile il dato corretto, aggiornato e pronto per la fase di reportistica ogni mattina per le 09:00 non incidendo sul timespace della macchina di produzione.

Creditech è una società controllata al 100% dal Gruppo Bancario Mediobanca e soggetta alla vigilanza della Banca d’Italia. È una realtà unica sul mercato in grado di gestire l’intera filiera del credito mediante i suoi servizi innovativi ed integrati di Factoring, Credit Management e acquisto crediti NPL (crediti non performanti). Il deploy del Livello 0 è avvenuto il 28/03/2017, la fase di test dovrebbe concludersi intorno al 20/04/2017. Il DWH implementato presenta due macro gruppi di crediti:

  1. Crediti H3G, ovvero i crediti telefonici
  2. Crediti NPL, ovvero i creditideteriorati (conosciuti anche come prestiti non performanti: non performing loans) delle banche (mutui, finanziamenti, prestiti) che i debitori non riescono più a ripagare regolarmente o del tutto.

Inizialmente i due gruppi convergevano nelle medesime tabelle, ma a fronte della cessione dei crediti H3G, che sarà ultimata per lo 01/07/2017, i record riguardanti questa tipologia di credito non saranno più caricati dalle tabelle sorgenti. Questo implica che una volta ultimato il carve out tra NPL e H3G sarà opportuno modificare molti dei flussi di caricamento presenti, sia per ottimizzare le tempistiche di caricamento andando ad eliminare join utilizzate per filtrare i dati, sia per archiviare lo storico di H3G. Considerando la grande mole di record per singola tabella (alcune tabelle sfioravano 150.000.000 di record), la principale criticità riscontrata durante l’implementazione del livello 0 è stata la costruzione di processi di caricamenti delta, in grado di effettuare l’Incremental Update delle tabelle non sforando le ore notturne a disposizione per il caricamento. Si è riusciti a raggiungere questo obbiettivo grazie ad un’analisi funzionale che ci ha permesso di creare loop di caricamento asincroni per singola tabella.

Project Details

Skills Needed: