Processo de ETL em Data Warehouse

Prévia do material em texto

U N I VE RSI D ADE S AL VA D OR – U N IF A CS 
 
C U SR O DE P ÓS - G R AD U AÇ ÃO ES PE CI ALI ZA Ç ÃO E M 
B USI NE SS INT ELL IGE N CE E AN AL YT ICS 
 
PROCESSO DE ETL EM DATA 
WAREHOUSE 
RESOLUÇÃO DE CASO N1 
BRUNO SIQUEIRA ALMEIDA 
M A T R Í C U L A : 2 0 2 1 3 0 0 7 2 1 
 
D is s e r t a ção ap r es en t ad a 
ao P r og r am a d e P ós -
G r adu ação , d a Un iv e rs id ade 
S a l v ad o r – U N IFACS – co mo 
av a l i a ção d a d i s c ip l in a 
P ro ce ss o d e ET L em D at a 
War eho us e . 
 
 
 
S U MÁ R IO 
 
1 . 0 C O NC EIT O D ATA W AR EHO USE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 
2 . 0 F E RR A ME NT A KN O WA GE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 
3 . 0 F E RR A ME NT A iRE PO RT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 
4 . 0 E VI TA N DO P ROBLE MAS C O M ET L . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 
B IBLI OG RA FI A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 
 
 
2 
 
1 . 0 C O NC EIT O D ATA W AR E HO USE 
 
O d a t a w a r eh ou s e (D W) , o t e rm o s ig n i f i c a a rm azém d e dad os 
o u d ep ós i to de dado s , é um acer vo l óg i co qu e co n cen t r a vá r io s t i pos 
d i fe r en t es d e b an co s d e d ado s , s e j am e l es S Q L o u NoS QL , e qu e 
p os su i a f un ção de con so l id a r a s i n f o rm açõ es p a r a a an á l i s e d e 
n egó c io e t o m ad a d e d ec i s ão . Um d a ta w a r eho us e é p ro j e t ado p a r a 
a t i v a r e fo rn ece sup o r t e às a t i v id ad es d e B I ( Bu s in e ss In t e l l i g en ce ) , 
e s p ec i a lm en t e a aná l i s es av an çad as . O s d a t a w a r eho us es d es t in am -
s e ex c l us i v am en t e a r e a l i z a r co ns u l t a s e an á l i s es avan çad as e 
g e r a l m en t e co n t êm g r and es qu an t i dad es d e d ado s . 
U m a a r qu i t e t u ra d e d a t a w a r eh ou se s é co mp os t a d e camadas . A 
cam ad a s up e r i o r é o c l i en t e d e f r on t - end , qu e ap r es en t a os r e s u l t ados 
p o r m ei o d e f e r r am en t as d e re l a tó r io s , an á l i s es e m ine r ação de 
d ado s . É n ess a com ad a qu e f i c am os da t a ma r t s , qu e s ão co mo 
p equ en as f a t i a s qu e a r m azen am s ub con j un to s d e d ad os , no r m al men t e 
o r g an i zado s pa r a um d epa r t am en t o ou um p ro cesso d e neg ó c i o . A 
cam ad a i n t e rm ed i á r i a co ns i s t e n o mecan i s mo d e an á l i s es , u s ad o p a r a 
a ce s sa r e ana l i s a r o s d ad os . A cam ada in f e r i o r d a a r qu i t e t u r a é o 
s e r v id o r d e b anco d e d ado s , on d e o s d ad os s ão ca r r eg ado s e 
a r m azen ados . 
 
2 . 0 F E RR A ME NT A KN O WA GE 
 
K n ow ag e é um a so lu ção o p en so ur ce co m có d ig o - fo n t e d e l i v r e 
a ce s so . E l e f o rn ece d o i s m ód u l os p r i nc i p a i s (E n t e rp r i s e R epo r t i ng e 
Sm ar t In t e l l i gen ce ) e qu a t r o p lug - in ( Lo ca t io n In t e l l i g en ce , 
P e r fo rm an ce M an ag em ent , Cu s to m A n al y t i c s , Sm ar t D a t a ) pa ra 
e s t a b e l ece r um a s o l u ção s ob m ed id a . O K no w ag e o f e r ece r ecu r so s 
an a l í t i cos co m f o co e s pec i a l n a v i su a l i z ação d e d ado s e r ecu r so s d e 
au to a t end im en to so b r e fo n t es d e d ado s t r ad i c io n a i s e g r an d es em 
n u vem. 
K n ow ag e s e m os t r a co mo um a fe r r am en t a r ob us t a no 
t r a t am en t o d e d ad os . As f un c io na l i dades r e l a c io n ad as à m od e l ag em 
d im en s i on a l e OLA P, v ão d esd e a p os s i b i l i d ad e d a c r i a ção do s 
s ch em as , a t é su a v i s u a l i z ação , n a qu a l o us u á r io p ode a r r as t a r e 
s o l t a r a s d i mens õ es d o cu bo , c r u zand o d i fe r en t es i n f o rm açõ es . 
E x i s t em a in d a o p çõ es m a i s comp l ex as , como a u t i l i z ação de 
q u e r i es M DX p a r a co ns u l t a s . D es t acam - se a in d a , a s p oss ib i l i dad es 
d e s e t r ab a lh a r co m m od e l ag em esp ac i a l , v i su a l i z and o m ap as , 
ap l i c an do f i l t r os em d ados es pac i a i s en t re o u t ro s , e a c r i ação d e KP I 
( K ey P e r fo rm ance In d i ca t o r ) , p e rm i t in do o acom p an ham ento d e 
i nd icado r es d e p e r fo r man ce d o n egó c i o . Ai n da e s t ão p r es en t es ou t r os 
m od e l os d e v i su a l i z ação do s d ad os , co mo g r á f i cos , h i s to g r am as , 
r e s umo s , en t r e o u t ro s . 
 
3 
 
3 . 0 F E RR A ME NT A iRE PO RT 
 
O J as pe r iR epo r t é um a f e r r am en t a p a r a d e senv o l v im en to e 
g e r ação d e re l a tó r io s u t i l i z and o l i ng uag em J av a . A con tex tu a l i zação 
d o r e l a tó r i o cons i s t e em u m r es um o do q u e s e r á ap r es en t ado , ex i b in do 
d e f o rm a s u c in t a o s p r in c i p a i s t ó p ico s q u e s e r ão exp os to s e as 
p e r gu n t as r es po nd i d as . Al ém d i s s o , e s s e e l em en to s e r v e p a ra 
co n t ex tu a l i z a r a s i t u ação q u e o r i g i no u a n ec e ss i d ad e d e e l abo r ação . 
P or exemp lo , um fech amen t o s em es t r a l , um a camp anh a esp ec í f i ca d e 
m ark e t in g , u m a ação da co n co r r ên c i a e t c . 
A e l abo r ação d e um r e l a tó r i o é gu i ad a p e l os ob j e t i vo s a qu e 
e l e a t end e . D ess a fo r ma , es s e t óp ico d ev e s e r b as t an t e c l a ro n a 
e s t r u t u ra do con t eúd o ap r e sen t ado , c as o co n t r á r io , s e r á ap en as m a is 
u m do cum en to qu e t om ará o t emp o do s env o lv id os p a r a se r 
p r eench i do . 
P a r a q u e s e j a c l a r o , o r e l a t ó r io d ev e s egu i r um a es t ru t u r a na 
ap r e sen t ação d os dad os . P or ex em pl o , s e o ob j e t i vo é j u s t i f i c a r u m 
i nv es t im en t o em M ar k e t i ng d e Co n t eúd o e SE O ( Sea r ch E ng ine 
O p t i mi z a t i on ) , é p rec i s o t e r em men t e q u e , p a r a o g e s to r , a r e ce i t a e 
o R O I ( R et ur n o n I n ves tm en t ) s ão o s d ado s ma i s r e l ev an t es . É 
i n t e r es san t e ap re s en t a r co mo a e s t r a t ég i a de co n t eú do in f l u en c i ou o s 
d i rec t s l i n ks env iad os aos c l i en t es nu m a r ed e s o c i a l e como e s t es 
i mp ac t am o f a t u r am en to . As s im , ex i s t e um a e s t ru t u r a do s d ad os qu e 
i n fo rm a so b re o s qu es i t os m ai s im po r t an t es d o p r oce ss o , po i s apen as 
o r es u l t ado f in a l (R O I) d i f i c i l m en t e p r op o r c io n a rá i n s i gh t s . 
 
4 . 0 E VI TA N DO P ROBLE MAS C O M ET L 
 
C om o fa l ad o an te r io r men t e , a a rq u i t e tu r a d e u m d a ta 
w a r eho us e co ns i s t e em v á r i as c am ad as p e l os q u a i s os d ado s p as s am. 
D ess a fo rm a , é im po r t an t e s ab e r qu e a qu a l id ad e de um d a ta 
w a r eho us e d ep end e d e q u ão un i f o rm e e co n f i áv e l o s d ado s f l uem en t r e 
e s s as c am ad as . É aq u i q ue o E TL d esem p en ha u m p ap e l v i t a l . C ad a 
v ez qu ev o cê d es e j a m ov e r d ado s d e u ma cam ad a p a ra o u t r a , dev e 
i mpl an t a r um p i pe l i n e d e ET L , i s so p od e s e r f e i t o a t r av és d e 
f e r r am en t as de ET L eq u ip ad as com r ecu rs os e f unc i on a l id ades 
i n co rp o r ad os p a r a co ns t r u i r s eu s p i p e l in es ET L em um am bi en t e de 
d e s en vo lv i men t o in t u i t i v o e sem cód ig o . Com um a f e r r am en t a E TL , 
v o cê ob t ém um m ecan i sm o ET L d e a l t o d es em p en ho , u ma v ar i ed ade 
d e r ecu rso s p r on tos p a r a t r an s fo rm açõ es e au to m ação de p r o ces sos , 
co n ec to r e s n a t iv os p a r a um a ampl a va r i e d ad e d e f on te s , l ev and o a 
t em po s d e de s en vo lv im en to m ai s r áp id os , m a io r f l ex ib i l i d ad e e 
e co no mi a d e cus t os . 
O m é to do ex a to p a ra con s t ru i r um p i p e l in e d e ET L pa r a vá r io s 
e s t ág i os de s eu da t a w a r eho us e v a r i a d e aco r do com s eus r equ i s i t os 
4 
 
d e n egó c i o , m as a l gum as e t ap as e d i r e t r i z es g e r a i s po d em s er 
s egu id as . 
4 . 1 - P repa r a r um conj un to d e d ad os 
A n al i s e a s f on te s de d ad os e p r ep a r e um a l i s t a d e co l un as q ue 
t r a r ão v a l o r e s r e l ev an t es aos r e l a tó r io s e d a sh bo a rds a s e r em 
co ns t r u í do s no s B I e R ep or t Bu i ld e r s 
 
4 . 2 – E x tra çã o d e da do s 
E xt r a i a e co mbi n e d ado s d e t od as a s s u as fo n t es d e d ado s em 
u m ún ico f o r m ato p a r a p r o cess amen t o po s t e r io r . O p ro ce ss o de 
ex t r ação d e d ado s em E TL v a r i a d e fo n t e p a r a fo n t e . Por exemp lo , 
v o cê po d e qu e r e r co ns um i r A P Is p a r a r e cu pe r a r d ad os d e ap l i c a t i vo s 
S a aS , en qu an t o p ode exp o r t a r r eg i s t ro s p a r a CS V ou co ns u l t a r d ado s 
d i re t am en t e d e b an cos d e d ad os r e l a c i on a i s a t r avé s d e S t or ed 
P r ocedu r es . 
 
4 . 3 – L im p eza e D edupl i ca çã o 
D ep oi s d e ex t r a i r o s d ado s , d es du p l iqu e - os p a r a ev i t a r g r av a r 
o s m es mo s r eg i s t r os d e d ad os v á r i as veze s e ev i t a r r ed und ân c i a . Em 
s egu id a , u s e o co n j un to de d ad os que v o cê p r ep a r ou na p r i m ei r a 
e t apa ac i m a p a ra va l i d a r e l im pa r os d ado s . P o r ex emp lo , s e v o cê 
t i v e r um camp o d e d ad os co m o e s t ad o c iv i l ' N en hum ' , v ocê p od e 
d e f i n i r o f l u xo p a ra r e j e i t a r ou d es ca r t a r t a i s r eg i s t ro s p a r a g a r an t i r 
a c o r r eção do s dado s . 
 
4 . 4 – Ap l i ca ção da s tra ns fo rm a çõ es 
C om b as e no de s ig n d e s eu d a t a wa r eho us e , ap l iq ue 
t r an s fo rm ações p a ra ag r eg ar o u , d e ou t r a f o r m a , a l t e ra r s eu s v a lo r es 
d e d ad os p a r a co r re s po nd e r à s a í d a nece s sá r i a . Po r ex em pl o , pa r a 
a r m azen a r o nom e co mpl e to co mo uma ú n i ca co l un a , a s seg u r e - s e d e 
q u e o s r eg i s t ro s s e j am t rans f o r m ad os p a r a qu e os c amp os d e n om e 
s e j am s emp r e con ca t enado s . 
 
4 . 5 – Ca rreg am en to do s dad os 
U s and o a t é cn i ca de ca r r eg amen t o t o t a l ou ca r r eg am en to 
i n c r em en t a l , m ov a o s dado s t r an s fo rmad os p a r a o d a t a wa r eh ou se . 
V o cê po de f aze r i s s o d e ho r a em ho ra , d i a r i am en t e , s em an a lm en t e 
o u co m qu a lq ue r f r equ ên c i a n ecess á r i a p a r a a t end er aos s eu s 
r eq u i s i t o s d e n eg ó c i os . 
 
 
5 
 
B IBLI OG RA FI A 
 
D at a S c i en ce A cadem y. " O Q U E É AR Q U IT ET UR A D E D A D OS ?" . 
D i s po n í v e l em: ' h t t p : / / d a t as c i enceacad em y. com .b r / b l og /o - qu e - e -
a r q u i t e t u r a - d e -d ado s / ' . 
O R ACL E Br a s i l . "O qu e É um D at a War eho us e?" . Di spo n í v e l em : 
' h t t p s : / / w w w. or ac l e . com/ b r / da t ab as e /wh a t - i s - a -d a t a - w ar eho us e / ' . 
A m azo n Web S e rv i ces . "Co n ce i t os de D a t a War eho us e : Co n ce i t os 
b á s i co s do Am azon R eds h i f t " . D i sp o n ív e l em: 
' h t t p s : / / aws . am azon . co m/p t / da t a - w a r eh o us e / ' . 
E n g in ee r i ng In g egn e r i a In f o rm at i ca – Kn o w ag e – D i s po n í v e l em : 
' h t t p s : / / w w w. en g . i t / en /o u r -p l a t f o rms - so lu t io n s /k no w ag e ' . 
E n g in ee r i ng In g egn e r i a In f o rm at i ca – K no w ag e – D i sp o n ív e l em 
' h t tp s : / / w w w. kn owag e - su i t e . co m/s i t e /h om e/ ' . 
M anu a l de Ut i l i z ação J a sp e rR ep o r t , iR epo r t e i n t eg r ação com P HP . 
D ep a r t am en to d e Tecn o l og i a d a In fo rm ação e Com un i cação – 
In s t i t u t o Fed e ra l de Ed u cação T ecn o ló g i ca d o Tr i an gu l o M in e i r o . 
D i s po n í v e l em ' h t tp s : / / i f tm . edu .b r / ERP/ MPE S/E V EN T OS -
B KP/ v i sao / t r ab a lh os /1 70 81 10 80 85 8_ i f t m - j asp e r -4 .p d f ' . 
O qu e é S EO ? Di s po n í v e l em 'w w w. m ar k e t in gd ebu sca . com .b r / s eo ' 
S O USA , M arcos Vin i c iu s do C a rm o . Da t a w a r eh ou s e e E TL pa r a 
d ado s d a s aú de p úb l i c a . U n iv e rs id ad e d e S ão P au lo , In s t i t u t o de 
M a tem át i ca e Es t a t í s t i c a . Di s p on í v e l em 
' h t tp s : / / b cc . i m e . usp . b r / t c cs / 20 19 /mv cs /m on og r a f i a . pd f '