Resolução de Caso N1 - Arquitetura de Dados Estruturados e Não Estruturados - Bruno Almeida

Prévia do material em texto

U N IV E RS ID A DE SA L V AD OR – UN IFA CS 
 
C URS O D E P ÓS - GR A DU AÇ Ã O ESP EC IA L IZ A ÇÃ O E M 
B US IN ESS IN T ELL IG E N CE E AN A LY T ICS 
 
 
 
ARQUITETURA DE DADOS 
ESTRUTURADOS E NÃO 
ESTRUTURADOS 
RESOLUÇÃO DE CASO N1 
BRUNO SIQUEIRA ALMEIDA 
MATRÍCULA: 2021300721 
D is s ert a çã o ap res en t ad a ao 
P rog ram a d e Pó s - G ra dua ção , 
d a Uni vers id ad e S a l vad o r – 
U N IF A CS – com o a v a l i ação da 
d i s c ip l ina A rq u i t e tu ra d e 
D ad os Es t ru tu rad os e N ão 
E s t ru tu rado s . 
 
 
 
 
Sum ár io 
 
1 . 0 - ETA P AS P AR A R ESO LU Ç ÃO D O P R OBLE MA . . . . . . . . . . . . . . . . . . . . 2 
2 . 0 - TI PO DE D A DOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 
2 . 1 – Dad os Es t ru tu rad os . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 
2 . 2 – Dad os S em i es t ru t u rad os . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 
2 . 3 – Dad os Nã o E s t rut u rad os . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 
3 . 0 – O RG A NIZ A N DO OS D A DOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 
3 . 1 – DA TA WARE HOU SE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 
4 . 0 F E RR A ME NT AS D E BI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 
5 . 0 C O NC LU SÃ O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 
B IBLI OG RA FI A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 
 
 
 
2 
 
1 . 0 - ETA P AS P AR A R ESO LU Ç ÃO D O P R OBLE MA 
 
P a r a en co n t r a r i n fo r maçõ es nece ss á r i a s em um a b ase d e d ado s , é 
n ece ss á r io s e ch eg ar a u ma an á l i s e d e sc r i t i v a . J á p a r a um a d es cob e r t a 
d e con h ec im en to , é n ece ss á r i o fa ze r co m q u e u m a l go r i tm o ap r end a 
d e aco r do com o p ro b l em a a s e r r es pon d i do ( c l as s i f i c and o , e s t im an do 
o u as so c i and o d ad os ) . N a p r ob l emá t i ca ap r es en tad a , a em p r es a 
T e r min a l d e C a rg as S . A , as i n fo rm açõ es v êm d e d i ve r so s d i sp os i t i vos 
e s i s t em as com s eus ban co s d e d ad os , a s v ezes es t r u t u r ad o , a s v eze s 
n ão e s t ru tu r ad os . 
N ess e ca so , a em pre s a p r ec i s a r i a d e um a e s t r a t ég i a p a r a a t i ng i r o 
o b j e t iv o d e g e ra r co nh e c i m en t o com a i n fo rm ação qu e s ão ob t id as 
a t r av é s d os d ad os da s im pr e ss o r a s , d esd e s ua ex t r ação p ass and o pe l a 
n o rm al i zação , s e g reg ação po r as su n to e v i s ua l i z ação de m an e i r a a 
f a c i l i t a r a t om ad a d e d ec i s ão p e l o g es t o r . 
E m o u t r as pa l av r as , a a rq u i t e tu r a d e dad os s e r i a a r es po ns áv e l p e l a 
e s t r u t u ra ç ã o do s co mp on en t es e p ro ce ss os d a o r g an i zação qu e 
e n vo lv em o g e r en c iam en to d o s d ad os u s ad os e u m a an á l i s e comp l e t a 
d os r e l ac io n am en tos en t r e a s fu nçõ es de um a o r g an ização , t e cno l og i as 
d i s po n í ve i s e t i po s d e d ado s . D ess a m an e i r a co ns egu e -s e de f in i r , p a r a 
u m a d e t e r min ad a s i t u ação , p l an e j amen to e es t r a t ég i as n ece ss á r i o s 
p a r a a l c an ça r e d a r a s ub s í d io s à t o m ad a d e d ec i s ão . 
 
2 . 0 - TI PO DE D A DOS 
 
E x i s t em 3 f o r mas d e c l a s s i f i c a r o s dad os qu an to à su a e s t r u t u ra , 
d ado s es t r u t u r ado s , d ad os s emi es t r u t u rad os e d ad os n ão e s t r u tu r ado s . 
C om o n ão s ab em os qu a i s os t i po s d e d ad os q u e s ão g er ad os p e l os 
s o f t w ar e s e h a rd w ar e s d e im pr e ss ão , vo u d i s co r r e r s ob r e t od os . 
 
2 . 1 – Dad os Es t ru tu rad os 
 
D ad os es t r u t u r ado s s ão aqu e le s o rg an i zados e r ep r es en tad os com 
u m a es t r u tu r a r í g ida , a qu a l f o i p r ev i am en t e p l an e j ada p ar a a r m azen á -
l os . E l es s ão e s t ru tu r ado s con fo rm e a d e f i n i ção de um e sq u em a , qu e 
d e f i n e como as t ab e l as e s ua s r es p ec t i v as l i nh as e co l un as s e r ão 
a r m azen adas . Po d em os co nce i tu a r o es qu ema d e u m b anco d e d ados 
co mo s en do u ma d es c r i ç ão s ob r e um a o r g an i zação , o u so b re o as su n t o 
q u e s e de s e j a r ep re s en t a r , de f in i nd o a s s im qu a i s d ados qu e se r ão 
a r m azen ados . 
 
 
3 
 
U m ex emp lo d i s so s ão o s ban co s d e d ado s r e l a c io n a i s co m 
l in gu ag em S QL ( S t r u c t ur ed Q u er y L an g ua ge ) , q u e é a r ep r e s en t ação 
m ai s t í p i ca e com um d e d ad os es t r u t u r ad os . H á u m a g r an d e g am a de 
s i s t emas de b anco d e d ad os q ue u sam l in gu ag em S QL que po dem s e r 
u t i l i zado s p a ra im pu t a r o s d ad os q u e ad v ém d os so f tw a r es e h a r dw ar es 
d e imp r e ss ão , com o Mi c r os o f t SQ L S e r ve r , M ySQ L , O r ac l e , 
P os t g r eSQ L , S QL i t e en t r e ou t r os . 
 
2 . 2 – Dad os S em i es t ru t u rad os 
 
O s d ad os semi es t r u tu r ad os f i c a m en t re os ex t r em os : não são 
e s t r u t u rado s d e fo r ma r í g i da , m as t am b ém n ão são to t a lm en t e 
d e s es t r u t u r ado s . S ão um a f o rm a d e d ad o es t r u tu r ado q u e n ão e s t á d e 
aco r do com a es t r u t u ra fo rm al d os m od e lo s de d ado s as so c i ad os com 
b an co s d e d ad os r e l a c i on a i s o u o u t r as fo r mas d e t ab e l a s d e dado s , m as 
q u e con t ém t ag s ou o u t ro s m a r cad o r es p a ra s epa r a r e l em en t os 
s emân t i cos e im por h i e r a rq u i as d e reg i s t r os e c am po s d en t ro d os 
d ado s . 
O XM L (E xt ens ib l e Ma r ku p La ngu a ge ) e o u t r as l i ng u ag ens 
e s t r u t u rad as co mo J SO N ( Ja va S cr ip t O b jec t No t a t io n ) , e - m ai l e E D I 
( E l ec t r on i c D a ta I n t e rcha n ge ) s ão fo rm as d e d ado s s em ies t ru t u r ad os . 
 
2 . 3 – Dad os Nã o E s t rut u rad os 
 
O s d ados n ão e s t ru tu r ado s ou N oS QL ( N ot O ln y S QL ) , p oss u em um a 
e s t r u t u ra t o t a lm en te i nv e rs a do s d ados e s t ru tu r ad os , s end o f l ex ív e i s 
e d in âmi co s o u , a t é m esmo , sem q u a lq u e r es t r u t u r a . E x i s t em fo n t es 
d e d ado s n ão e s t r u t u rado s com o senso r e s d e m áqu i n as , c e l u l a re s e 
w ear ab l e d ev i ce s , dad os de r ed es so c i a i s . C omo po demo s v e r o s d ad os 
ad v i nd os d e s t es m ei os n ão s ão dad os r e l a c i on ados , mas s i m 
d iv e rs i f i c ad os como p o r ex empl o t ex to s , v íd eo s , im ag en s qu e ju n t os , 
d a m an ei r a ad eq u ad a , g e r am i n f o rm ação e co nh ec i m en t o p a r a t om ad a 
d e d ec i s ão . 
O s p r i n c i p a i s b anco s d e d ados qu e p od em se r u t i l i zad os pa r a 
i mp u t a r os d ados qu e ad v ém d os s o f twa r e s e ha r dw ar es de im pr e ss ão , 
N oS Q L s ão H bas e , N E O 4J , Am azon Dyn amo DB , Mo ng o DB, C ass and r a 
e Red i s . 
 
 
 
4 
 
3 . 0 – O RG A NIZ A N DO OS D A DOS 
 
P a r a o rg an i za r e cen t r a l i z a r os d ados ad v i nd os d os s o f t w a re s e 
h a r dw ar es de i mpr e s são em da ta w ar eho us e p a r a co mp o r t a r o s 
d iv e r s os b an cos de d ado s , qu e po dem se r an a l i s ad as pa r a t om ar 
d ec i sõ e s ma i s ad equ ad as . 
 
3 . 1 – DA TA WARE HO U SE 
 
O d a t a w ar eh ou s e ( D W) , o t e rmo s i gn i f i c a a r m azém d e d ado s o u 
d epó s i t o d e d ad os , é u m ace rv o ló g ico q u e con cen t ra v á r i os t i p os 
d i fe r en t es d e b an cos d e d ad os , s e j am e l e s S QL ou N oS QL , e qu e p os sui 
a fu n ção d e con so l i d a r a s i n fo rm açõ es p a r a a an á l i s e d e negó c io e 
t om ad a d e dec i s ão . U m d a t a wa r eh ou s e é p r o j e t ado p ar a a t i v a r e 
f o r n ece su po r t e à s a t i v id ad es d e B I ( B us in es s In t e l l i g en ce ) , 
e s p ec i a lm en t e a aná l i s e s av ançad as . Os d a t a w ar eho us e s d e s t i n am -s e 
ex c lus iv am en t e a r ea l i z a r cons u l t a s e an á l i s e s av an çad as e g e r a lm en t e 
co n t êm g r and es q uan t id ad es d e d ad o s . 
U m a a r qu i t e tu r a de d a t a w a r eh ou s es é co mp os t a d e cam ad as . A 
cam ad a s up e r i o r é o c l i en t e d e f r o n t -en d , q u e ap r es en t a os re su l t ad os 
p o r m ei o d e f e r r amen t as d e r e l a t ó r io s , an á l i s es e mi n e r ação d e d ad os . 
É n es s a com ad a qu e f i c am os d a t a m a r t s , q u e s ão com o p equ en as 
f a t i a s qu e a r m azen am su bcon ju n to s d e d ados , no r ma lm en t e 
o r g an i zado s p a r a u m d epa r t am en t o o u u m p ro cess o de n egó c i o . A 
cam ad a in t e rm ed i á r i a cons i s t e no m ecan i sm o d e an á l i s e s , u s ad o p a r a 
a ce s sa r e an a l i s a r o s d ado s . A cam ad a in f e r io r da a r qu i t e t u ra é o 
s e r v id o r d e b an co d e d ados , on d e os d ad os são ca r r eg ad os e 
a r m azen ados . 
 
4 . 0 F E RR A ME NT AS D E BI 
 
O t e rm o B us in es s I n t e l l i g en ce su rg iu o r ig in a lm en t e n a d écad a d e 
1 9 60 , como um s i s t em a p a r a co mp a r t i l h a r i n f o rm ações n as 
o r g an i zaçõ es . E l e se d es en vo lv eu nos an os 8 0 j un to com o s mo de lo s 
co mp ut ac i on a i s p a ra au x i l i a r n a to m ada d e d ec i s õ es e t r an s fo rm ar o s 
d ado s em i n fo rm açõ es an t es d e s e t o rn a r um recu rs o e sp ec í f i co 
o f e r ec i do p e l as equ ip e s d e B I com so lu çõ es d e s e r v i ço d ep end en t es 
d a T I . 
A s f e r r am en t a s d e b us in e ss i n t e l l i g ence (B I ) s ão t i p os de s o f t w ar e 
d e ap l i c a t i vo qu e co l e t am e p ro ces s am g r an d es q u an t id ades de dad os 
n ão e s t ru tu r ad os de s i s t em as i n t e rn os e ex t e r nos , i n c lu i nd o l i v r os , 
 
 
5 
 
j o rn a i s , d o cum ent os , r eg i s t r os m éd i cos , im ag ens , a rq u i vo s , e -m ai l s , 
v íd eos e o u t r as f on t e s co mer c i a i s . Des s a fo rm a , as m ét r i c a s , m esmo 
v in do d e d i f e r en t es fo n t es d e d ado s , co mo s i s t em as E RP , CR M, 
p l an i lh a s o u a t é m es mo a rq u i vo s d e t ex to , p od em s e r v i sua l i z ad as em 
g r up o , a j ud and o n a c r i a ção d e i nd i cad o r es em pr e s a r i a i s m ui t o m ai s 
e f i c i en t es . 
 
5 . 0 C O NC LU SÃ O 
 
P a r a r es o l v er o c a so da T er min a l d e C ar g as S . A , n eces s i t a - s e d e s s es 
t r ês p on to s d es t acad os n e s s a d i s s e r t a ção : Es t r u tu r ação d os d a d os , 
o r g an i zação do s d ad os e v i su a l i z ação d os d ad os , p a r a um a to m ad a d e 
d ec i s ão ace r t ad a e e f i c az . 
 
 
 
6 
 
 
B IBLI OG RA FI A 
 
D a t a S c i en ce Acad emy . " O Q UE É AR Q U IT ET UR A D E D A DO S?" . 
D i s po n í v e l em : ' h t t p : / / da t as c i en ceacad emy .com .br / b lo g / o - qu e - e -
a r q u i t e t u r a - d e -d ado s / ' . P os t ado em 24 d e m ai o d e 2 02 0 . Aces so em m ar ço 
2 0 21 . 
SC H IR IG A TT I , J ack so n Lu i s . " Ro t e i r o d e Es tu dos Ar qu i t e t u r a d e D ado s 
E s t r u tu r ado s e N ão E s t ru t u r ad os" . L AU R EA TE EA D. b r . 
Wi k ip éd i a , A en c i c lo p éd i a L iv r e . " Ar qu i t e tu r a de D ado s" . D i s po n í v e l em : 
' h t t p s : / / p t .w ik i p ed ia . o rg / w ik i /A r qu i t e tu r a_d e_d ados # : ~ : t ex t =A r qu i t e tu r
a% 2 0d e%2 0d ado s %2 0 %C 3% A 9% 20 a , ev o l u %C3 % A7 %C 3% A 3 o% 20 ao %2
0 lo ng o %2 0d o% 20 t em po ' . A tu a l i z ad a em d e 11 d e no v em b ro d e 20 20 . 
A cess o em m ar ço 20 2 1 . 
S IE RR O, SÉ RG IO . G r an Cu rs os On l ine . " D ad os E s t ru tu r ad os v s D ad os 
N ão - Es t r u tu r ados " . D i sp on ív e l em: 
' h t t p s : / / b l og .g r an cur s os on l in e . com .b r /d ado s - es t r u tu r ados - v s -d ad os - n ao -
e s t r u t u rado s / # : ~ : t ex t =O s %2 0d ados % 20 es t ru tu r ad os % 20 s% C 3% A 3o %2 0o
r g an i zad os ,d e%2 0or g an i za%C3 % A7 %C 3 %A 3o % 2C %2 0s en d o% 20 to t a lm e
n t e% 20 d es e s t ru tu r ad os . ' . Po s t ad o em 27 ab r i l 20 20 . A ces so em m ar ço 
2 0 21 . 
In s t i t u t o In f o rm at io n M an ag em an t . " A d i f e r en ça en t r e d ad os 
e s t r u t u rado s e n ão e s t r u t u rado s" . Di spo n í v e l em: 
' h t t p s : / / do cman ag em ent . com .b r / 03 /0 6 /2 0 15 / a - d i fe r en ca - en t re - d ad os -
e s t r u t u rado s - e - n ao -e s t r u t u rado s / ' d e 06 de m ar ço d e20 16 . A ces so em 
m ar ço 2 02 1 . 
M O NT E IR O, L eand r o P in t o . Un i v er s id ad e d a T ecn o l og ia . "D ado s 
E s t r u tu r ado s e N ão Es t ru tu r ad os " . Di sp o n ív e l em: 
' h t t p s : / / un iv e rs id aded a tecno lo g i a . com .b r /d ad os - e s t ru t u r ado s - e - n ao -
e s t r u t u rado s / ' . A ces so m ar ço 2 02 1 . 
Wi k ip éd i a , A en c ic lo p éd i a L iv r e . "S QL " . D i s po n í v e l em: 
' h t t p s : / / p t .w ik i p ed ia . o rg / w ik i /SQ L #Si s t em as_ d e_B an co _de_ D ados _q u e_
u s am _SQ L ' . A tu a l i z ad a em 21 d e s e t em br o d e 20 20 . A ces so em m ar ço 
2 0 21 . 
M AR T IN S, C és a r S i lv a , S IM Õ ES, P au lo , E S Á , Jo rg e O l i v e i r a . " Um a 
A r q u i t e t u ra M od e rn a d e D ado s : U m C as o de T es t e" . D i s po n í v e l em: 
' h t t p s : / / r epo s i t o r ium .s du m. umi nh o . p t /b i t s t r e am/1 82 2 / 31 36 9 / 1 / pap e r_ cpa
s i_ 20 14 _ ar qu i t e t u ra_ mo d er n a_ v f . pd f ' . A ces so em m arço 2 0 21 . 
 
 
 
7 
 
S aph i r , In t e l i g ên c ia em Clo ud C om put i ng . "Co nh eça o s p r i n c ip a i s b an cos 
d e d ad os No SQ L (n ão - r e l ac i on a i s ) " . Di spo n í v e l em:' h t t p s : / / b l og . s ap h i r . com .b r / con h eca - os - p r i n c i pa i s -b an co s -d e - d ad os -
n os q l - nao -
r e l ac i on a i s /# :~ : t ex t=O s %2 0p r i n c i p a i s% 2 0 ex em pl os %2 0de% 2 0 emp r esa s ,
a s % 20 n ecess i d ad es% 2 0d e% 20 cad a% 20n eg %C3 %B 3 ci o . ' . P os t ado e m 23 
d e ab r i l d e 20 20 . Aces so em mar ço 202 1 . 
G O D O I , Do ug l a s . C e t ax , C on su l to r i a e T r e in amen t o d e B I e B i g D a ta . 
" D at a War eho us e : T ud o o q ue vo cê p r ec i s a s ab er ! " . D i s po n í v e l em: 
' h t t p s : / / w w w. ce t ax .co m. br /d a t a -
w a r eho us e / # : ~ : t ex t=D a t a% 2 0War eh ous e% 20 %C 3% A 9% 20 um a% 20 or g an i
za% C3 % A7 %C 3 %A3 o ,c r i ado % 20 n a% 20 d %C 3% A 9cad a%20 d e%2 01 98 0 . ' . 
A cess o m ar ço 20 21 . 
O R ACL E B ra s i l . " O q ue É um D at a War eho us e?" . D i s po n í v e l em: 
' h t t p s : / / w w w. or ac l e . com/ b r / da t ab as e /wh a t - i s - a -d a t a - w ar eho us e / ' . A ces so 
m ar ço 2 02 1 . 
A m azo n Web S e rv ice s . " C o nce i to s d e D a t a War eh ou se : Co n ce i t os b ás i co s 
d o Am azon R ed sh i f t " . D i sp on ív e l em: ' h t t p s : / / aws . am azo n .com/ p t /d a t a -
w a r eho us e / ' . A cesso m ar ço 2 02 1 . 
M i cr os o f t A zu r e . "O q u e s ão f e r r am en t a s d e bu s in e ss i n t e l l i g en ce ( B I ) ? " . 
D i s po n í v e l em: ' h t t p s : / / a zu r e . mi c ros o f t . com/ p t - b r /o v erv i ew /w h at - a re -
b us in e ss - i n t e l l i g ence -
t oo l s / # : ~ : t ex t =As %2 0 f e r r am en t as % 20 de% 2 0b us i n es s% 20 in t e l l i g en ce ,v %
C 3 %A Dd eos % 20 e%2 0 ou t r as % 20 f on t e s% 2 0 co mer c i a i s . ' Aces so em m ar ço 
2 0 21 . 
T ab l eau . " O qu e é b us in e ss i n t e l l i g ence? S eu gu i a s ob r e o B I e po r qu e 
e l e é im po r t an te " . Di s po n í v e l em: h t tp s : / /w w w. t ab l eau . com /p t -
b r / l e a r n / a r t i c l es / bus in e ss - i n t e l l i g en ce . A ces so em m arço 2 0 21 .