Prévia do material em texto

<p>U N IV E RS ID A DE SA L V AD OR – UN IFA CS</p><p>C URS O D E P ÓS - GR A DU AÇ Ã O ESP EC IA L IZ A ÇÃ O E M</p><p>B US IN ESS IN T ELL IG E N CE E AN A LY T ICS</p><p>DATA MINING</p><p>RESOLUÇÃO DE CASO N1</p><p>BRUNO SIQUEIRA ALMEIDA</p><p>MATRÍCULA: 2021300721</p><p>D is s ert a çã o ap res en t ad a ao</p><p>P rog ram a d e Pó s - G ra dua ção ,</p><p>d a Uni vers id ad e S a l vad o r –</p><p>U N IF A CS – com o a v a l i ação da</p><p>d i s c ip l ina Da ta Min i ng .</p><p>Sum ár io</p><p>1 . 0 – ET A PA S PA R A R ESO LU Ç ÃO D O P R OBLE MA . . . . . . . . . . . . . . . . . . . . 2</p><p>1 . 1 – En t end im en t o do N eg ó c io e Id en t i f i ca ção d o Prob l em a . . . . . . . 2</p><p>1 . 2 – Co le t a e Exp lo raçã o de Dad os . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2</p><p>1 . 3 – E s t ru tu ra çã o e L im p eza d os D ad os . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2</p><p>1 . 4 – Mo de la g em d os D ad os . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2</p><p>1 . 5 – Aná l i s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2</p><p>2 . 0 – TÉ C NI C AS DE D A TA MI NI N G E OS PR IN C IP AIS</p><p>A LG OR ITI MO S UT ILIZ A DOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3</p><p>2 . 1 – C l ass i f i ca ção . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3</p><p>2 . 2 – E s t im a t i va . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3</p><p>2 . 3 – Prev i sã o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3</p><p>2 . 4 – Aná l i s e d e A f in id ad es . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3</p><p>2 . 5 – Aná l i s e d e Ag rup am en t os . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3</p><p>2</p><p>1 . 0 – ET A PA S PA R A R ESO LU Ç ÃO D O P R OBLE MA</p><p>D i an t e d a p ro b l em át i ca ap r e sen t ada , An a C láud i a , d a In s t i t u i ção de</p><p>E n s in o XP T O, p o der á mo n t a r a s e t ap as d o s eu p r o ces so d e mi n e ração d e</p><p>d ado s u t i l i z and o o p ro ced im en to pad r ão CR ISP - DM ( Cr os s - I nd us t r y</p><p>S ta nd ar d P ro ces s o f D a t a Min in g , ou P r o ces so In du s t r i a l Pad r ão d e</p><p>M in e r ação d e D ados ) d a s eg u i n t e f o rma :</p><p>1 . 1 – En t end im en t o do N eg ó c io e Id en t i f i ca ção d o Prob l em a</p><p>E ss e p ro ced im en to i n i c i a l t em com o foco o en t end i m en t o d o n eg ó c io</p><p>e v i s a ob t e r co nhec im en t o so br e os o b j e t i vo s d o mes mo e s eu s</p><p>r eq u i s i t o s . D ess a man e i r a p od e - se en t en d e r me lh o r o p ro b lem a , e en t ão</p><p>co nv e r t e r e s s e con h ec im en t o em um a de f in i ção p a ra u m p l ano</p><p>p r e l imi n a r co m o ob j e t i vo d e s o lu c io na r o c as o .</p><p>1 . 2 – Co le t a e Exp lo raçã o de Dad os</p><p>E m segu id a , a eq u i p e d ed i ca t emp o a co l e t a r e ex p l o ra r os d ad os</p><p>p r op r i amen t e d i to s . I s so po de s e r f e i t o p o r me io d e a lg o r i t mos</p><p>e s p ec i f i c am en t e p ro g r am ad os p ar a es s a f i n a l id ad e . É n a e t ap a d e</p><p>ex p l o r ação d os dado s q u e as f e r r amen ta s e s t a t í s t i c a s b ás i ca s com eçam</p><p>a se r u t i l i z ad as . E s t a t amb ém é a e t ap a em qu e o s es p ec i a l i s t as co l e t am ,</p><p>d e s c rev em e ex p l o ram o s d ad os .</p><p>1 . 3 – E s t ru tu ra çã o e L im p eza d os D ad os</p><p>D ep end en do de on de v en h am o s d ad os , é l an çad o m ão d e d i fe r en t es</p><p>m ét od os p a r a e s t ru tu r á - l os e t r an s fo rmá - lo s em i n f o rm ação in t e l ig ív e l</p><p>e qu e p os sa s e r u t i l i z ada d e fo rm a p r á t i c a . É n ess a fa s e qu e o s r u íd os ,</p><p>d ado s e s t r an ho s ou in con s i s t en t e s s ão t r a t ado s .</p><p>1 . 4 – Mo de la g em d os D ad os</p><p>E s t a e t apa po ss u i r e l a ção d i r e t a com o o b j e t iv o d e cad a p r o ce sso d e</p><p>M in e r ação , p o i s é ne s s a e t ap a qu e s ão d e f i n i d as a s t é cn i ca s p e l a s q u a i s</p><p>o p ro b l em a d e t ec t ad o an t e r io rm en t e po d e r á s e r s o l u c io nad o . G r an d e</p><p>p a r t e d a s t é cn i cas d e da t a mi n i ng s ão com b as e em co n ce i t os d e</p><p>ap r end i zag em d a m áqu i n a , r e co nh ec i men t o d e p ad r ões , e s t a t í s t i c a ,</p><p>c l as s i f i c ação e c l us t e r i z ação .</p><p>1 . 5 – An á l i s e</p><p>N a im pl em en t ação d o p ro ces so d e m in e r ação d e d ad os , n a f a s e d e</p><p>an á l i s e , é q u an do to d as a s e t ap as an t e r i o r e s s ão r ev i s t as . Es s a é a f as e</p><p>m ai s d e l i cad a d o p ro ce ss o , v i s t o q u e é n ece ss á r io a pa r t i c ip ação d e u m</p><p>g r up o d e p e ss o as es p ec i a l i z ad as em da ta m in i ng e no n eg ó c i o qu e é</p><p>a l vo d a an á l i s e , pa r a av a l i a r s e a mi n er ação d e d ad os a l can çou o s</p><p>r e s u l t ado s s a t i s f a t ó r i os .</p><p>3</p><p>2 . 0 – T ÉC N IC AS D E D ATA MI NI N G E OS P RI N CI P AIS</p><p>A LG OR ITI MO S UT ILIZ A DOS</p><p>E x i s t em d i v e rs as t écn i ca s d e mi n e ração d e d ad os e cad a um a s e rv e</p><p>m el ho r à um p r op ós i to qu e ou t r a s , a d ep en d er d a p r ob l em át i ca . D ess a</p><p>f o rm a n ão h á apen as um a m ane i ra d e en con t r a r pad rõ es d en t ro u m g r an d e</p><p>v o l um e d e d ad os . S ão 5 o s n i cho s d e t é cn i cas g e r a i s p a r a mi n er ação d e</p><p>d ado s :</p><p>2 . 1 – C l ass i f i ca ção</p><p>A c l as s i f i c ação v o l t ad a es p ec i f i c am en t e à a t r i b u i ção d e c l as s es</p><p>q u e s ão p r é -d e f i n i d as p e l o an a l i s t a a os n ov os fa to s o u ob j e t os</p><p>s ub m et i do s à c l a s s i f i c ação . A t é cn i ca p o de s e r u t i l i z ad a p a r a en t end e r</p><p>d ado s ex i s t en t es e p r eve r como no vo s d ado s i r ão s e co mp o r t a r . Os</p><p>a l go r i tmo s m a i s u t i l i z ado s p a r a e s t e f im s ão o s de á rv or es d e d ec i são ,</p><p>r eg r es s ão e r ed e s neu r a i s .</p><p>2 . 2 – E s t im a t i va</p><p>A s t écn i cas d e es t im a r u m r es u l t ado são us ad as p a r a d e t e r mi n a r ,</p><p>d a m el ho r fo r ma po ss ív e l , um va lo r ba s eand o - s e em ou t ro s v a lo r es d e</p><p>s i t u açõ es sem elh an t e s . A l go r i tmo s d e r eg r es s ão e as r ed es n eu r a i s s ão</p><p>b a s t an t e u t i l i z ad os n e s t es c as os .</p><p>2 . 3 – Prev i sã o</p><p>É a av a l i a ção d o v a l o r f u t u ro d e um a va r i áv e l a p a r t i r do s dado s</p><p>h i s t ó r i co s d o seu co mp or t am en to p a ss ado . O s a l go r i tmo s u t i l i z ad os</p><p>aq u i s ão , d en t r e o u t r os , a s r ed es n eura i s , a r eg r es são , e a s á r vo r e s d e</p><p>d ec i s ão s ão os m ai s u su a i s .</p><p>2 . 4 – Aná l i s e d e A f in id ad es</p><p>R eco nh ece p adr õ es</p><p>d e o co r r ên c ia s im ul t ân ea em d e t e rm in ad os</p><p>ev en t os no s dado s an a l i s ado s . Es s a t écn i ca p od e d e t e rmin a r q ue fa to s</p><p>o co r rem s imu l t an eam e n t e com pr ob ab i l i d ad e r azo áv e l ( co - o co r r ên c i a )</p><p>o u q u e i t en s d e uma m as s a d e d ad os es t ão p r es en t es j un to s com um a</p><p>ce r t a ch an ce ( co r re l ação ) . Qu an to ao s a l go r i tmo s , a u t i l i zação d e</p><p>r eg r as d e as s o c i ação é o p ro ced im en to m ai s u t i l i z ado n e s s e s c as os .</p><p>2 . 5 – Aná l i s e d e Ag rup am en t os</p><p>T em com o o b j e t iv o f o rm ar g r up os d e o b j e t os ou e l em en to s m ai s</p><p>h om og ên eo s en t r e s i . P od e - se es t ab e l e c e r p r ev i am en t e um nú m er o de</p><p>g r up os a s e r f o rm ad o ou p od e - se c r i a r um a lg o r i tm o d e ag r up am ent o</p><p>p a r a qu e f aça l i v r e a s so c i ação d e u n i dad es , d e f o rm a q u e a q u an t id ad e</p><p>d e g r up os r es u l t an t e s e j a co nh ec i d a som en t e ao f in a l do p r o ce sso . F i ca</p><p>c l a ro aq u i a d i f e r en ça en t r e An á l i s e d e ag r up am ent o e C l a s s i f i c ação ,</p><p>p o i s n a C l as s i f i c ação as c l as s es s ão p r é - de f i n i d as p e l o p e sq u i sado r ,</p><p>en qu an t o aq u i n ão ex i s t e es s e r eq u i s i t o . A t é cn ica d e ag r u p am en to é</p><p>ex ecu t ad a p o r a l go r i tmo s e s t a t í s t i cos es p ec í f i co s p a r a es se f im , p o r ém</p><p>a s r ed es n eu ra i s t am b ém s ão t am b ém u t i l i zad as n e s t e s en t id o .</p>