agrupamento de dados

Prévia do material em texto

Universidade Tecnolo´gica Federal do
Parana´ - UTFPR
Relato´rio Resoluc¸a˜o de lista de exerc´ıcios teo´ricos de
Neural Networks
Alunos Cristiano Gonc¸alves de Araujo
Professor Leandro Antonio Pasa
Medianeira, 21 de abril de 2016
Me´tricas de Distaˆncias
Diversos fatores sa˜o levados em considerac¸a˜o quando se faz
uma ana´lise como infereˆncia estat´ıstica, me´tricas adotadas para
composic¸a˜o do modelo, quantidade de dados a serem minerados;
o que exige conhecimento por parte do analista de qual medida
de distaˆncia escolher de acordo com o domı´nio do problema e
o conjunto de dados, ou se na˜o houver escolha ao menos ter
conscieˆncia do tipo de resultado que pode ser obtido de acordo
com a medida de distaˆncia implantada.
A Distaˆncia Euclidiana e´ definida como a soma da raiz
quadrada da diferenc¸a entre x e y em suas respectivas dimenso˜es.
A Distaˆncia Manhattan tem uma definic¸a˜o mais simples
na qual e´ apenas a soma das diferenc¸as entre x e y em cada
dimensa˜o.
Distaˆncia Euclideana: ((x1–x2)2 + (y1–y2)2)1/2.
Distaˆncia Manhattan:|x1–x2| + |y1–y2|
Em termos relativos a utilizac¸a˜o da distaˆncia euclideana se
aplica melhor a dados na˜o padronizados (ou seja dados que na˜o
tem nenhum tipo de tratamento de adaptac¸a˜o de escala); e de-
vido a isso o resultado final e´ insens´ıvel a outliers (excec¸o˜es,
ou dados com uma diferenc¸a muito grande em relac¸a˜o a` me´dia
do dataset). Uma desvantagem sobre essa medida de distaˆncia
pode acontecer se houver diferenc¸a de escala entre as dimenso˜es;
por exemplo, se no eixo X houver a distaˆncia em kilometros, e no
eixo Y a distaˆncia estiver em cent´ımetros pensando em termos
cartogra´ficos. No momento em que houver a transformac¸a˜o de
escala (ou seja a conversa˜o de Cm para Km) os resultados eu-
1
clideanos (que se baseiam nos quadrados e na raiz) sofrem uma
influeˆncia muito grande das dimenso˜es que possuem os maiores
valores.
Para a Distaˆncia Manhattan, ale´m do fato que os outliers sa˜o
igualmente desconsiderados; entretanto, na˜o ha´ influeˆncia de es-
cala (dentro do conjunto de dados) sobre o resultado ja´ que na˜o
ha´ elevac¸a˜o ao quadrado dos valores de X e Y.
Algoritmo de agrupamanto com me´trica cityblock para
dados de kmeansdata
1 clc
2 clear
3 load kmeansdata
4
5 idx2= kmeans (X, 2 , ’ Distance ’ , ’ c i t y b l o c k ’ ) ;
6 f igure
7 [ s i l h 2 , h ] = s i l h o u e t t e (X, idx2 , ’ c i t y b l o c k ’ ) ;
8 h=gca ;
9 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
10 xlabel ’ S i l h o u e t t e Value ’
11 ylabel ’ C lus t e r ’
12
13 idx3= kmeans (X, 3 , ’ Distance ’ , ’ c i t y b l o c k ’ ) ;
14 f igure
15 [ s i l h 3 , h ] = s i l h o u e t t e (X, idx3 , ’ c i t y b l o c k ’ ) ;
16 h=gca ;
17 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
18 xlabel ’ S i l h o u e t t e Value ’
19 ylabel ’ C lus t e r ’
20
21 idx4= kmeans (X, 4 , ’ Distance ’ , ’ c i t y b l o c k ’ ) ;
22 f igure
2
23 [ s i l h 4 , h ] = s i l h o u e t t e (X, idx4 , ’ c i t y b l o c k ’ ) ;
24 h=gca ;
25 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
26 xlabel ’ S i l h o u e t t e Value ’
27 ylabel ’ C lus t e r ’
28
29 idx5= kmeans (X, 5 , ’ Distance ’ , ’ c i t y b l o c k ’ ) ;
30 f igure
31 [ s i l h 5 , h ] = s i l h o u e t t e (X, idx5 , ’ c i t y b l o c k ’ ) ;
32 h=gca ;
33 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
34 xlabel ’ S i l h o u e t t e Value ’
35 ylabel ’ C lus t e r ’
36
37 idx6= kmeans (X, 6 , ’ Distance ’ , ’ c i t y b l o c k ’ ) ;
38 f igure
39 [ s i l h 6 , h ] = s i l h o u e t t e (X, idx6 , ’ c i t y b l o c k ’ ) ;
40 h=gca ;
41 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
42 xlabel ’ S i l h o u e t t e Value ’
43 ylabel ’ C lus t e r ’
44
45 c l u s t e r 2=mean( s i l h 2 )
46 c l u s t e r 3=mean( s i l h 3 )
47 c l u s t e r 4=mean( s i l h 4 )
48 c l u s t e r 5=mean( s i l h 5 )
49 c l u s t e r 6=mean( s i l h 6 )
Respostas Obtidas de me´trica cityblock para dados de
kmeansdata
Algoritmo de agrupamanto com me´trica euclidiana
para dados de kmeansdata
3
Figura 1: K=2
1 clc
2 clear
3 load kmeansdata
4
5 idx2= kmeans (X, 2 ) ;
6 f igure
7 [ s i l h 2 , h ] = s i l h o u e t t e (X, idx2 ) ;
8 h=gca ;
9 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
4
Figura 2: K=3
10 xlabel ’ S i l h o u e t t e Value ’
11 ylabel ’ C lus t e r ’
12
13 idx3= kmeans (X, 3 ) ;
14 f igure
15 [ s i l h 3 , h ] = s i l h o u e t t e (X, idx3 ) ;
16 h=gca ;
5
Figura 3: K=2
17 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
18 xlabel ’ S i l h o u e t t e Value ’
19 ylabel ’ C lus t e r ’
20
21 idx4= kmeans (X, 4 ) ;
22 f igure
23 [ s i l h 4 , h ] = s i l h o u e t t e (X, idx4 ) ;
24 h=gca ;
25 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
6
26 xlabel ’ S i l h o u e t t e Value ’
27 ylabel ’ C lus t e r ’
28
29 idx5= kmeans (X, 5 ) ;
30 f igure
31 [ s i l h 5 , h ] = s i l h o u e t t e (X, idx5 ) ;
32 h=gca ;
33 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
34 xlabel ’ S i l h o u e t t e Value ’
35 ylabel ’ C lus t e r ’
36
37 idx6= kmeans (X, 6 ) ;
38 f igure
39 [ s i l h 6 , h ] = s i l h o u e t t e (X, idx6 ) ;
40 h=gca ;
41 h . Chi ldren . EdgeColor = [ . 8 . 8 1 ] ;
42 xlabel ’ S i l h o u e t t e Value ’
43 ylabel ’ C lus t e r ’
44
45 c l u s t e r 2=mean( s i l h 2 )
46 c l u s t e r 3=mean( s i l h 3 )
47 c l u s t e r 4=mean( s i l h 4 )
48 c l u s t e r 5=mean( s i l h 5 )
49 c l u s t e r 6=mean( s i l h 6 )
7