Logo Passei Direto
Buscar
Ao projetar embeddings em três espaços vetoriais distintos — Query, Key e Value — o mecanismo de atenção permite que cada token atue simultaneamente como consulta, identificador e conteúdo recuperável. O alinhamento entre Q e K é quantificado por produto escalar, medindo similaridade entre representações no espaço vetorial. Essa decomposição estrutural sustenta a flexibilidade do Transformer em capturar relações contextuais complexas. Dado o alinhamento entre Query e Key no mecanismo de atenção, determine a alternativa correta que reflete o comportamento matemático adequado. Grupo de escolhas da pergunta Quando Q e V se alinham geometricamente, o produto escalar aumenta. Quando Q e K se alinham semanticamente, o produto escalar aumenta. Quando Q e K divergem geometricamente, o produto escalar aumenta proporcionalmente à distância angular. Quando Q e K se alinham geometricamente, a atenção multihead aumenta. Quando Q e K se alinham geometricamente, o produto escalar aumenta.
User badge image
Fabiano Lacerda

há 2 meses

Respostas

User badge image

Ed Verified user icon

há 2 meses

Vamos analisar passo a passo: No mecanismo de atenção do Transformer, o alinhamento entre Query (Q) e Key (K) é medido pelo produto escalar entre seus vetores. Quando Q e K estão mais alinhados geometricamente (ou seja, seus vetores apontam em direções semelhantes), o produto escalar é maior, indicando maior similaridade. Agora, analisando as alternativas: - "Quando Q e V se alinham geometricamente, o produto escalar aumenta." — incorreto, pois o alinhamento relevante é entre Q e K, não Q e V. - "Quando Q e K se alinham semanticamente, o produto escalar aumenta." — correto, pois alinhamento semântico se reflete em alinhamento geométrico e aumento do produto escalar. - "Quando Q e K divergem geometricamente, o produto escalar aumenta proporcionalmente à distância angular." — incorreto, pois divergência diminui o produto escalar. - "Quando Q e K se alinham geometricamente, a atenção multihead aumenta." — parcialmente correto, mas a atenção multihead é uma soma ponderada e não necessariamente "aumenta" diretamente com alinhamento. - "Quando Q e K se alinham geometricamente, o produto escalar aumenta." — correto e direto. Entre as opções corretas, a mais precisa e direta é: Quando Q e K se alinham geometricamente, o produto escalar aumenta. Portanto, a alternativa correta é a última.

Essa resposta te ajudou?

0
Dislike0

Ainda com dúvidas?

Envie uma pergunta e tenha sua dúvida de estudo respondida!

Mais conteúdos dessa disciplina