Similaridade de Cosseno

A similaridade de cosseno é uma métrica que mede a similaridade entre dois vetores em um espaço de n-dimensões. No contexto do Twitter, esses vetores representam tweets ou embeddings de tweets e usuários.

Fórmula da Similaridade de Cosseno

Para dois vetores A e B, a similaridade de cosseno é definida como:

similaridade = cos(θ) = (A ⋅ B) / (∥A∥ ∥B∥) 

             = (Σ (i=1 to n) Ai Bi) / (sqrt(Σ (i=1 to n) Ai^2) * sqrt(Σ (i=1 to n) Bi^2))

Isso representa a fórmula do cosseno da similaridade em texto plano, onde Σ representa a soma, Ai e Bi são os componentes dos vetores A e B, e ∥A∥ e ∥B∥ representam as normas dos vetores A e B, respectivamente.

A⋅B é o produto escalar dos vetores A e B.
∥A∥ e ∥B∥ são as normas (comprimentos) dos vetores A e B.
θ (Theta): É um símbolo frequentemente usado para representar um ângulo em matemática e trigonometria. No contexto da similaridade do cosseno, θ é o ângulo entre os dois vetores A e B.
sqrt: É a abreviação de "square root", que significa raiz quadrada. Por exemplo, sqrt(x) representa a raiz quadrada de x.

Explicação:

cos(θ): O cosseno do ângulo θ entre os dois vetores A e B.
A ⋅ B: O produto escalar (ou produto ponto) dos vetores A e B.
∥A∥ e ∥B∥: As normas (ou magnitudes) dos vetores A e B.
Σ (i=1 to n) Ai Bi: A soma dos produtos dos componentes correspondentes dos vetores A e B.
sqrt(Σ (i=1 to n) Ai^2): A raiz quadrada da soma dos quadrados dos componentes do vetor A.
sqrt(Σ (i=1 to n) Bi^2): A raiz quadrada da soma dos quadrados dos componentes do vetor B.

Implementação de Similaridade de Cosseno em Python

Aqui está um exemplo de como calcular a similaridade de cosseno entre dois vetores em Python:

import numpy as np

def cosine_similarity(vec1, vec2):
    dot_product = np.dot(vec1, vec2)
    norm_vec1 = np.linalg.norm(vec1)
    norm_vec2 = np.linalg.norm(vec2)
    similarity = dot_product / (norm_vec1 * norm_vec2)
    return similarity

# Exemplo de vetores
tweet_embedding_1 = np.array([4, 1])
tweet_embedding_2 = np.array([1, 3])

similarity = cosine_similarity(tweet_embedding_1, tweet_embedding_2)
print(f"Similaridade de Cosseno: {similarity}")

SimClusters

Os SimClusters agrupam tweets e usuários em comunidades baseadas em seus interesses. Os embeddings dos tweets e usuários são mapeados para essas comunidades. A similaridade entre tweets é calculada com base nesses embeddings.

Exemplo de Embedding e Similaridade

Para calcular a similaridade entre embeddings de tweets, podemos usar a mesma função de similaridade de cosseno mostrada anteriormente. Aqui está um exemplo de como usar embeddings de tweets para calcular a similaridade:

# Exemplo de embeddings
tweet_embedding_1 = np.array([0.1, 0.3, 0.5])
tweet_embedding_2 = np.array([0.2, 0.1, 0.7])

similarity = cosine_similarity(tweet_embedding_1, tweet_embedding_2)
print(f"Similaridade de Cosseno entre os Tweets: {similarity}")

Similaridade de cossenos
A similaridade de cossenos é uma medida usada para determinar quão semelhantes são dois vetores direcionais no espaço vetorial. Ela é frequentemente empregada em campos como processamento de linguagem natural, recuperação de informação, mineração de texto e recomendação de conteúdo. Vamos explorar o conceito com um exemplo prático.
Conceito de Similaridade de Cossenos
A similaridade de cossenos mede o coseno do ângulo entre dois vetores no espaço vetorial. Quanto menor o ângulo entre eles, maior será a similaridade, indicando que os vetores apontam em direções semelhantes. A fórmula para calcular a similaridade de cossenos entre dois vetores A e B é:
Similaridade(A, B) = (A ⋅ B) / (∥A∥ × ∥B∥)
Onde:
Similaridade(A, B): A medida de similaridade entre os vetores A e B.
A ⋅ B: O produto escalar (ou produto ponto) dos vetores A e B.
∥A∥: A norma euclidiana do vetor A.
∥B∥: A norma euclidiana do vetor B.
Exemplo em Python
Vamos usar um exemplo simples para calcular a similaridade de cossenos entre dois vetores numéricos usando Python e a biblioteca NumPy.
import numpy as np
from numpy.linalg import norm

# Vetores de exemplo
A = np.array([1, 2, 3])
B = np.array([4, 5, 6])

# Cálculo do produto escalar entre A e B
dot_product = np.dot(A, B)

# Cálculo das normas euclidianas de A e B
norm_A = norm(A)
norm_B = norm(B)

# Cálculo da similaridade de cossenos
cosine_similarity = dot_product / (norm_A * norm_B)

print(f"Vetor A: {A}")
print(f"Vetor B: {B}")
print(f"Produto Escalar A.B: {dot_product}")
print(f"Norma de A: {norm_A}")
print(f"Norma de B: {norm_B}")
print(f"Similaridade de Cossenos: {cosine_similarity}")
Saída:
Vetor A: [1 2 3]
Vetor B: [4 5 6]
Produto Escalar A.B: 32
Norma de A: 3.7416573867739413
Norma de B: 8.774964387392123
Similaridade de Cossenos: 0.9746318461970762
Neste exemplo:
O vetor A possui os componentes [1, 2, 3].
O vetor B possui os componentes [4, 5, 6].
O produto escalar A⋅B é calculado como 1×4+2×5+3×6=32
As normas euclidianas de A e B são aproximadamente 3.74 e 8.77, respectivamente.
A similaridade de cossenos entre A e B é aproximadamente 0.975.
Aplicações
A similaridade de cossenos é amplamente utilizada em:
Recuperação de Informação: Para encontrar documentos semelhantes com base em seus vetores de termos.
Recomendação de Conteúdo: Para recomendar itens ou conteúdo com base nas preferências do usuário.
Agrupamento de Texto: Para agrupar documentos ou textos semelhantes.
Ela é eficaz quando a magnitude dos vetores não é tão importante quanto a direção ou o padrão de ocorrência dos elementos, como em análise de texto onde os vetores representam a frequência das palavras.

Daniel Gehlen - Tech Blog

Pesquisar neste blogue