Daniel Gehlen - Tech Blog

Consistent Hashing Consistent hashing é um conceito fundamental em sistemas distribuídos para distribuir dados de forma uniforme entre múltiplos servidores enquanto minimiza a necessidade de reorganização dos dados quando os servidores são adicionados ou removidos da rede. Esse método é amplamente utilizado em caches distribuídos, bancos de dados distribuídos, sistemas de armazenamento de arquivos e balanceamento de carga, entre outros. Princípios Básicos do Consistent Hashing: Círculo de Hash : O espaço de hash é imaginado como um círculo (ou anel), com cada servidor e cada chave de dados mapeados para um ponto no círculo usando uma função de hash. Mapeamento de Chaves : Cada dado (como uma chave de cache ou uma chave de banco de dados) é mapeado para um ponto no círculo de hash usando a mesma função de hash. Isso determina qual servidor será responsável por armazenar ou processar essa chave. Redistribuição Balanceada : Quando um servidor é adicionado ou removido do sistema, apenas um...

Protocol Buffers (protobuf) O Protocol Buffers (protobuf) é uma alternativa eficiente ao JSON para serialização de dados, especialmente em ambientes de comunicação entre sistemas ou micro-serviços. Aqui estão alguns pontos-chave que explicam por que o protobuf é preferido nesses cenários: Estrutura de Dados Definida No protobuf, você define a estrutura dos dados usando um arquivo .proto , como mostrado no exemplo da mensagem Product e Image . Isso especifica explicitamente cada campo e seu tipo de dados. message Product { string product_id = 1; string name = 2; string description = 3; float price = 4; bool availability = 5; repeated Image images = 6; } message Image { string url = 1; string type = 2; } Compactação de Dados Ao contrário do JSON, que é um formato de texto legível por humanos e verbose, o protobuf gera um formato binário compacto e eficiente. No exemplo mencionado, o mesmo conjunto de dados ocuparia menos de 80 bytes em formato protobuf, comparado a quas...

RPC (Remote Procedure Call) RPC (Remote Procedure Call) é um protocolo que permite que um programa solicite um serviço de outro programa localizado em uma rede sem precisar entender detalhes da comunicação de rede. É uma abstração que facilita a comunicação entre diferentes processos ou sistemas distribuídos. Funcionamento do RPC: Cliente-Servidor : No RPC, existe uma divisão clara entre o cliente e o servidor. O cliente é quem faz a chamada para um procedimento remoto, e o servidor é quem implementa e executa o procedimento. Chamada de Procedimento : O cliente chama uma função ou procedimento que parece ser local, mas na verdade está sendo executado remotamente no servidor. Serialização e Deserialização : Os parâmetros da chamada de procedimento são serializados em um formato que pode ser transmitido pela rede. No lado do servidor, esses parâmetros são desserializados de volta em tipos de dados utilizáveis pelo código. Transparência : O RPC oferece uma abstração que torna a comunicaçã...

gRPC framework gRPC é um framework de comunicação remota de alto desempenho desenvolvido pelo Google. Ele utiliza o Protocol Buffers (protobuf) como linguagem de interface e permite a comunicação eficiente e confiável entre diferentes serviços distribuídos. Aqui estão os principais aspectos e características do gRPC: Funcionamento do gRPC: Protocol Buffers (protobuf) : O gRPC usa o protobuf para definir a estrutura das mensagens que são transmitidas entre cliente e servidor. Isso inclui a definição dos tipos de dados e serviços oferecidos. A definição é feita em arquivos .proto , onde são especificados os tipos de mensagem e os serviços RPC (Remote Procedure Call). Tipos de Serviço : O gRPC permite definir serviços e métodos RPC no arquivo .proto . Cada método RPC define a estrutura dos parâmetros de entrada e de saída. Os tipos de serviço são definidos de maneira semelhante às interfaces em linguagens de programação orientadas a objetos. Comunicação Cliente-Servidor : O cliente gRPC p...

Clusters de similaridade É uma técnica utilizada para agrupar dados ou objetos semelhantes com base em alguma medida de similaridade. Similaridade e Clustering Em contextos de machine learning e análise de dados, clusters de similaridade são agrupamentos de dados onde os elementos dentro de cada cluster são mais semelhantes entre si do que com elementos de outros clusters. Essa semelhança pode ser medida de várias maneiras, como distância euclidiana, coeficiente de correlação, similaridade de cosseno, entre outras métricas. Exemplo de Uso Vamos supor que você tenha um conjunto de documentos de texto e deseje agrupá-los com base na similaridade de seus conteúdos. Aqui está um exemplo conceitual simplificado usando Python e algumas bibliotecas populares: Exemplo em Python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans from sklearn.metrics import pairwise_distances_argmin_min # Dados de exemplo (textos) documents = [ "Machine learn...

Similaridade de Cosseno A similaridade de cosseno é uma métrica que mede a similaridade entre dois vetores em um espaço de n-dimensões. No contexto do Twitter, esses vetores representam tweets ou embeddings de tweets e usuários. Fórmula da Similaridade de Cosseno Para dois vetores A e B, a similaridade de cosseno é definida como: similaridade = cos(θ) = (A ⋅ B) / (∥A∥ ∥B∥) = (Σ (i=1 to n) Ai Bi) / (sqrt(Σ (i=1 to n) Ai^2) * sqrt(Σ (i=1 to n) Bi^2)) Isso representa a fórmula do cosseno da similaridade em texto plano, onde Σ representa a soma, Ai e Bi são os componentes dos vetores A e B , e ∥A∥ e ∥B∥ representam as normas dos vetores A e B , respectivamente. A⋅B é o produto escalar dos vetores A e B. ∥A∥ e ∥B∥ são as normas (comprimentos) dos vetores A e B. θ (Theta) : É um símbolo frequentemente usado para representar um ângulo em matemática e trigonometria. No contexto da similaridade do cosseno, θ é o ângulo entre os dois vetores A e B. sqrt : É a abreviação de ...

PageRank e Álgebra Linear A aplicação de álgebra linear no motor de busca do Google, especificamente no algoritmo PageRank, é fundamental para determinar a relevância dos resultados de pesquisa. Vamos explorar como a álgebra linear é usada nesse contexto. O PageRank é um algoritmo desenvolvido pelos fundadores do Google, Larry Page e Sergey Brin, como parte do seu motor de busca. Ele visa avaliar a importância relativa das páginas da web com base em sua estrutura de links. Aqui estão os passos principais e como a álgebra linear entra em jogo: Modelagem como um Grafo : A web é modelada como um grafo direcionado, onde cada página é um nó e os links entre elas são as arestas. Isso cria uma estrutura de linkagem que conecta bilhões de páginas na internet. Matriz de Adjacência : A álgebra linear entra na representação dessa estrutura como uma matriz de adjacência. Para um conjunto de páginas N, a matriz de adjacência A é uma matriz N×N, onde Aij = 1 se há um link da página j para a página i...