Iniciar teste gratuito
Popular Novos Gêneros Autores
EnglishEnglish
EspañolSpanish
简体中文Chinese
繁體中文Chinese (Traditional)
FrançaisFrench
DeutschGerman
日本語Japanese
PortuguêsPortuguese
ItalianoItalian
한국어Korean
РусскийRussian
NederlandsDutch
العربيةArabic
PolskiPolish
हिन्दीHindi
Tiếng ViệtVietnamese
SvenskaSwedish
ΕλληνικάGreek
TürkçeTurkish
ไทยThai
ČeštinaCzech
RomânăRomanian
MagyarHungarian
УкраїнськаUkrainian
IndonesiaIndonesian
DanskDanish
SuomiFinnish
БългарскиBulgarian
עבריתHebrew
NorskNorwegian
HrvatskiCroatian
CatalàCatalan
SlovenčinaSlovak
LietuviųLithuanian
SlovenščinaSlovenian
СрпскиSerbian
EestiEstonian
LatviešuLatvian
فارسیPersian
മലയാളംMalayalam
தமிழ்Tamil
اردوUrdu
Pesquisando...
SoBrief
Projetando Aplicações com Uso Intensivo de Dados 2ª Edição

Projetando Aplicações com Uso Intensivo de Dados 2ª Edição

Título original: Designing Data-Intensive Applications
Crie sistemas de dados confiáveis entendendo as compensações por trás de cada escolha de banco de dados.
por Martin Kleppmann 2015 614 páginas
4.70
10.000+ avaliações
Ouvir
Imersivo
V2.3
Amazon Kindle Audible
Experimente o Acesso Completo por 3 Dias
Desbloqueie o áudio e muito mais!
Continuar

Principais Lições

Projete sistemas de dados com base em garantias, não em modismos de bancos de dados ou slogans sobre escala.

Três critérios para avaliar um sistema. Uma aplicação com uso intensivo de dados é avaliada pela confiabilidade, escalabilidade e facilidade de manutenção. Confiabilidade significa continuar fazendo a coisa certa quando há falhas de hardware, software ou pessoas. Escalabilidade não é um selo que um produto conquista ou deixa de conquistar: significa ter uma resposta viável para um tipo específico de carga crescente. Facilidade de manutenção significa tornar o sistema operável, compreensível e modificável pelas pessoas que o herdam.

Prepare-se para os problemas comuns. Um estudo de grandes serviços de internet constatou que erros de configuração cometidos por operadores causavam mais interrupções do que falhas de hardware, responsáveis por apenas 10 a 25 por cento dos casos. Por isso, bons sistemas facilitam detectar e reverter erros, com monitoramento, ambientes de teste seguros e implantações graduais. O objetivo não é impedir toda falha, mas evitar que ela se transforme em uma falha perceptível para os usuários.

Análise

O que há de valioso aqui é a mudança de foco: dos rótulos de produtos para garantias observáveis. A engenharia de confiabilidade na aviação e na medicina segue a mesma disciplina: definir riscos, identificar caminhos de falha e criar verificações para contê-los. Essa abordagem também revela uma verdade sociotécnica: a confiabilidade do software depende de interfaces e práticas operacionais, não apenas do código. A limitação é que os três objetivos podem entrar em conflito. Por exemplo, um sistema altamente automatizado pode reduzir o trabalho rotineiro e, ao mesmo tempo, dificultar a recuperação em situações atípicas. Por isso, as revisões de projeto devem perguntar não apenas se o sistema cumpre sua meta, mas também quem consegue diagnosticar e reparar o sistema quando suas premissas falham.

Escolha modelos de dados pelas relações e pelos padrões de acesso, não pelo modismo.

A estrutura acompanha as relações. Um currículo com empregos, formação acadêmica e dados de contato tem uma estrutura naturalmente semelhante à de um documento: em geral, essas informações são usadas em conjunto, então armazená-las juntas pode evitar consultas adicionais. Mas, quando os registros se relacionam com muitos outros registros — como pessoas, escolas, empresas e recomendações —, um modelo relacional ou de grafo lida com essas conexões de maneira mais natural. A história importa: bancos de dados de documentos recuperam alguns pontos fortes e fracos dos antigos bancos de dados hierárquicos, especialmente no que diz respeito a relações muitos-para-muitos e junções.

Esquemas são uma escolha, não uma ausência. Com o esquema na leitura (schema-on-read), o banco de dados aceita registros variados e a aplicação interpreta sua estrutura ao lê-los. O esquema relacional na escrita verifica a estrutura quando os dados são armazenados. A primeira opção facilita lidar com dados heterogêneos; a segunda torna explícitas as expectativas. Consultas declarativas, como SQL, também permitem que um otimizador escolha índices e a ordem das junções, ao contrário de percursos codificados manualmente.

Análise

A questão prática não é se documentos ou tabelas são mais modernos, mas onde a complexidade deve ficar. Um banco de dados de documentos pode simplificar as gravações, mas transferir as junções, o trabalho de manter a consistência e a lógica de migração para o código da aplicação. Isso se assemelha a um princípio mais amplo do projeto de linguagens de programação: as abstrações não eliminam a complexidade, apenas a deslocam. Um exercício útil de projeto é mapear as relações que os recursos provavelmente introduzirão, e não apenas a primeira tela que a aplicação precisa exibir. Nem a flexibilidade de esquema nem a validação estrita são universalmente mais seguras; a escolha certa depende de a variação dos dados ser genuína ou simplesmente não gerenciada.

Escolha mecanismos de armazenamento de acordo com o trabalho que realizam com mais frequência.

Índices trocam gravações por leituras. Um log somente de acréscimo torna as gravações simples e sequenciais, mas encontrar uma chave exige um índice. Um índice de hash localiza chaves rapidamente quando elas cabem na memória, enquanto tabelas de strings ordenadas e árvores de mesclagem estruturadas em log (LSM-tree) organizam os dados em arquivos ordenados que são mesclados em segundo plano. Muitas vezes, esses mecanismos lidam bem com cargas de trabalho que exigem muitas gravações. Já as árvores B atualizam páginas de tamanho fixo no próprio lugar, o que as torna uma opção consolidada para muitos bancos de dados transacionais e consultas por intervalo.

A análise faz outra pergunta. O processamento de transações on-line (OLTP) costuma buscar alguns registros por chave. A análise frequentemente percorre milhões de linhas, mas lê apenas algumas colunas. O armazenamento orientado a colunas evita carregar campos que não serão usados e comprime valores repetidos. Nenhum projeto vence em todos os testes de desempenho: a combinação real de leituras e gravações, o tamanho dos dados e a meta de latência determinam qual mecanismo é mais adequado.

Análise

Isso nos lembra que o desempenho vem de adequar o leiaute dos dados aos padrões de acesso, não de escolher a tecnologia de armazenamento mais recente. A mesma ideia aparece na arquitetura de computadores: os caches são eficazes quando os acessos apresentam localidade, e as operações vetorizadas são eficazes quando se pode realizar trabalho semelhante em lotes. O livro também oferece um alerta útil contra tratar resultados de benchmarks como universais. Um mecanismo otimizado para gravações pode parecer excelente até que a compactação passe a competir com o tráfego de produção. Os testes de desempenho devem refletir distribuições de dados realistas e incluir a latência de cauda, não apenas a vazão média.

Meça a carga de trabalho antes de escalar e projete para as solicitações mais lentas.

O gargalo do Twitter era a distribuição das publicações. Segundo dados de 2012, o Twitter processava, em média, cerca de 4.600 gravações de tuítes por segundo, mas aproximadamente 300.000 leituras de linhas do tempo por segundo. O pré-cálculo das linhas do tempo barateava as leituras, mas cada tuíte precisava então ser copiado para cerca de 75 seguidores, em média, ou seja, aproximadamente 345.000 gravações em linhas do tempo por segundo. Uma celebridade com dezenas de milhões de seguidores tornava essa estratégia dispendiosa; por isso, o Twitter adotou uma abordagem híbrida: pré-calculava as linhas do tempo de usuários comuns e buscava os tuítes de celebridades quando uma linha do tempo era lida.

As médias ocultam o sofrimento dos usuários. Meça a distribuição dos tempos de resposta, incluindo p95 e p99, porque uma única chamada lenta a um serviço de retaguarda pode atrasar uma solicitação inteira que dependa de vários serviços. O enfileiramento costuma causar os maiores atrasos, sobretudo quando o sistema se aproxima da capacidade máxima. A escalabilidade começa pela identificação dos parâmetros de carga relevantes e, em seguida, pela avaliação de como esses parâmetros afetam a vazão e o tempo de resposta.

Análise

O exemplo do Twitter transforma a arquitetura em aritmética. A ideia importante é que transferir trabalho das leituras para as gravações não sai de graça: muda onde o sistema paga o custo, e a distribuição desigual da carga determina se a mudança funciona. A teoria das filas reforça esse ponto: à medida que a utilização se aproxima da capacidade, o tempo de espera pode aumentar acentuadamente, mesmo antes de a demanda média parecer extraordinária. Os percentis tornam isso visível, embora devam ser interpretados com cuidado entre diferentes populações e intervalos de tempo. Uma meta de p99 só faz sentido quando o método de medição e o limite da solicitação percebida pelo usuário estão claramente definidos.

Trate as réplicas como potencialmente desatualizadas e as partições como decisões sobre a carga de trabalho.

A replicação copia; o particionamento divide. As réplicas podem aumentar a disponibilidade, aproximar os dados dos usuários e atender a mais leituras. Com replicação assíncrona, porém, uma réplica secundária pode ficar atrasada em relação à principal. Os usuários podem ver uma atualização própria desaparecer, observar os dados retrocederem no tempo ou receber uma resposta antes da pergunta que a originou. Leituras próprias após a gravação, leituras monotônicas e leituras com prefixo consistente são garantias distintas, não sinônimos de consistência eventual.

As chaves de partição moldam a carga. O particionamento por intervalo permite varreduras eficientes, mas pode sobrecarregar o intervalo de tempo mais recente. O particionamento por hash distribui as chaves comuns de maneira mais uniforme, mas dispersa chaves relacionadas e torna caras as consultas por intervalo. Uma conta de celebridade ainda pode se tornar uma chave muito acessada em qualquer um dos esquemas. Os índices secundários envolvem outra escolha: índices locais simplificam as gravações, mas podem exigir que as consultas contatem todas as partições; índices globais direcionam melhor as leituras, mas complicam as atualizações.

Análise

Uma réplica não é simplesmente uma cópia sobressalente. É uma cópia cuja atualização ocorre em determinado momento em relação às demais, e a aplicação precisa decidir quais atrasos os usuários podem tolerar. Isso se assemelha à distinção entre consistência e atualidade em caches distribuídos: um resultado pode ser válido e, ainda assim, antigo. O particionamento também codifica premissas sobre consultas futuras e distribuição dos dados. A prática útil é testar explicitamente a assimetria da carga, pois as médias ocultam chaves excepcionais. Garantias mais fortes podem simplificar o comportamento da aplicação, mas exigi-las em todas as leituras pode desperdiçar os benefícios geográficos e de vazão que a replicação deveria proporcionar.

Use transações para proteger invariantes, não como uma promessa vaga de segurança.

É preciso interpretar ACID. A atomicidade faz com que um grupo de gravações seja concluído por inteiro ou totalmente revertido. O isolamento controla a interferência entre transações simultâneas. A durabilidade protege os dados confirmados contra falhas especificadas. A consistência em ACID diz respeito a invariantes definidos pela aplicação, como o equilíbrio de contas; o banco de dados não consegue inferir todas as regras que tornam válida uma aplicação.

Um isolamento fraco esconde armadilhas. O isolamento por instantâneo permite que uma transação leia uma visão estável, muitas vezes usando várias versões de cada registro. Mas dois médicos podem ver, cada um, que dois colegas estão de plantão, decidir independentemente sair do plantão e confirmar suas alterações. O resultado viola a regra de que ao menos um médico deve continuar disponível. Essa anomalia de escrita enviesada altera registros distintos; por isso, impedir atualizações perdidas não basta. O isolamento serializável impede tais anomalias, embora suas implementações possam acrescentar coordenação ou abortos. O protocolo de confirmação em duas fases distribuído pode coordenar confirmações entre máquinas, mas uma falha do coordenador pode deixar os participantes esperando.

Análise

A correção mais útil do capítulo é mostrar que o nome de um nível de isolamento não constitui uma especificação suficiente. A pergunta concreta é quais intercalações o banco de dados impede. Isso se relaciona estreitamente com os métodos formais, nos quais a correção é expressa por invariantes e transições de estado permitidas, em vez de rótulos tranquilizadores. A escala de plantão dos médicos torna compreensível um erro sutil de concorrência: cada transação parece razoável isoladamente, mas o resultado conjunto não é seguro. As equipes devem documentar os invariantes de negócio e testar o comportamento do banco de dados em relação a eles. As transações reduzem a complexidade do tratamento de erros, mas não corrigem uma lógica de aplicação incorreta.

Em um sistema distribuído, um tempo esgotado indica incerteza, não falha.

O silêncio pode ter várias causas. Uma solicitação pode se perder, atrasar em uma fila da rede, ser processada por um servidor pausado ou ser concluída com a resposta perdida. Um tempo esgotado não permite distinguir esses casos. Os relógios acrescentam outra fonte de incerteza: as máquinas se desviam, e um relógio de parede pode saltar. Um processo pausado durante a coleta de lixo pode retomar a execução acreditando que uma concessão expirada ainda é válida.

Tomem decisões em conjunto. Os protocolos de consenso usam votos sobrepostos para concordar em líderes e decisões ordenadas, apesar de falhas e problemas de rede. A linearizabilidade (linearizability) faz com que leituras e gravações pareçam ocorrer em uma única cópia atual, mas pode exigir espera pela coordenação. O CAP costuma ser apresentado incorretamente como a escolha de duas entre três propriedades. Seu ponto útil é mais específico: durante uma partição da rede, um sistema que exige resultados linearizáveis pode ter de rejeitar ou atrasar algumas solicitações. Tokens de fencing ajudam a impedir que um detentor de uma concessão desatualizada grave dados depois que um líder mais recente assume o controle.

Análise

A mudança conceitual fundamental é separar aquilo em que um nó acredita daquilo com que o conjunto de nós concordou. Trata-se de uma forma de humildade epistêmica incorporada ao projeto de protocolos: a ausência de evidências não prova que houve uma falha. O consenso oferece um método disciplinado para tomar certas decisões, mas não é um ingrediente universal para toda operação com dados. A distinção entre segurança e progresso é especialmente importante: um sistema pode parar de aceitar trabalho para evitar uma decisão corrupta. Isso costuma ser preferível a uma resposta rápida que viole silenciosamente um invariante.

Projete formatos de dados que permitam a coexistência de código antigo e novo.

Os dados armazenados sobrevivem às implantações. Durante atualizações graduais, versões novas e antigas da aplicação podem executar ao mesmo tempo, e registros gravados anos atrás ainda podem ser lidos hoje. A compatibilidade retroativa permite que o código novo leia dados antigos; a compatibilidade futura permite que o código antigo tolere dados gravados por código mais recente. JSON é conveniente, mas especifica mal alguns tipos, inclusive números inteiros grandes. A serialização específica de uma linguagem pode vincular os dados a uma única linguagem de programação e criar riscos de segurança ao decodificar entradas não confiáveis.

Formatos binários baseados em esquemas gerenciam mudanças de forma explícita. Protocol Buffers e Thrift identificam campos por tags numéricas estáveis, de modo que os nomes podem mudar, mas as tags não devem ser reutilizadas. Avro associa os campos por nome e resolve diferenças entre os esquemas de quem grava e de quem lê. Em todos os casos, a adição de um campo precisa ser compatível com dados e código que ainda não o conhecem. A compatibilidade possibilita implantações graduais sem exigir uma única atualização arriscada de todo o sistema.

Análise

A compatibilidade é uma interface temporal: conecta não apenas serviços diferentes, mas também momentos diferentes da vida de um sistema. Por isso, o projeto de esquemas se assemelha ao projeto de APIs públicas, mesmo quando o formato é usado apenas internamente. A prática mais sólida é testar combinações de leitores antigos e novos antes da implantação, em vez de presumir que a reputação de um formato garanta uma evolução segura. Há uma compensação real: esquemas estritos melhoram a validação e a documentação, enquanto formatos flexíveis podem absorver entradas heterogêneas. O objetivo da engenharia é tornar as mudanças explícitas, não eliminar as mudanças nos dados.

Use logs duráveis para derivar, reproduzir e sincronizar visões especializadas.

Uma fonte pode alimentar muitas ferramentas. Um sistema de registro mantém os dados oficiais; índices, caches, recomendações e análises são visões derivadas, otimizadas para usos diferentes. Atualizá-las de forma independente cria disputas entre gravações duplas: o banco de dados pode receber primeiro a alteração A e depois a B, enquanto um índice de pesquisa recebe primeiro B e depois A. A captura de alterações de dados (change data capture) evita isso ao transformar as gravações no banco de dados em um fluxo ordenado que os sistemas subsequentes podem consumir.

Os logs tornam a recuperação prática. Um agente de mensagens baseado em log retém mensagens e permite que os consumidores acompanhem sua posição, de modo que possam reiniciar ou reproduzir o histórico. O armazenamento de eventos (event sourcing) leva a ideia adiante, registrando ações significativas da aplicação como eventos imutáveis e reconstruindo o estado atual a partir deles. O processamento determinístico e as atualizações idempotentes ajudam a impedir que novas tentativas apliquem as alterações duas vezes. Trabalhos em lote podem reconstruir visões grandes; processadores de fluxo as mantêm atualizadas entre reconstruções.

Análise

O log é poderoso porque separa o evento oficial das muitas representações criadas por conveniência. Isso se assemelha a livros contábeis e sistemas de controle de versões: as correções são acrescentadas como novos fatos, em vez de apagar o histórico que explica o estado atual. Essa abordagem pode melhorar a recuperação e a autonomia das equipes, mas a possibilidade de reprodução não é automática. Código antigo, efeitos colaterais externos, mudanças de esquema e requisitos de retenção de dados complicam qualquer reprodução que pareça simples. Um histórico durável também traz obrigações de privacidade, pois reter todos os eventos pode dificultar a exclusão.

Proteja a integridade dos dados de ponta a ponta e trate os dados pessoais como poder.

Atualidade e correção são coisas diferentes. Uma visão derivada pode ficar desatualizada por pouco tempo e depois se atualizar; dados corrompidos ou ausentes em geral não se corrigem sozinhos. IDs de operação de ponta a ponta podem suprimir solicitações duplicadas quando um cliente tenta novamente após perder uma resposta. Auditorias, somas de verificação e derivações que podem ser reproduzidas revelam corrupções que garantias de nível mais baixo não detectam.

As escolhas de engenharia afetam as pessoas. Sistemas preditivos podem reproduzir discriminações históricas, enquanto ciclos de retroalimentação podem aprofundar as desvantagens: uma pontuação baixa pode restringir o acesso ao trabalho, piorando as circunstâncias que a produziram. O rastreamento de comportamento também pode transferir o controle sobre informações privadas das pessoas para as organizações. O livro argumenta que o consentimento é frágil quando as pessoas não conseguem entender o uso dos dados ou não têm uma possibilidade realista de recusá-lo. A coleta de dados deve se limitar a finalidades justificadas, e os sistemas devem permitir responsabilização, correção e exclusão.

Análise

A relação entre integridade técnica e direitos humanos não é um mero adorno. Os modelos de dados determinam o que pode ser inferido, retido, corrigido e esquecido. Auditorias favorecem a confiança operacional, enquanto a responsabilização e o direito de contestação favorecem a confiança social. Pesquisas sobre justiça algorítmica também mostram que remover um atributo protegido explícito não elimina seus substitutos, como a localização ou os padrões de compra. Ao mesmo tempo, a análise de dados pode viabilizar serviços valiosos e benefícios públicos. A questão difícil não é se o uso de dados é bom ou ruim em abstrato, mas quem ganha controle, quem arca com os erros e que formas de reparação estão disponíveis.

Análise

Projetando Aplicações com Uso Intensivo de Dados 2ª Edição é mais bem compreendido como um guia de engenharia sobre os custos ocultos por trás de operações aparentemente simples: armazenar um valor, ler uma réplica, adicionar um índice ou tentar novamente uma solicitação. Sua principal contribuição estrutural é substituir categorias de produtos por perguntas duradouras sobre carga de trabalho, falhas, ordenação e mudança. O livro parte dos fundamentos de uma única máquina, avança para a coordenação distribuída e então aborda dados derivados e fluxos, defendendo que a arquitetura de uma aplicação moderna costuma resultar da interação entre sistemas especializados, e não de um único banco de dados.

Sua ideia unificadora mais profunda é que o estado é, ao mesmo tempo, uma visão atual útil e o resultado acumulado de eventos. Uma vez clara essa distinção, logs de replicação, captura de alterações de dados, armazenamento de eventos, recálculo em lote e processamento de fluxos tornam-se técnicas relacionadas para movimentar informações preservando sua procedência. Isso é mais do que uma estratégia de desempenho. É uma maneira de se recuperar de erros, evoluir esquemas e tornar os fluxos de dados compreensíveis para quem vier a desenvolver o sistema.

O argumento é mais forte quando insiste em garantias precisas. Consistência eventual não é um contrato completo para uma aplicação; os rótulos ACID não revelam quais anomalias persistem; e tempos esgotados não provam falhas remotas. Assim, o livro ensina os leitores a perguntar o que um sistema promete diante de falhas específicas, em vez de aceitar slogans como NoSQL, escala da web ou exatamente uma vez.

Suas propostas também exigem prudência operacional. Arquiteturas orientadas a eventos podem multiplicar a infraestrutura, a reprodução pode repetir decisões prejudiciais e visões assíncronas podem ser inaceitáveis em ações de alto risco. O projeto mais adequado pode ser um banco de dados relacional simples em uma única máquina, não um pipeline distribuído elaborado. Da mesma forma, mecanismos de integridade não podem decidir quais objetivos sociais um sistema preditivo deve otimizar. O rigor técnico precisa incluir as consequências da coleta de dados e os recursos disponíveis para as pessoas afetadas. A lição duradoura é a composição disciplinada: usar o menor conjunto de ferramentas que atenda a requisitos explícitos, tornar as premissas verificáveis e manter compreensível o fluxo de dados.

Resumo em 30 Segundos
Sistemas confiáveis são projetados em torno de garantias explícitas relacionadas a falhas, crescimento e mudanças. Combine modelos de dados e mecanismos de armazenamento com os relacionamentos e padrões de leitura e gravação; depois, meça a carga e a latência de cauda antes de escalar. As réplicas podem estar desatualizadas, o particionamento remodela as cargas de trabalho e as garantias das transações variam. Em sistemas distribuídos, os tempos limite deixam os resultados incertos. Logs duráveis dão suporte à reprodução e a visualizações derivadas, enquanto esquemas compatíveis permitem atualizações graduais. Proteja a integridade, limite os dados pessoais e possibilite correções e exclusões.
Contém spoilers

Última atualização:

Reportar Problema

Resumo das Resenhas

4.70 de 5
Média de 10.000+ avaliações do Goodreads e Amazon.

Projetando Aplicações com Uso Intensivo de Dados 2ª Edição é amplamente elogiado como leitura essencial para engenheiros e desenvolvedores de software. Os leitores apreciam a cobertura abrangente de armazenamento de dados, sistemas distribuídos e conceitos modernos de bancos de dados. O livro é celebrado por suas explicações claras, exemplos práticos e diagramas esclarecedores. Muitos o consideram uma pequena enciclopédia de engenharia de dados, com conhecimentos valiosos tanto para iniciantes quanto para profissionais experientes. Embora algumas pessoas considerem certas seções desafiadoras ou acadêmicas demais, a maioria concorda que o livro oferece uma base sólida para compreender sistemas e arquiteturas de dados complexos.

Sua avaliação:
4.73
695 avaliações
Quer ler o livro completo?

Glossário

processamento de transações on-line (OLTP)

Operações rápidas no nível dos registros

O processamento de transações on-line descreve cargas de trabalho interativas que leem ou modificam um pequeno número de registros, geralmente localizados por chave. Aplicações web, transações bancárias e atualizações de inventário são exemplos típicos. Sistemas OLTP priorizam tempos de resposta baixos e o processamento de muitas solicitações simultâneas, ao contrário dos sistemas analíticos, que percorrem grandes conjuntos de dados para calcular agregados.

processamento analítico on-line (OLAP)

Análise de dados em grande escala

O processamento analítico on-line descreve cargas de trabalho que percorrem grandes quantidades de registros para calcular resumos, comparações e agregados. Analistas podem usar OLAP para comparar vendas por loja, produto ou período. Essas cargas de trabalho costumam se beneficiar do armazenamento orientado a colunas, pois uma consulta pode ler apenas as poucas colunas de que precisa.

árvore de mesclagem estruturada em log (LSM-tree)

Estrutura de gravação ordenada e mesclada

Uma árvore de mesclagem estruturada em log armazena gravações recentes na memória, descarrega-as em arquivos ordenados e mescla esses arquivos em segundo plano. Esse projeto favorece gravações sequenciais e pode oferecer alta taxa de gravação e varreduras por intervalo. As leituras talvez precisem verificar vários arquivos, e a compactação precisa acompanhar o ritmo das gravações recebidas.

controle de concorrência multiversão (MVCC)

Múltiplas versões para leitores

O controle de concorrência multiversão mantém várias versões dos dados para que as transações possam ler uma captura consistente enquanto outras transações continuam gravando. Uma transação enxerga as versões visíveis no ponto escolhido no tempo, enquanto as versões obsoletas são recuperadas posteriormente. O MVCC oferece suporte ao isolamento por captura instantânea e, em geral, permite que leitores e gravadores prossigam sem bloquear uns aos outros.

linearizabilidade (linearizability)

As leituras veem a gravação mais recente

A linearizabilidade faz com que um item de dados distribuído se comporte como se fosse uma única cópia atualizada atomicamente. Quando uma gravação é concluída, as leituras posteriores precisam observá-la. Essa forte garantia de atualidade simplifica o raciocínio sobre aplicações, mas mantê-la pode exigir coordenação e reduzir a disponibilidade ou aumentar a latência durante falhas de rede.

serializabilidade (serializability)

As transações são executadas uma de cada vez

A serializabilidade garante que as transações simultâneas tenham o mesmo efeito geral que alguma execução em que cada transação foi concluída antes do início da seguinte. Ela impede condições de corrida como a anomalia de escrita enviesada, na qual atualizações separadas violam conjuntamente uma invariante. A serializabilidade é diferente da linearizabilidade, que diz respeito à atualidade de leituras e gravações individuais.

captura de alterações de dados (change data capture)

Publicar alterações no banco de dados

A captura de alterações de dados observa as gravações feitas em um banco de dados e as publica como eventos para consumo por outros sistemas. Um índice de pesquisa, um cache ou um repositório analítico pode aplicar as alterações em ordem e permanecer derivado do banco de dados autoritativo. A CDC pode ler o log de replicação de um banco de dados ou usar gatilhos, e os consumidores precisam levar em conta atrasos e recuperação.

armazenamento de eventos (event sourcing)

Registrar ações como eventos

O armazenamento de eventos guarda eventos no nível da aplicação em um histórico somente de acréscimo e, em seguida, deriva o estado atual da aplicação processando esse histórico. Os eventos representam ações significativas, como uma reserva feita ou cancelada, e não apenas as alterações resultantes nas linhas. A reprodução pode reconstruir o estado e ajudar na depuração, mas a preservação e a exclusão de dados históricos exigem políticas deliberadas.

esquema na leitura (schema-on-read)

Interpretar a estrutura durante a leitura

O esquema na leitura permite que os registros armazenados tenham estruturas variadas, deixando que a aplicação interprete os campos ao lê-los. É útil quando os dados são heterogêneos ou controlados por produtores externos. Isso não significa que não exista um esquema: o código de leitura ainda pressupõe uma estrutura, mas o banco de dados não a impõe no momento da gravação.

idempotência (idempotence)

As tentativas repetidas não repetem os efeitos

Uma operação é idempotente quando executá-la várias vezes produz o mesmo efeito que executá-la uma única vez. Definir um registro com um valor fixo é idempotente; incrementar um contador não é. A idempotência torna as tentativas repetidas mais seguras após falhas ou confirmações perdidas, muitas vezes fazendo com que um identificador exclusivo da operação ou um deslocamento da mensagem seja propagado pelo sistema.

segregação de responsabilidades entre comandos e consultas (CQRS)

Separar os modelos de gravação e leitura

A segregação de responsabilidades entre comandos e consultas separa o modelo usado para aceitar alterações dos modelos otimizados para leitura. Um fluxo de gravação pode alimentar diferentes visualizações, como um índice de pesquisa, um cache ou um resumo voltado ao usuário. Isso dá suporte a diferentes padrões de acesso e à evolução gradual, mas as visualizações derivadas podem ficar temporariamente desatualizadas e exigir mecanismos confiáveis de atualização e recuperação.

Perguntas Frequentes

Sobre o que trata Projetando Aplicações com Uso Intensivo de Dados 2ª Edição?

  • Foco em sistemas de dados: O livro explora os princípios e as práticas por trás da criação de aplicações com uso intensivo de dados que sejam confiáveis, escaláveis e fáceis de manter. Aborda diversas arquiteturas e modelos de dados, além das compensações envolvidas no projeto desses sistemas.
  • Princípios duradouros: Apesar das rápidas mudanças tecnológicas, o livro enfatiza princípios fundamentais que permanecem constantes em diferentes sistemas, capacitando os leitores a tomar decisões informadas sobre arquitetura de dados.
  • Exemplos do mundo real: Martin Kleppmann usa exemplos de sistemas de dados bem-sucedidos para ilustrar conceitos importantes, tornando ideias complexas mais acessíveis por meio de aplicações práticas.

Por que devo ler Projetando Aplicações com Uso Intensivo de Dados 2ª Edição?

  • Visão geral abrangente: O livro apresenta um exame aprofundado dos sistemas de dados e é adequado para engenheiros de software, arquitetos e gerentes técnicos. Abrange uma ampla variedade de tópicos, de mecanismos de armazenamento a sistemas distribuídos.
  • Tomada de decisões aprimorada: Ao entender as compensações entre várias tecnologias, os leitores podem tomar melhores decisões arquiteturais para suas aplicações, algo fundamental para atender aos requisitos de desempenho e confiabilidade.
  • Curiosidade e compreensão: Para quem tem curiosidade sobre como os sistemas de dados funcionam, o livro oferece uma visão aprofundada do funcionamento interno de bancos de dados e sistemas de processamento de dados, incentivando o pensamento crítico sobre o projeto de aplicações.

Quais são os principais aprendizados de Projetando Aplicações com Uso Intensivo de Dados 2ª Edição?

  • Confiabilidade, escalabilidade e facilidade de manutenção: O livro enfatiza esses três princípios como essenciais para criar aplicações robustas com uso intensivo de dados.
  • Compreensão das compensações: Destaca a importância de entender as compensações no projeto de sistemas, como o teorema CAP, segundo o qual “só é possível escolher duas entre consistência, disponibilidade e tolerância a partições”.
  • Modelos de dados e replicação: A escolha do modelo de dados afeta significativamente o desempenho da aplicação, e o livro aborda várias estratégias de replicação e suas implicações para a consistência.

Quais são as melhores citações de Projetando Aplicações com Uso Intensivo de Dados 2ª Edição e o que significam?

  • “A tecnologia é uma força poderosa em nossa sociedade.”: Essa citação ressalta a natureza ambivalente da tecnologia e serve como lembrete das responsabilidades éticas envolvidas na criação de sistemas de dados.
  • “A verdade está no log. O banco de dados é um cache de um subconjunto do log.”: A frase sintetiza a ideia do armazenamento de eventos, em que o log de eventos é a fonte autoritativa e o banco de dados oferece uma visualização otimizada para leitura.
  • “Se você entender esses princípios, estará em condições de ver onde cada ferramenta se encaixa.”: A frase destaca a importância de compreender princípios fundamentais para usar diferentes tecnologias de forma eficaz.

Como Projetando Aplicações com Uso Intensivo de Dados 2ª Edição define confiabilidade, escalabilidade e facilidade de manutenção?

  • Confiabilidade: Refere-se à capacidade do sistema de funcionar corretamente mesmo diante de falhas e envolve estratégias de projeto para tolerar falhas de hardware, erros de software e erros humanos.
  • Escalabilidade: Diz respeito à capacidade de um sistema lidar com o aumento da carga e exige estratégias como particionamento e replicação para acompanhar o crescimento do volume de dados, do tráfego ou da complexidade.
  • Facilidade de manutenção: Concentra-se na facilidade com que um sistema pode ser modificado e atualizado ao longo do tempo e enfatiza simplicidade, operabilidade e capacidade de evolução para que as equipes trabalhem de forma produtiva.

O que é o teorema CAP em Projetando Aplicações com Uso Intensivo de Dados 2ª Edição?

  • Consistência, disponibilidade e tolerância a partições: O teorema CAP afirma que, em um armazenamento de dados distribuído, é impossível garantir simultaneamente as três propriedades.
  • Compensações no projeto: Destaca as compensações que os projetistas de sistemas precisam fazer, como sacrificar a disponibilidade durante falhas de rede para priorizar a consistência e a tolerância a partições.
  • Contexto histórico: Apresentado por Eric Brewer em 2000, o teorema influenciou significativamente o projeto de sistemas distribuídos.

Como Projetando Aplicações com Uso Intensivo de Dados 2ª Edição explica os modelos de dados e as linguagens de consulta?

  • Modelos de dados: Compara vários modelos de dados, incluindo os relacionais, os documentais e os de grafos, cada qual com pontos fortes e fracos; essa comparação é fundamental para escolher o modelo certo conforme as necessidades da aplicação.
  • Linguagens de consulta: Aborda diferentes linguagens de consulta, como SQL para bancos de dados relacionais e as usadas em sistemas NoSQL, essenciais para interagir com os dados de forma eficaz.
  • Casos de uso: Enfatiza que diferentes aplicações têm requisitos diferentes, orientando decisões informadas sobre arquitetura de dados.

Quais são os diferentes métodos de replicação em Projetando Aplicações com Uso Intensivo de Dados 2ª Edição?

  • Replicação com líder único: Um nó atua como líder, processando todas as gravações e replicando as alterações para os seguidores. É um método comum, mas pode criar gargalos.
  • Replicação com vários líderes: Permite que vários nós aceitem gravações, aumentando a flexibilidade e a disponibilidade, mas introduz complexidades na resolução de conflitos.
  • Replicação sem líder: Qualquer nó pode aceitar gravações, aumentando a disponibilidade, mas exigindo um gerenciamento cuidadoso da consistência.

Como Projetando Aplicações com Uso Intensivo de Dados 2ª Edição aborda a evolução de esquemas?

  • Alterações de esquema: Aborda a inevitabilidade de mudanças nas aplicações que exigem alterações correspondentes nos esquemas de dados e enfatiza a compatibilidade retroativa e a compatibilidade futura.
  • Formatos de codificação: Explora vários formatos de codificação, como JSON, XML e formatos binários, destacando as compensações associadas a cada um na evolução de esquemas.
  • Estratégias práticas: Oferece recomendações para lidar com mudanças de esquema em aplicações do mundo real, garantindo que versões antigas e novas dos dados possam coexistir sem problemas.

Qual é a importância do armazenamento de eventos em Projetando Aplicações com Uso Intensivo de Dados 2ª Edição?

  • Log imutável de eventos: Consiste em armazenar todas as alterações em um log imutável de eventos, permitindo reconstruir facilmente o estado atual ao reproduzir o log.
  • Separação de responsabilidades: Permite criar várias visualizações dos dados a partir do mesmo log e facilita a evolução da aplicação ao longo do tempo.
  • Auditabilidade e recuperação: Oferece um registro claro das alterações, simplificando a recuperação de erros ao reconstruir o estado a partir do log de eventos.

Como Projetando Aplicações com Uso Intensivo de Dados 2ª Edição propõe lidar com partições de rede?

  • Falhas de rede: Explica que partições de rede podem causar inconsistências entre réplicas, complicando o projeto de sistemas distribuídos.
  • Como lidar com partições: Aborda estratégias como o teorema CAP, segundo o qual um sistema só pode garantir duas de três propriedades: consistência, disponibilidade e tolerância a partições.
  • Implicações práticas: Enfatiza o projeto de sistemas que tolerem falhas de rede e continuem operando com eficácia.

Quais são as considerações éticas em Projetando Aplicações com Uso Intensivo de Dados 2ª Edição?

  • Responsabilidade dos engenheiros: Ressalta as implicações éticas da coleta e do uso de dados, incluindo a atenção a possíveis vieses e à discriminação em algoritmos.
  • Impacto da análise preditiva: Aborda os riscos associados à análise preditiva e incentiva uma avaliação cuidadosa das decisões baseadas em dados e de suas consequências.
  • Questões de vigilância: Levanta preocupações sobre as capacidades de vigilância e defende a privacidade dos usuários, a transparência e o controle sobre os dados pessoais.

Sobre o Autor

Martin Kleppmann é uma autoridade renomada em sistemas distribuídos e engenharia de dados. É mais conhecido por seu trabalho no Apache Samza e por suas contribuições à infraestrutura de dados do LinkedIn. A experiência de Kleppmann em bancos de dados, intermediários de mensagens e sistemas de processamento de dados fica evidente ao longo do livro. Seu estilo de escrita é elogiado pela clareza e pela capacidade de explicar conceitos complexos de forma acessível. A experiência de Kleppmann tanto na academia quanto na indústria permite que ele conecte conceitos teóricos a aplicações práticas. Seu trabalho influenciou significativamente a área de aplicações com uso intensivo de dados e de sistemas distribuídos.

Baixar PDF

Para guardar este resumo de Projetando Aplicações com Uso Intensivo de Dados 2ª Edição para depois, baixe o PDF grátis. Você pode imprimi-lo ou ler offline quando quiser.
Download PDF

Baixar EPUB

Para ler este resumo de Projetando Aplicações com Uso Intensivo de Dados 2ª Edição no seu dispositivo ou aplicativo de leitura, baixe o EPUB grátis. O formato digital .epub é ideal para ler e-books em celulares, tablets e leitores digitais.
Download EPUB
Quer ler o livro completo?
Seguir
Ouvir
Início
Swipe
Biblio
App
Experimente o Acesso Completo por 3 Dias
Ouça, salve e muito mais
Comparar Recursos Gratuito Pro
📖 Ler Resumos
Leia resumos ilimitados. Usuários gratuitos recebem 3 por mês
🎧 Ouvir Resumos
Ouça resumos ilimitados em 40 idiomas
—
❤️ Favoritos Ilimitados
Usuários gratuitos são limitados a 4
—
📜 Histórico Ilimitado
Usuários gratuitos são limitados a 4
—
📥 Downloads Ilimitados
Usuários gratuitos são limitados a 1
—
Cronograma Sem Risco
Hoje: Acesso Imediato
Ouça resumos completos de mais de 26.000 livros. São mais de 12.000 horas de áudio!
Dia 2: Lembrete do Teste
Enviaremos uma notificação avisando que seu teste está acabando.
Dia 3: Sua assinatura começa
A cobrança será feita em 25 de nov.,
cancele a qualquer momento antes.
Consume 2.8× More Books
2.8× mais livros Audição Leitura
Nossos usuários nos amam
1M+ leitores
Trustpilot Rating
TrustPilot
4.6 Excelente
Este site é revolucionário. Tenho lido resumos de livros como nunca antes. Recomendo muito, muito mesmo.
— Dave G
Vale o meu dinheiro e tempo, e muito bem feito. Nunca vi essa qualidade de resumos em outros sites. Muito útil!
— Em
Altamente recomendado!! Serviço fantástico. Perfeito para quem quer algo além de uma prévia, mas sem todos os detalhes de um audiolivro completo.
— Greg M
Economize 62%
Anual
$119.88 $44.99/ano/ano
$3.75/mês
Mensal
$9.99/mês
Iniciar Teste Gratuito de 3 Dias
3 dias grátis, depois $44.99/ano. Cancele quando quiser.
Unlock a world of fiction & nonfiction books
Mais de 26.000 livros pelo preço de 2 livros
Leia qualquer livro em 10 minutos
Descubra novos livros como no Tinder
Solicite qualquer livro se ainda não tiver resumo
Leia mais livros do que qualquer pessoa que você conhece
App nº 1 para amantes de livros
Lifelike & immersive summaries
Garantia de reembolso de 30 dias
Baixe resumos em EPUB ou PDF
Cancele a qualquer momento em poucos cliques

Por que só um resumo?

Scanner
Encontre um código de barras para escanear

⭐
⭐
⭐
Temos um presente especial para si
Abrir
38% de desconto
DESCONTO PARA VOCÊ
⭐
⭐
⭐
$79.99
$49.99/ano
Apenas $4.16 por mês
Continuar
Comece com 2 toques e cancele com facilidade
Configurações
Geral
Widget
Carregando...