Iniciar prueba gratuita
Popular Nuevos Géneros Autores
EnglishEnglish
EspañolSpanish
简体中文Chinese
繁體中文Chinese (Traditional)
FrançaisFrench
DeutschGerman
日本語Japanese
PortuguêsPortuguese
ItalianoItalian
한국어Korean
РусскийRussian
NederlandsDutch
العربيةArabic
PolskiPolish
हिन्दीHindi
Tiếng ViệtVietnamese
SvenskaSwedish
ΕλληνικάGreek
TürkçeTurkish
ไทยThai
ČeštinaCzech
RomânăRomanian
MagyarHungarian
УкраїнськаUkrainian
IndonesiaIndonesian
DanskDanish
SuomiFinnish
БългарскиBulgarian
עבריתHebrew
NorskNorwegian
HrvatskiCroatian
CatalàCatalan
SlovenčinaSlovak
LietuviųLithuanian
SlovenščinaSlovenian
СрпскиSerbian
EestiEstonian
LatviešuLatvian
فارسیPersian
മലയാളംMalayalam
தமிழ்Tamil
اردوUrdu
Buscando...
SoBrief
Diseño de aplicaciones mediante el uso intensivo de datos

Diseño de aplicaciones mediante el uso intensivo de datos

Título original: Designing Data-Intensive Applications
Diseña sistemas de datos fiables entendiendo las compensaciones que implica cada elección de base de datos.
por Martin Kleppmann 2015 614 páginas
4.70
10.000+ valoraciones
Escuchar
Inmersivo
V2.3
Amazon Kindle Audible
Prueba el acceso completo por 3 días
¡Desbloquea la escucha y mucho más!
Continuar

Ideas clave

Diseñe sistemas de datos basándose en garantías, no en modas de bases de datos ni eslóganes sobre escala.

Tres pruebas para un sistema. Una aplicación con uso intensivo de datos se evalúa por su fiabilidad, escalabilidad y facilidad de mantenimiento. La fiabilidad consiste en seguir haciendo lo correcto cuando fallan el hardware, el software o las personas. La escalabilidad no es una insignia que un producto consiga o no consiga: consiste en tener una respuesta viable ante un tipo concreto de carga creciente. La facilidad de mantenimiento consiste en que las personas que hereden el sistema puedan operarlo, entenderlo y modificarlo.

Prepárese para los problemas cotidianos. Un estudio de grandes servicios de internet determinó que los errores de configuración de los operadores causaban más interrupciones que los fallos de hardware, que representaban apenas entre el 10 y el 25 por ciento. Por eso, los buenos sistemas facilitan detectar y revertir errores mediante monitorización, entornos seguros de prueba y despliegues graduales. El objetivo no es impedir todos los fallos, sino evitar que uno se convierta en un problema visible para los usuarios.

Análisis

Lo valioso aquí es el cambio de enfoque: pasar de las etiquetas de producto a las garantías observables. La ingeniería de fiabilidad en la aviación y la medicina sigue la misma disciplina: definir los peligros, identificar las vías de fallo y diseñar controles para prevenirlos. Este enfoque también pone de manifiesto una verdad sociotécnica: la fiabilidad del software depende de las interfaces y las prácticas operativas, no solo del código. La limitación es que los tres objetivos pueden entrar en conflicto. Por ejemplo, un sistema muy automatizado puede reducir el trabajo rutinario y, al mismo tiempo, dificultar la recuperación ante situaciones inusuales. Por eso, las revisiones de diseño no deberían preguntar únicamente si el sistema cumple su objetivo, sino también quién podrá diagnosticarlo y repararlo cuando fallen sus supuestos.

Elija los modelos de datos según las relaciones y los patrones de acceso, no según las modas.

La estructura depende de las relaciones. Un currículum con empleos, formación y datos de contacto se presta naturalmente a un modelo documental: las partes suelen consultarse juntas, así que almacenarlas juntas puede evitar consultas adicionales. Pero cuando los registros se relacionan con muchos otros —como personas, centros de estudios, empresas y recomendaciones—, un modelo relacional o de grafos gestiona esas conexiones de forma más natural. La historia importa: las bases de datos documentales recuperan algunas ventajas y desventajas de las antiguas bases de datos jerárquicas, sobre todo en lo que respecta a las relaciones de muchos a muchos y las uniones.

Los esquemas son una elección, no una ausencia. El esquema al leer significa que la base de datos acepta registros variados y la aplicación interpreta su estructura al leerlos. El esquema al escribir, propio de las bases de datos relacionales, comprueba la estructura cuando se almacenan los datos. El primero facilita trabajar con datos heterogéneos; el segundo hace explícitas las expectativas. Las consultas declarativas, como SQL, también permiten que un optimizador elija los índices y el orden de las uniones, a diferencia de los recorridos codificados a mano.

Análisis

La pregunta práctica no es si los documentos o las tablas son más modernos, sino dónde debería residir la complejidad. Un almacén documental puede simplificar las escrituras y, a la vez, trasladar las uniones, el trabajo de coherencia y la lógica de migración al código de la aplicación. Esto se parece a un principio más general del diseño de lenguajes de programación: las abstracciones no eliminan la complejidad, sino que la trasladan. Un ejercicio útil de diseño consiste en trazar las relaciones que probablemente introducirán las funcionalidades, y no solo la primera pantalla que deba mostrar la aplicación. Ni la flexibilidad de los esquemas ni la validación estricta son universalmente más seguras; la elección adecuada depende de si la variación de los datos es real o simplemente está desatendida.

Adapte los motores de almacenamiento al trabajo que realizan con mayor frecuencia.

Los índices intercambian escrituras por lecturas. Un registro de solo anexado simplifica las escrituras y las hace secuenciales, pero para encontrar una clave se necesita un índice. Un índice hash puede localizar claves rápidamente cuando estas caben en la memoria, mientras que las tablas de cadenas ordenadas y los árboles de fusión de registros estructurados organizan los datos en archivos ordenados que se fusionan en segundo plano. Suelen funcionar bien con cargas de trabajo dominadas por las escrituras. En cambio, los árboles B actualizan páginas de tamaño fijo en el mismo lugar, lo que los convierte en una opción consolidada para muchas bases de datos transaccionales y consultas por rango.

El análisis plantea otra pregunta. El procesamiento de transacciones en línea suele recuperar unos pocos registros mediante una clave. El análisis suele recorrer millones de filas mientras lee apenas unas cuantas columnas. El almacenamiento orientado a columnas evita cargar campos que no se usan y comprime los valores repetidos. Ningún diseño gana en todas las pruebas de rendimiento: el motor adecuado depende de la combinación real de lecturas y escrituras, el tamaño de los datos y el objetivo de latencia.

Análisis

Esto recuerda que el rendimiento depende de adaptar la disposición de los datos a los patrones de acceso, no de elegir la tecnología de almacenamiento más reciente. La misma idea aparece en la arquitectura de computadores: las cachés son eficaces cuando los accesos tienen localidad, y las operaciones vectorizadas son eficaces cuando se puede realizar un trabajo similar en lotes. El libro también advierte acertadamente que no hay que tratar los resultados de las pruebas de rendimiento como universales. Un motor optimizado para escrituras puede parecer excelente hasta que la compactación compite con el tráfico de producción. Las pruebas de rendimiento deberían reflejar distribuciones de datos realistas e incluir la latencia de cola, no solo el rendimiento medio.

Mida la carga de trabajo antes de escalar y diseñe pensando en las solicitudes más lentas.

El cuello de botella de Twitter era la distribución de publicaciones. Según cifras de 2012, Twitter gestionaba en promedio unas 4.600 publicaciones por segundo, pero alrededor de 300.000 lecturas de cronologías de inicio por segundo. Calcular las cronologías de antemano abarataba las lecturas, pero entonces había que copiar cada publicación a unos 75 seguidores en promedio, es decir, realizar aproximadamente 345.000 escrituras de cronologías por segundo. La cuenta de una celebridad con decenas de millones de seguidores hacía costosa esa estrategia, así que Twitter adoptó una solución híbrida: calcular de antemano las cronologías de los usuarios comunes y recuperar las publicaciones de las celebridades cuando se lee una cronología.

Los promedios ocultan el perjuicio para los usuarios. Mida las distribuciones de los tiempos de respuesta, incluidos p95 y p99, porque una sola llamada lenta al backend puede retrasar una solicitud completa que depende de muchos servicios. La espera en colas suele ser la causa de las demoras más graves, sobre todo cuando el sistema se acerca a su capacidad máxima. La escalabilidad empieza por identificar los parámetros de carga que importan y, luego, probar cómo afectan al rendimiento y al tiempo de respuesta.

Análisis

El ejemplo de Twitter convierte la arquitectura en aritmética. La idea importante es que trasladar el trabajo de las lecturas a las escrituras no sale gratis: cambia dónde paga el sistema, y la distribución desigual determina si el cambio funciona. La teoría de colas refuerza esta idea: a medida que la utilización se acerca a la capacidad, el tiempo de espera puede aumentar bruscamente incluso antes de que la demanda media parezca extraordinaria. Los percentiles permiten verlo, aunque conviene interpretarlos con cuidado en distintas poblaciones y ventanas temporales. Un objetivo de p99 solo tiene sentido si se definen claramente el método de medición y el límite de la solicitud tal como la percibe el usuario.

Considere que las réplicas pueden estar desactualizadas y trate el particionamiento como una decisión sobre la carga de trabajo.

La replicación copia; el particionamiento divide. Las réplicas pueden mejorar la disponibilidad, acercar los datos a los usuarios y atender más lecturas. Sin embargo, con replicación asíncrona, una réplica secundaria puede quedar rezagada respecto de la principal. Los usuarios pueden ver desaparecer su propia actualización, observar que los datos retroceden en el tiempo o recibir una respuesta antes que la pregunta que la provocó. La lectura de las propias escrituras, las lecturas monótonas y las lecturas de prefijo coherente son garantías distintas, no sinónimos de coherencia eventual.

Las claves de partición determinan la carga. El particionamiento por rangos permite realizar recorridos eficientes, pero puede sobrecargar el rango temporal más reciente. El particionamiento por hash distribuye las claves ordinarias de manera más uniforme, pero dispersa las claves relacionadas y encarece las consultas por rango. Con cualquiera de los dos métodos, la cuenta de una celebridad puede convertirse en una clave muy solicitada. Los índices secundarios implican otra disyuntiva: los índices locales simplifican las escrituras, pero pueden obligar a que las consultas se dirijan a todas las particiones; los índices globales permiten consultas más específicas, pero complican las actualizaciones.

Análisis

Una réplica no es simplemente una copia de reserva. Es una copia cuya sincronización depende de las demás, y la aplicación debe decidir qué retrasos pueden tolerar los usuarios. Esto se parece a la diferencia entre coherencia y actualidad en las cachés distribuidas: un resultado puede ser válido y, aun así, estar desactualizado. El particionamiento también codifica supuestos sobre las consultas futuras y la distribución de los datos. Una práctica útil es probar explícitamente los sesgos de distribución, pues los promedios ocultan las claves excepcionales. Las garantías más estrictas pueden simplificar el comportamiento de la aplicación, pero exigirlas en cada lectura puede desperdiciar las ventajas geográficas y de rendimiento que la replicación pretendía aportar.

Use las transacciones para proteger invariantes, no como una vaga promesa de seguridad.

Hay que interpretar ACID. La atomicidad hace que un grupo de escrituras se complete en su totalidad o se revierta por completo. El aislamiento controla la interferencia entre transacciones concurrentes. La durabilidad protege los datos confirmados frente a determinados fallos. La coherencia de ACID se refiere a invariantes definidos por la aplicación, como el equilibrio de las cuentas; la base de datos no puede deducir todas las reglas que hacen válida una aplicación.

Un aislamiento débil deja trampas. El aislamiento de instantáneas permite que una transacción lea una vista estable, a menudo mediante varias versiones de cada registro. Sin embargo, dos médicos pueden ver que hay dos colegas de guardia, decidir cada uno por su cuenta dejar la guardia y confirmar ambos la operación. El resultado infringe la regla de que debe quedar un médico disponible. Este conflicto de escritura modifica registros separados, así que evitar las actualizaciones perdidas no basta. El aislamiento serializable impide anomalías de este tipo, aunque sus implementaciones pueden añadir coordinación o abortos. El protocolo de confirmación en dos fases distribuido puede coordinar confirmaciones entre máquinas, pero si falla el coordinador, los participantes pueden quedar a la espera.

Análisis

La corrección más útil del capítulo es que el nombre de un nivel de aislamiento no basta para especificarlo. La pregunta concreta es qué intercalaciones impide la base de datos. Esto está estrechamente relacionado con los métodos formales, donde la corrección se expresa mediante invariantes y transiciones de estado permitidas, en lugar de etiquetas tranquilizadoras. El horario de los médicos hace comprensible un sutil error de concurrencia: cada transacción parece razonable por sí sola, pero el resultado conjunto no es seguro. Los equipos deberían documentar los invariantes del negocio y poner a prueba el comportamiento de la base de datos frente a ellos. Las transacciones reducen la complejidad de la gestión de errores, pero no corrigen una lógica de aplicación equivocada.

En un sistema distribuido, un tiempo de espera agotado indica incertidumbre, no un fallo.

El silencio puede deberse a varias causas. Una solicitud puede perderse, retrasarse en una cola de red, ser procesada por un servidor pausado o completarse aunque se pierda la respuesta. Un tiempo de espera agotado no permite distinguir entre estos casos. Los relojes añaden otra fuente de incertidumbre: los equipos se desincronizan y el reloj de pared puede dar saltos. Un proceso pausado durante la recolección de basura puede reanudarse creyendo que una concesión vencida sigue vigente.

Tome decisiones de forma colectiva. Los protocolos de consenso utilizan votos superpuestos para acordar líderes y decisiones ordenadas pese a caídas y fallos de red. La linealizabilidad hace que las lecturas y escrituras parezcan operar sobre una única copia actual, pero puede exigir esperar a que se coordinen. A menudo se presenta CAP de forma errónea como una elección entre dos de tres propiedades. Su idea útil es más limitada: durante una partición de red, un sistema que exige resultados linealizables puede tener que rechazar o retrasar algunas solicitudes. Los tokens de cercado ayudan a impedir que quien conserva una concesión vencida escriba después de que un nuevo líder haya asumido el control.

Análisis

El giro conceptual clave consiste en separar lo que cree un nodo de lo que ha acordado el clúster. Es una forma de humildad epistémica incorporada al diseño de protocolos: la ausencia de pruebas no demuestra que haya ocurrido una caída. El consenso ofrece un método disciplinado para tomar ciertas decisiones, pero no es un componente universal de todas las operaciones de datos. La distinción entre seguridad y progreso es especialmente importante: un sistema puede dejar de aceptar trabajo para evitar una decisión corrupta. A menudo es preferible a dar rápidamente una respuesta que infrinja un invariante sin que nadie lo advierta.

Diseñe formatos de datos que permitan la coexistencia del código antiguo y el nuevo.

Los datos almacenados sobreviven a los despliegues. Durante las actualizaciones graduales, pueden ejecutarse a la vez versiones nuevas y antiguas de una aplicación, y hoy quizá todavía se lean registros escritos hace años. La compatibilidad hacia atrás permite que el código nuevo lea datos antiguos; la compatibilidad hacia delante permite que el código antiguo tolere datos escritos por código más reciente. JSON es práctico, pero no especifica bien algunos tipos, entre ellos los enteros grandes. La serialización específica de un lenguaje puede vincular los datos a un único lenguaje de programación y crear riesgos de seguridad al decodificar entradas no confiables.

Los formatos binarios basados en esquemas gestionan explícitamente los cambios. Protocol Buffers y Thrift identifican los campos mediante etiquetas numéricas estables, por lo que se pueden cambiar los nombres, pero no reutilizar las etiquetas. Avro empareja los campos por nombre y resuelve las diferencias entre los esquemas del escritor y del lector. En todos los casos, añadir un campo debe ser compatible con los datos y el código que aún lo desconocen. La compatibilidad permite realizar despliegues graduales sin exigir una actualización única y arriesgada de todo el sistema.

Análisis

La compatibilidad es una interfaz temporal: conecta no solo distintos servicios, sino también distintos momentos de la vida de un sistema. Por eso, el diseño de esquemas se parece al diseño de API públicas, incluso cuando un formato se usa solo internamente. La práctica más sólida es probar las combinaciones de lectores antiguos y nuevos antes del despliegue, en lugar de suponer que la reputación de un formato garantiza una evolución segura. Hay una disyuntiva real: los esquemas estrictos mejoran la validación y la documentación, mientras que los formatos flexibles pueden admitir entradas heterogéneas. El objetivo de ingeniería es que los cambios sean explícitos, no que los datos nunca cambien.

Use registros duraderos para derivar, reproducir y sincronizar vistas especializadas.

Una fuente puede alimentar muchas herramientas. Un sistema de registro conserva los datos autoritativos; los índices, las cachés, las recomendaciones y los análisis son vistas derivadas, optimizadas para distintos usos. Actualizarlos de forma independiente genera carreras entre escrituras: la base de datos puede recibir los cambios A y luego B, mientras que un índice de búsqueda los recibe en el orden B y luego A. La captura de datos de cambios evita esto al convertir las escrituras de la base de datos en un flujo ordenado que pueden consumir los sistemas posteriores.

Los registros facilitan la recuperación. Un intermediario basado en registros conserva los mensajes y permite a los consumidores llevar la cuenta de su posición, de modo que un consumidor puede reiniciarse o reproducir el historial. El abastecimiento de eventos lleva la idea más lejos: registra acciones significativas de la aplicación como eventos inmutables y reconstruye el estado actual a partir de ellos. El procesamiento determinista y las actualizaciones idempotentes ayudan a evitar que los reintentos apliquen los cambios dos veces. Los trabajos por lotes pueden reconstruir vistas de gran tamaño; los procesadores de flujos las mantienen actualizadas entre reconstrucciones.

Análisis

El registro es poderoso porque separa el evento autoritativo de las muchas representaciones creadas por conveniencia. Esto se parece a los libros contables y al control de versiones: las correcciones se añaden como hechos nuevos, en lugar de borrar el historial que explica el estado actual. Este enfoque puede mejorar la recuperación y la autonomía de los equipos, pero la capacidad de reproducir no es automática. El código antiguo, los efectos secundarios externos, los cambios de esquema y los requisitos de retención de datos complican una reproducción que parece sencilla. Un historial duradero también implica obligaciones de privacidad, porque conservar todos los eventos puede dificultar la eliminación.

Proteja la integridad de los datos de principio a fin y trate los datos personales como una forma de poder.

La actualidad y la corrección no son lo mismo. Una vista derivada puede quedar brevemente desactualizada y luego ponerse al día; los datos dañados o perdidos normalmente no se reparan por sí solos. Los identificadores de operación de extremo a extremo pueden suprimir solicitudes duplicadas cuando un cliente reintenta tras perder una respuesta. Las auditorías, las sumas de comprobación y las derivaciones reproducibles pueden revelar daños que las garantías de bajo nivel no detectan.

Las decisiones de ingeniería afectan a las personas. Los sistemas predictivos pueden reproducir la discriminación histórica, mientras que los ciclos de retroalimentación pueden agravar las desventajas: una puntuación baja puede restringir el acceso al trabajo y empeorar las circunstancias que llevaron a obtenerla. El seguimiento del comportamiento también puede trasladar el control de la información privada de las personas a las organizaciones. El libro sostiene que el consentimiento es débil cuando las personas no pueden entender el uso que se dará a sus datos ni excluirse de manera realista. La recopilación de datos debería limitarse a fines justificados, y los sistemas deberían facilitar la rendición de cuentas, la rectificación y la eliminación.

Análisis

La conexión entre la integridad técnica y los derechos humanos no es ornamental. Los modelos de datos determinan qué se puede inferir, conservar, corregir y olvidar. Las auditorías respaldan la confianza operativa, mientras que la rendición de cuentas y el derecho de apelación respaldan la confianza social. La investigación sobre equidad algorítmica también demuestra que eliminar un atributo protegido explícito no elimina sus indicadores indirectos, como la ubicación o los patrones de compra. A la vez, el análisis de datos puede contribuir a servicios valiosos y beneficios públicos. La pregunta difícil no es si el uso de datos es bueno o malo en abstracto, sino quién obtiene el control, quién soporta las consecuencias de los errores y qué recursos existen.

Análisis

Diseño de aplicaciones mediante el uso intensivo de datos se entiende mejor como una guía de ingeniería sobre los costos ocultos tras operaciones que parecen sencillas: almacenar un valor, leer una réplica, añadir un índice o reintentar una solicitud. Su principal logro organizativo consiste en reemplazar las categorías de productos por preguntas duraderas sobre la carga de trabajo, los fallos, el orden y el cambio. El libro pasa de los fundamentos de una sola máquina a la coordinación distribuida y, luego, a los datos derivados y los flujos. Así, sostiene que la arquitectura de una aplicación moderna suele consistir en la interacción entre sistemas especializados, no en una sola base de datos.

Su idea central más profunda es que el estado es tanto una vista actual útil como el resultado acumulado de los eventos. Una vez clara esta distinción, los registros de replicación, la captura de datos de cambios, el abastecimiento de eventos, el recálculo por lotes y el procesamiento de flujos se entienden como técnicas relacionadas para mover información y preservar su procedencia. Esto va más allá de una estrategia de rendimiento. Ofrece una forma de recuperarse de errores, hacer evolucionar los esquemas y conseguir que los flujos de datos sean comprensibles para quienes los desarrollen en el futuro.

El argumento es más sólido cuando insiste en la precisión de las garantías. La coherencia eventual no es un contrato completo para una aplicación; las etiquetas ACID no revelan qué anomalías siguen siendo posibles; y los tiempos de espera agotados no demuestran que se haya producido un fallo remoto. Así, el libro enseña a preguntar qué promete un sistema ante fallos concretos, en lugar de aceptar eslóganes como NoSQL, escala web o exactamente una vez.

Sus propuestas también requieren cautela operativa. Las arquitecturas basadas en eventos pueden multiplicar la infraestructura; la reproducción puede volver a generar decisiones perjudiciales; y las vistas asíncronas quizá no sean aceptables para acciones de alto impacto. El diseño más adecuado podría ser una base de datos relacional sencilla en una sola máquina, no una canalización distribuida y compleja. Del mismo modo, los mecanismos de integridad no pueden decidir qué objetivos sociales debería optimizar un sistema predictivo. El rigor técnico debe incluir las consecuencias de recopilar datos y los recursos disponibles para las personas afectadas. La lección duradera es la composición disciplinada: usar el conjunto mínimo de herramientas que satisfaga requisitos explícitos, hacer que los supuestos puedan ponerse a prueba y mantener comprensible el flujo de los datos.

Resumen en 30 segundos
Los sistemas fiables se diseñan en torno a garantías explícitas frente a fallos, crecimiento y cambio. Adapta los modelos de datos y los motores de almacenamiento a las relaciones y los patrones de lectura y escritura; después, mide la carga y la latencia de cola antes de escalar. Las réplicas pueden estar desactualizadas, la partición modifica las cargas de trabajo y las garantías de las transacciones varían. En los sistemas distribuidos, los tiempos de espera dejan los resultados en la incertidumbre. Los registros duraderos permiten reproducir eventos y generar vistas derivadas, mientras que los esquemas compatibles facilitan las actualizaciones graduales. Protege la integridad, limita los datos personales y posibilita la corrección y la eliminación.
Contiene spoilers

Última actualización:

Reportar problema

Resumen de reseñas

4.70 de 5
Promedio de 10.000+ valoraciones de Goodreads y Amazon.

Diseño de aplicaciones mediante el uso intensivo de datos recibe grandes elogios como lectura esencial para ingenieros de software y desarrolladores. Los lectores valoran su cobertura exhaustiva del almacenamiento de datos, los sistemas distribuidos y los conceptos modernos de bases de datos. El libro destaca por sus explicaciones claras, ejemplos prácticos y diagramas esclarecedores. Muchos lo consideran una minienciclopedia de ingeniería de datos, que ofrece conocimientos valiosos tanto a principiantes como a profesionales con experiencia. Aunque a algunos les resultan difíciles o demasiado académicas ciertas secciones, la mayoría coincide en que proporciona una base sólida para comprender sistemas y arquitecturas de datos complejos.

Tu valoración:
4.73
695 valoraciones
¿Quieres leer el libro completo?

Glosario

OLTP

Operaciones rápidas a nivel de registro

El procesamiento de transacciones en línea describe cargas de trabajo interactivas que leen o modifican un pequeño número de registros, normalmente localizados mediante una clave. Las aplicaciones web, las transacciones bancarias y las actualizaciones de inventario son ejemplos típicos. Los sistemas OLTP priorizan tiempos de respuesta bajos y la gestión de muchas solicitudes simultáneas, a diferencia de los sistemas analíticos, que recorren grandes conjuntos de datos para calcular agregados.

OLAP

Análisis de datos a gran escala

El procesamiento analítico en línea describe cargas de trabajo que recorren un gran número de registros para calcular resúmenes, comparaciones y agregados. Los analistas pueden usar OLAP para comparar las ventas por tienda, producto o periodo. Estas cargas de trabajo suelen beneficiarse del almacenamiento orientado a columnas, ya que una consulta puede leer solo las pocas columnas que necesita.

árbol LSM

Estructura de escritura ordenada y fusionada

Un árbol de fusión estructurado en registros almacena las escrituras recientes en memoria, las vuelca en archivos ordenados y fusiona esos archivos en segundo plano. Este diseño favorece las escrituras secuenciales y puede admitir un alto rendimiento de escritura y recorridos por rangos. Es posible que las lecturas deban comprobar varios archivos, y la compactación debe seguir el ritmo de las escrituras entrantes.

MVCC

Varias versiones para los lectores

El control de concurrencia multiversión conserva varias versiones de los datos para que las transacciones puedan leer una instantánea coherente mientras otras transacciones siguen escribiendo. Una transacción ve las versiones visibles en el momento que ha elegido, mientras que las versiones obsoletas se recuperan más adelante. MVCC admite el aislamiento de instantáneas y suele permitir que lectores y escritores avancen sin bloquearse entre sí.

linealizabilidad

Las lecturas ven la escritura más reciente

La linealizabilidad hace que un elemento de datos distribuido se comporte como si fuera una única copia actualizada de forma atómica. Una vez que se completa una escritura, las lecturas posteriores deben observarla. Esta sólida garantía de actualidad simplifica el razonamiento sobre la aplicación, pero mantenerla puede requerir coordinación y reducir la disponibilidad o aumentar la latencia durante fallos de red.

serializabilidad

Las transacciones se ejecutan una a una

La serializabilidad garantiza que las transacciones simultáneas tengan el mismo efecto global que alguna ejecución en la que cada transacción se completara antes de que comenzara la siguiente. Evita condiciones de carrera como las anomalías de escritura, en las que actualizaciones separadas infringen conjuntamente un invariante. La serializabilidad es distinta de la linealizabilidad, que se refiere a la actualidad de las lecturas y escrituras individuales.

captura de cambios de datos

Publicar los cambios de la base de datos

La captura de cambios de datos observa las escrituras realizadas en una base de datos y las publica como eventos para que otros sistemas las consuman. Un índice de búsqueda, una caché o un almacén de análisis pueden aplicar los cambios en orden y mantenerse como vistas derivadas de la base de datos autoritativa. La CDC puede leer el registro de replicación de una base de datos o utilizar activadores; los consumidores deben tener en cuenta el retraso y la recuperación.

abastecimiento de eventos

Registrar acciones como eventos

El abastecimiento de eventos almacena eventos de nivel de aplicación en un historial de solo anexado y, después, deriva el estado actual de la aplicación procesando ese historial. Los eventos representan acciones significativas, como hacer o cancelar una reserva, en lugar de limitarse a los cambios resultantes en las filas. La reproducción puede reconstruir el estado y ayudar a depurar, pero la conservación y eliminación de los datos históricos requieren políticas deliberadas.

esquema en lectura

Interpretar la estructura al leer

El esquema en lectura permite que los registros almacenados tengan estructuras diversas y deja que la aplicación interprete los campos cuando los lee. Es útil cuando los datos son heterogéneos o los controlan productores externos. No significa que no haya esquema: el código de lectura sigue presuponiendo una estructura, pero la base de datos no la aplica en el momento de la escritura.

idempotencia

Los reintentos no repiten los efectos

Una operación es idempotente cuando realizarla varias veces tiene el mismo efecto que realizarla una sola vez. Asignar a un registro un valor fijo es idempotente; incrementar un contador no lo es. La idempotencia hace que los reintentos sean más seguros tras fallos o reconocimientos perdidos, a menudo mediante un identificador de operación único o un desplazamiento de mensaje que se propaga por el sistema.

CQRS

Separar los modelos de escritura y lectura

La segregación de responsabilidades entre comandos y consultas separa el modelo utilizado para aceptar cambios de los modelos optimizados para la lectura. Un flujo de escritura puede alimentar vistas distintas, como un índice de búsqueda, una caché o un resumen para el usuario. Esto admite diferentes patrones de acceso y una evolución gradual, pero las vistas derivadas pueden quedar temporalmente desactualizadas y requieren mecanismos fiables de actualización y recuperación.

Preguntas frecuentes

¿De qué trata Diseño de aplicaciones mediante el uso intensivo de datos?

  • Enfoque en los sistemas de datos: El libro explora los principios y las prácticas que sustentan la creación de aplicaciones con uso intensivo de datos que sean fiables, escalables y fáciles de mantener. Aborda diversas arquitecturas y modelos de datos, así como las compensaciones que implica diseñar estos sistemas.
  • Principios perdurables: A pesar de los rápidos cambios tecnológicos, el libro hace hincapié en principios fundamentales que se mantienen constantes en distintos sistemas y permite a los lectores tomar decisiones fundamentadas sobre la arquitectura de datos.
  • Ejemplos del mundo real: Martin Kleppmann utiliza ejemplos de sistemas de datos exitosos para ilustrar conceptos clave y hacer más accesibles las ideas complejas mediante aplicaciones prácticas.

¿Por qué debería leer Diseño de aplicaciones mediante el uso intensivo de datos?

  • Panorama exhaustivo: El libro ofrece un examen minucioso de los sistemas de datos, por lo que resulta adecuado para ingenieros de software, arquitectos y responsables técnicos. Abarca una amplia variedad de temas, desde motores de almacenamiento hasta sistemas distribuidos.
  • Mejores decisiones: Al comprender las compensaciones de diversas tecnologías, los lectores pueden tomar mejores decisiones arquitectónicas para sus aplicaciones, algo crucial para satisfacer los requisitos de rendimiento y fiabilidad.
  • Curiosidad y comprensión: Para quienes sienten curiosidad por el funcionamiento de los sistemas de datos, el libro ofrece una comprensión profunda del funcionamiento interno de las bases de datos y los sistemas de procesamiento de datos, e invita a reflexionar críticamente sobre el diseño de aplicaciones.

¿Cuáles son las ideas clave de Diseño de aplicaciones mediante el uso intensivo de datos?

  • Fiabilidad, escalabilidad y facilidad de mantenimiento: El libro destaca estos tres principios como esenciales para crear aplicaciones robustas con uso intensivo de datos.
  • Comprender las compensaciones: Subraya la importancia de comprender las compensaciones en el diseño de sistemas, como el teorema CAP, que afirma que «solo se pueden elegir dos de estas tres propiedades: consistencia, disponibilidad y tolerancia a particiones».
  • Modelos de datos y replicación: La elección del modelo de datos influye de manera significativa en el rendimiento de las aplicaciones, y el libro analiza distintas estrategias de replicación y sus implicaciones para la consistencia.

¿Cuáles son las mejores citas de Diseño de aplicaciones mediante el uso intensivo de datos y qué significan?

  • «La tecnología es una fuerza poderosa en nuestra sociedad.»: Esta cita subraya la doble naturaleza de la tecnología y recuerda las responsabilidades éticas que conlleva crear sistemas de datos.
  • «La verdad está en el registro. La base de datos es una caché de un subconjunto del registro.»: Esta frase resume la idea del abastecimiento de eventos, en el que el registro de eventos es la fuente autoritativa y la base de datos proporciona una vista optimizada para la lectura.
  • «Si comprendes esos principios, podrás ver dónde encaja cada herramienta.»: Destaca la importancia de asimilar los principios fundamentales para utilizar eficazmente distintas tecnologías.

¿Cómo define Diseño de aplicaciones mediante el uso intensivo de datos la fiabilidad, la escalabilidad y la facilidad de mantenimiento?

  • Fiabilidad: Se refiere a la capacidad del sistema de funcionar correctamente incluso ante fallos e implica estrategias de diseño que toleren fallos de hardware, errores de software y equivocaciones humanas.
  • Escalabilidad: Se refiere a la capacidad de un sistema para gestionar una carga creciente y requiere estrategias como la partición y la replicación para afrontar el crecimiento del volumen de datos, el tráfico o la complejidad.
  • Facilidad de mantenimiento: Se centra en la facilidad con que un sistema puede modificarse y actualizarse a lo largo del tiempo, y hace hincapié en la sencillez, la operabilidad y la capacidad de evolucionar para que los equipos trabajen de forma productiva.

¿Qué es el teorema CAP en Diseño de aplicaciones mediante el uso intensivo de datos?

  • Consistencia, disponibilidad y tolerancia a particiones: El teorema CAP afirma que, en un almacén de datos distribuido, es imposible garantizar simultáneamente las tres propiedades.
  • Compensaciones en el diseño: Destaca las decisiones que deben tomar quienes diseñan sistemas, como sacrificar la disponibilidad durante fallos de red para dar prioridad a la consistencia y la tolerancia a particiones.
  • Contexto histórico: Eric Brewer formuló el teorema en 2000, y este ha influido significativamente en el diseño de sistemas distribuidos.

¿Cómo explica Diseño de aplicaciones mediante el uso intensivo de datos los modelos de datos y los lenguajes de consulta?

  • Modelos de datos: Compara varios modelos de datos, incluidos los relacionales, los documentales y los de grafos, cada uno con sus ventajas y desventajas; resulta crucial elegir el adecuado según las necesidades de la aplicación.
  • Lenguajes de consulta: Analiza distintos lenguajes de consulta, como SQL para bases de datos relacionales y los utilizados en sistemas NoSQL, que son esenciales para interactuar eficazmente con los datos.
  • Casos de uso: Subraya que las distintas aplicaciones tienen requisitos diferentes y orienta la toma de decisiones fundamentadas sobre la arquitectura de datos.

¿Qué métodos de replicación diferentes se describen en Diseño de aplicaciones mediante el uso intensivo de datos?

  • Replicación con un solo líder: Un nodo actúa como líder, procesa todas las escrituras y replica los cambios a los seguidores. Es un método habitual, pero puede crear cuellos de botella.
  • Replicación con varios líderes: Permite que varios nodos acepten escrituras, lo que mejora la flexibilidad y la disponibilidad, pero introduce complejidades en la resolución de conflictos.
  • Replicación sin líder: Cualquier nodo puede aceptar escrituras. Esto mejora la disponibilidad, pero exige gestionar la consistencia con cuidado.

¿Cómo aborda Diseño de aplicaciones mediante el uso intensivo de datos la evolución de los esquemas?

  • Cambios de esquema: Analiza la inevitabilidad de que los cambios en las aplicaciones requieran los correspondientes cambios en los esquemas de datos y hace hincapié en la compatibilidad hacia atrás y hacia delante.
  • Formatos de codificación: Explora diversos formatos de codificación, como JSON, XML y los formatos binarios, y destaca las compensaciones que implica cada uno para la evolución de los esquemas.
  • Estrategias prácticas: Ofrece consejos para gestionar cambios de esquema en aplicaciones reales y garantizar que las versiones antiguas y nuevas de los datos puedan coexistir sin problemas.

¿Qué importancia tiene el abastecimiento de eventos en Diseño de aplicaciones mediante el uso intensivo de datos?

  • Registro inmutable de eventos: Consiste en almacenar todos los cambios en un registro inmutable de eventos, lo que permite reconstruir fácilmente el estado actual reproduciendo el registro.
  • Separación de responsabilidades: Permite generar varias vistas de los datos a partir del mismo registro y facilita la evolución de las aplicaciones con el tiempo.
  • Auditabilidad y recuperación: Proporciona un rastro de auditoría claro de los cambios y simplifica la recuperación de errores al reconstruir el estado a partir del registro de eventos.

¿Cómo propone Diseño de aplicaciones mediante el uso intensivo de datos gestionar las particiones de red?

  • Fallos de red: Explica que las particiones de red pueden provocar inconsistencias entre las réplicas y complicar el diseño de sistemas distribuidos.
  • Gestión de particiones: Analiza estrategias como el teorema CAP, que afirma que un sistema solo puede garantizar dos de estas tres propiedades: consistencia, disponibilidad y tolerancia a particiones.
  • Implicaciones prácticas: Hace hincapié en diseñar sistemas que toleren los fallos de red y sigan funcionando eficazmente.

¿Qué consideraciones éticas se plantean en Diseño de aplicaciones mediante el uso intensivo de datos?

  • Responsabilidad de los ingenieros: Subraya las implicaciones éticas de la recopilación y el uso de datos, incluida la necesidad de reconocer los posibles sesgos y la discriminación en los algoritmos.
  • Impacto del análisis predictivo: Analiza los riesgos asociados al análisis predictivo e insta a considerar con cuidado las decisiones basadas en datos y sus consecuencias.
  • Preocupaciones sobre la vigilancia: Advierte de las capacidades de vigilancia y defiende la privacidad de los usuarios, la transparencia y el control de los datos personales.

Sobre el autor

Martin Kleppmann es un reconocido experto en sistemas distribuidos e ingeniería de datos. Es conocido sobre todo por su trabajo en Apache Samza y sus contribuciones a la infraestructura de datos de LinkedIn. Su experiencia en bases de datos, intermediarios de mensajes y sistemas de procesamiento de datos se refleja en todo el libro. Su estilo de escritura recibe elogios por su claridad y por explicar conceptos complejos de forma accesible. La experiencia de Kleppmann tanto en el ámbito académico como en la industria le permite conectar conceptos teóricos con aplicaciones prácticas. Su trabajo ha influido de manera significativa en el campo de las aplicaciones con uso intensivo de datos y los sistemas distribuidos.

Descargar PDF

Para guardar este resumen de Diseño de aplicaciones mediante el uso intensivo de datos para más tarde, descarga el PDF gratis. Puedes imprimirlo o leerlo sin conexión cuando quieras.
Download PDF

Descargar EPUB

Para leer este resumen de Diseño de aplicaciones mediante el uso intensivo de datos en tu dispositivo o aplicación de lectura, descarga el EPUB gratis. El formato de libro digital .epub es ideal para leer libros electrónicos en teléfonos, tabletas y lectores electrónicos.
Download EPUB
¿Quieres leer el libro completo?
Seguir
Escuchar
Inicio
Swipe
Biblio
App
Prueba el acceso completo por 3 días
Escucha, guarda y mucho más
Comparar funciones Gratis Pro
📖 Leer resúmenes
Lee resúmenes ilimitados. Los usuarios gratuitos obtienen 3 al mes
🎧 Escuchar resúmenes
Escucha resúmenes ilimitados en 40 idiomas
—
❤️ Marcadores ilimitados
Usuarios gratuitos limitados a 4
—
📜 Historial ilimitado
Usuarios gratuitos limitados a 4
—
📥 Descargas ilimitadas
Usuarios gratuitos limitados a 1
—
Cronología sin riesgo
Hoy: Obtén acceso instantáneo
Escucha resúmenes completos de más de 26.000 libros. ¡Son más de 12.000 horas de audio!
Día 2: Recordatorio de prueba
Te enviaremos una notificación de que tu prueba está por terminar.
Día 3: Tu suscripción comienza
Se te cobrará el 25 nov,
cancela en cualquier momento antes.
Consume 2.8× More Books
2.8× libros más Escucha Lectura
Nuestros usuarios nos adoran
1M+ lectores
Trustpilot Rating
TrustPilot
4.6 Excelente
Este sitio es un antes y un después. He leído resúmenes como nunca antes. Lo recomiendo muchísimo.
— Dave G
Vale cada centavo y cada minuto, y está muy bien hecho. Nunca había visto esta calidad de resúmenes en otros sitios. ¡Muy útil!
— Em
¡Muy recomendado! Servicio fantástico. Perfecto para quienes quieren algo más que una sinopsis, pero no todos los detalles de un audiolibro completo.
— Greg M
Ahorra un 62%
Anual
$119.88 $44.99/año/año
$3.75/mes
Mensual
$9.99/mes
Inicia tu prueba gratuita de 3 días
3 días gratis, luego $44.99/año. Cancela cuando quieras.
Unlock a world of fiction & nonfiction books
Más de 26.000 libros por el precio de 2
Lee cualquier libro en 10 minutos
Descubre libros nuevos como en Tinder
Solicita cualquier libro si no está resumido
Lee más libros que cualquiera que conozcas
La app nº 1 para amantes de los libros
Lifelike & immersive summaries
Garantía de devolución de 30 días
Descarga resúmenes en EPUB o PDF
Cancela en cualquier momento con unos clics

¿Por qué solo un resumen?

Escáner
Busca un código de barras para escanear

⭐
⭐
⭐
Tenemos un regalo especial para ti
Abrir
38% de descuento
DESCUENTO PARA TI
⭐
⭐
⭐
$79.99
$49.99/año
Solo $4.16 al mes
Continuar
Empieza con 2 toques y cancela fácilmente
Configuración
General
Widget
Cargando...