Kostenlos testen
Beliebt Neu Genres Autoren
EnglishEnglish
EspañolSpanish
简体中文Chinese
繁體中文Chinese (Traditional)
FrançaisFrench
DeutschGerman
日本語Japanese
PortuguêsPortuguese
ItalianoItalian
한국어Korean
РусскийRussian
NederlandsDutch
العربيةArabic
PolskiPolish
हिन्दीHindi
Tiếng ViệtVietnamese
SvenskaSwedish
ΕλληνικάGreek
TürkçeTurkish
ไทยThai
ČeštinaCzech
RomânăRomanian
MagyarHungarian
УкраїнськаUkrainian
IndonesiaIndonesian
DanskDanish
SuomiFinnish
БългарскиBulgarian
עבריתHebrew
NorskNorwegian
HrvatskiCroatian
CatalàCatalan
SlovenčinaSlovak
LietuviųLithuanian
SlovenščinaSlovenian
СрпскиSerbian
EestiEstonian
LatviešuLatvian
فارسیPersian
മലയാളംMalayalam
தமிழ்Tamil
اردوUrdu
Suche läuft...
SoBrief
Site Reliability Engineering

Site Reliability Engineering

Betreiben Sie Produktionsdienste mit weniger Routineaufwand, klareren Risikogrenzen und funktionierenden Wiederherstellungsplänen.
von Betsy Beyer 2016 550 Seiten
4.21
2.000+ Bewertungen
Anhören
Immersiv
V2.3
Amazon Kindle Audible
3 Tage Vollzugriff testen
Schalten Sie Audioinhalte & mehr frei!
Weiter

Wichtigste Erkenntnisse

Behandle den Betrieb als Softwareentwicklung, sonst stellt der Datenverkehr deine Zukunft ein.

Das System muss selbst skalieren. Im traditionellen Betrieb kommen mit dem Wachstum eines Dienstes weitere Mitarbeitende hinzu. Getrennte Entwicklungs- und Betriebsteams können zudem jede Funktionsfreigabe in einen Kampf zwischen Geschwindigkeit und Stabilität verwandeln. Googles Alternative, Site Reliability Engineering (SRE), überträgt Softwareingenieuren die Verantwortung für Produktionssysteme und erwartet von ihnen, wiederkehrende menschliche Arbeit durch Code zu ersetzen. SREs haben weiterhin Bereitschaftsdienst, doch der Betriebsaufwand ist auf höchstens die Hälfte ihrer Arbeitszeit begrenzt. So bleibt Zeit, den Dienst technisch zu verbessern, statt lediglich mit ihm Schritt zu halten.

Vorbereitung ist besser als Gewissheit. Im Vorwort wird auf Margaret Hamilton verwiesen, eine Softwareingenieurin des Apollo-Programms. Sie erkannte, dass ein Astronaut versehentlich ein Programm auslösen könnte, das Navigationsdaten löschte. Ein vorgeschlagener softwaretechnischer Schutz wurde abgelehnt, doch sie dokumentierte die Gefahr. Bei Apollo 8 trat genau der Fehler auf, den sie vorausgesehen hatte. Die Lehre geht über die Raumfahrt hinaus: Betriebswissen, Vorbereitung und Systeme, die menschliche Fehler einkalkulieren, gehören zur Ingenieursarbeit.

Analyse

Die organisatorische Gestaltung ist ebenso wichtig wie der Code. Ein Team, das sowohl für die Ergebnisse im Produktivbetrieb als auch für die Möglichkeiten zur Softwareänderung verantwortlich ist, kann die Rückkopplung zwischen einem Ausfall und einer dauerhaften Behebung verkürzen. Das Apollo-Beispiel verdeutlicht den wichtigen Unterschied zwischen dem Vertrauen in qualifizierte Menschen und der Entwicklung von Systemen, die auch die Fehler berücksichtigen, die qualifizierten Menschen unterlaufen können. Die 50-Prozent-Grenze ist allerdings keine allgemeingültige Personalformel. Ihr eigentlicher Wert liegt darin, als Führungsinstrument zu verhindern, dass dringende Wartungsarbeiten unbemerkt alle Kapazitäten für Verbesserungen aufzehren.

Richte die Zuverlässigkeit am Nutzen für die Nutzer aus und setze das verbleibende Fehlerbudget gezielt ein.

Definiere den Dienst aus Sicht der Nutzer. Ein SLI, also ein Dienstgüteindikator (Service Level Indicator), ist eine quantitative Messgröße, etwa für erfolgreiche Anfragen, Latenz oder Datenbeständigkeit. Ein SLO, also ein Dienstgüteziel (Service Level Objective), legt den Zielwert für einen SLI fest. Ein SLA, also eine Dienstgütevereinbarung (Service Level Agreement), knüpft ausdrückliche Folgen daran, wenn ein Ziel verfehlt wird. Diese Unterscheidungen verhindern, dass Gespräche über Zuverlässigkeit in vagen Versprechen zerfließen.

Mach Risiken besprechbar. Ein Fehlerbudget bezeichnet die gemäß einem SLO zulässige Unzuverlässigkeit. Bei einer Verfügbarkeit von 99,99 Prozent stehen einem Dienst im Jahresverlauf etwa 52,56 Minuten Ausfallzeit zur Verfügung. Teams können dieses Budget nutzen, um zu entscheiden, welches Freigaberisiko vertretbar ist. Der richtige Zielwert hängt von den Nutzern, den Alternativen, den geschäftlichen Auswirkungen und der Art des Fehlers ab. Google führte sogar geplante Ausfälle für seinen äußerst zuverlässigen Sperrdienst Chubby ein, nachdem Clients begonnen hatten, sich auf ihn zu verlassen, als könne er niemals ausfallen.

Analyse

Ein Fehlerbudget verwandelt einen Streit über Werte in einen Steuerungsmechanismus: Produkt- und Zuverlässigkeitsteams verwenden dieselben Fakten, um zu entscheiden, ob Änderungen vorgenommen werden sollten. Seine Stärke liegt nicht darin, dass ein Prozentwert jeden Aspekt der Nutzererfahrung erfasst. Das tut er nicht. Eine Erfolgsquote kann einen fehlgeschlagenen Hintergrundcheck und die Offenlegung eines privaten Datensatzes als vergleichbare Fehler einstufen, obwohl ihre Folgen grundverschieden sind. Werden das Budget mit sorgfältig ausgewählten Indikatoren und ausdrücklich definierten Risikokategorien kombiniert, bleibt die Kennzahl nützlich, ohne zum Ersatz für Urteilsvermögen zu werden.

Begrenze den Routineaufwand, damit das Wachstum eines Dienstes nicht ebenso viele zusätzliche Stellen erfordert.

Benenne die Arbeit, in der Teams feststecken. Routineaufwand (toil) ist wiederkehrende, manuelle und taktische Arbeit, die mit dem Betrieb eines Dienstes verbunden ist, keine dauerhafte Verbesserung bewirkt und tendenziell mit dem Datenverkehr oder der Systemgröße zunimmt. Es geht nicht einfach um unangenehme Arbeit: Wird ein Dienst so bereinigt, dass er sich dadurch dauerhaft verbessert, ist das Ingenieursarbeit – auch wenn die Aufgabe mühsam ist. Google strebt an, den Betriebsaufwand unter der Hälfte der Arbeitszeit von SREs zu halten, damit Zeit für die Entwicklung von Software und die Verbesserung von Systemen bleibt.

Von Skripten zu autonomem Verhalten. Automatisierung kann Arbeit vereinheitlichen und beschleunigen, aber auch Fehler im Maschinentempo verbreiten. Googles Ads-Datenbank zeigt den möglichen Nutzen: Nachdem das Team MySQL-Arbeitslasten auf Borg verlagert und das Failover automatisiert hatte, verringerte es den routinemäßigen Betriebsaufwand um etwa 95 Prozent und setzte rund 60 Prozent der Hardware frei. Das weitergehende Ziel ist ein System, das Routinebedingungen selbst erkennt und bewältigt – nicht bloß eines, das ein Skript eines Menschen ausführt.

Analyse

Routineaufwand ist eine nützliche ökonomische Kategorie, weil er Arbeit sichtbar macht, deren Kosten mit der Nachfrage steigen. Entscheidend ist nicht nur, ob sich eine Aufgabe automatisieren lässt, sondern ob die Automatisierung das Gesamtrisiko und den Wartungsaufwand senkt. Der im Buch geschilderte Diskerase-Ausfall – bei dem eine falsche Auslegung einer leeren Maschinenliste dazu führte, dass Maschinen an zahlreichen Colocation-Standorten gelöscht wurden – zeigt, weshalb Automatisierung Schutzvorkehrungen, Tests und klar begrenzte Befugnisse braucht. Ein menschlicher Engpass ist teuer; ein unkontrollierter automatisierter Engpass kann noch viel teurer sein.

Sorge dafür, dass jede Alarmierung dringend, handlungsrelevant und mit einem konkreten Nutzerschaden verbunden ist.

Überwache, was Nutzer erleben. Bei einem nutzerorientierten Dienst sind vier hilfreiche Signale Latenz, Datenverkehr, Fehler und Auslastung. Interne Messwerte helfen zu erklären, was geschieht; Black-Box-Prüfungen testen den Dienst so, wie Nutzer ihm begegnen. Ein Dashboard kann Trends anzeigen. Eine Alarmierung sollte eine Person nur dann unterbrechen, wenn sofortiges Handeln ein bestehendes oder unmittelbar bevorstehendes Problem beheben kann. Alles andere gehört in ein Ticket oder ein Protokoll.

Schütze die Menschen in der Schleife. Häufige, störende Alarmierungen bringen Menschen dazu, Benachrichtigungen zu ignorieren. Deshalb empfiehlt Googles Leitfaden für den Bereitschaftsdienst höchstens zwei Vorfälle pro zwölfstündiger Schicht. Einsatzhandbücher halten erprobte Reaktionsschritte fest und können die Reparaturzeit im Vergleich zu improvisiertem Vorgehen unter Druck deutlich verkürzen. Bei einem größeren Vorfall verhindern zugewiesene Rollen für Einsatzleitung, Betrieb, Planung und Kommunikation, dass mehrere gutmeinende Ingenieure ohne Abstimmung dasselbe System ändern.

Analyse

Die Qualität von Alarmierungen ist ebenso sehr eine Frage menschlicher Faktoren wie der Messtechnik. Eine Unterbrechung beansprucht Aufmerksamkeit, selbst wenn sich der Alarm als falsch erweist, und wiederholte Fehlalarme schwächen das Vertrauen in das Signal. Dashboards von Alarmierungen zu trennen, ist daher eine Möglichkeit, die knappe Entscheidungskapazität zu bewahren. Doch symptomorientierte Alarmierungen allein können Ursachen weder erklären noch jeden bevorstehenden Ausfall sichtbar machen. Am wirksamsten ist eine Kombination aus einem klaren, für Nutzer sichtbaren Signal zur Eskalation und genügend interner Telemetrie zur Diagnose – ohne von einem erschöpften Ingenieur zu verlangen, eine Wand aus Alarmmeldungen zu deuten.

Führe Änderungen in kleinen, reproduzierbaren Schritten ein und lerne anschließend ohne Schuldzuweisungen daraus.

Behandle die Freigabeinfrastruktur als Teil der Produktentwicklung. Google berichtet, dass etwa 70 Prozent der Ausfälle Änderungen an einem laufenden System betreffen. Zu sichereren Freigabeverfahren gehören reproduzierbare Builds, automatisierte Tests, schrittweise Rollouts, schnelle Erkennung und ein sicherer Rollback. Ein hermetischer Build stützt sich auf deklarierte, bekannte Eingaben und nicht auf das, was zufällig auf einer bestimmten Build-Maschine installiert ist. Dadurch lässt sich eine Freigabe wiederholen und genau feststellen, was sich geändert hat.

Mach aus Vorfällen Verbesserungen am System. Ein Postmortem hält Auswirkungen, Ereignisse, beitragende Ursachen und vorbeugende Maßnahmen fest. Ein Postmortem ohne Schuldzuweisungen geht davon aus, dass die Beteiligten mit den Informationen gehandelt haben, die ihnen zur Verfügung standen. Anschließend wird gefragt, wie das System oder der Prozess ein schlechtes Ergebnis ermöglicht hat. Bei der Behandlung von Vorfällen hat für Google die Wiederherstellung des Dienstes Vorrang vor einer vollständigen Diagnose. Die Dokumentation ist nur dann von Bedeutung, wenn Maßnahmen überprüft, Verantwortlichen zugewiesen und umgesetzt werden; andernfalls kann derselbe Ausfall mit einem neuen Zeitstempel wiederkehren.

Analyse

Kleine Freigaben erleichtern die Diagnose, weil sie den Kreis möglicher Ursachen eingrenzen. Hermetische Builds führen diesen Gedanken weiter zurück und machen das Artefakt selbst nachvollziehbar und reproduzierbar. Eine schuldzuweisungsfreie Nachbereitung bietet eine ergänzende Absicherung: Sie erleichtert es, auch unangenehme Informationen zu melden. Das bedeutet nicht, auf Rechenschaftspflicht zu verzichten. Vielmehr richtet sich die Verantwortung darauf, Kontrollen, Schnittstellen und Verfahren zu ändern, statt die ständige Wachsamkeit Einzelner zum dauerhaften Sicherheitsmechanismus zu machen. Der Ansatz setzt voraus, dass Führungskräfte Folgearbeiten finanzieren und nicht bloß das Postmortem-Dokument loben.

Lass ein überlastetes System Arbeit abweisen, bevor gesunde Server eine Ausfallkaskade auslösen.

Ein lokaler Ausfall kann sich auf das ganze System ausweiten. Fällt ein Cluster aus, kann sein Datenverkehr auf die verbleibenden Cluster umgeleitet werden. Diese Server werden dann überlastet, langsamer, verpassen Fristen und fallen ebenfalls aus – woraufhin noch mehr Datenverkehr weitergeleitet wird. Wiederholungsversuche können diese Schleife verschärfen, weil fehlgeschlagene Anfragen zusätzliche Anfragen erzeugen. Google empfiehlt deshalb, die Kapazität unter realistischen Lastbedingungen zu messen, Fristen festzulegen, Wiederholungsversuche zu begrenzen und zufällige Wartezeiten einzuführen, damit nicht viele Clients gleichzeitig erneut anfragen.

Bewahre nützliche Arbeit. Ein Dienst kann Anfragen niedrigerer Priorität ablehnen, Kontingente pro Kunde durchsetzen oder bei Überlastung eine günstigere, weniger vollständige Antwort liefern. Diese Techniken sind Formen des Lastabwurfs und der abgestuften Degradation. Die Kapazität sollte anhand begrenzter Ressourcen – häufig der CPU – gemessen werden, statt davon auszugehen, dass jede Abfrage gleich viel kostet. Ein im Buch geschilderter Ausfall bei der Shakespeare-Suche zeigt, worum es geht: Steigender Datenverkehr traf auf ein lange unentdecktes Ressourcenleck, und abgestürzte Tasks verringerten die Kapazität genau dann, als die Nachfrage am höchsten war.

Analyse

Überlastung ist eine Rückkopplungsschleife und nicht einfach ein Mangel an Maschinen. Eine Wiederholungsrichtlinie, die für eine einzelne Anfrage hilfreich erscheint, kann schädlich werden, wenn alle Clients ihr gleichzeitig folgen. Dasselbe gilt für automatische Neustarts und aggressive Zustandsprüfungen. Resilienz ist daher eine Eigenschaft des gesamten Anfragepfads, einschließlich des Verhaltens der Clients und der Abhängigkeiten. Ressourcenbasierte Grenzwerte und eine bewusst abgestufte Degradation helfen, einen Teil des Dienstes aufrechtzuerhalten. Sie müssen jedoch getestet werden, denn ein selten genutzter Ausweichpfad kann gerade dann fehlerhaft sein, wenn der Notfall eintritt.

Nutze Konsens statt Heartbeats, um festzulegen, wer für kritische Zustände verantwortlich ist.

Schweigen beweist keinen Ausfall. Verteilter Konsens (distributed consensus) ist ein Verfahren, mit dem sich eine Gruppe von Prozessen trotz verzögerter oder verlorener Nachrichten auf einen gemeinsamen Zustand einigen kann. Er eignet sich etwa für die Wahl einer Führungskomponente, die Verwaltung von Sperren und die Aufzeichnung kritischer Änderungen. Heartbeats und Zeitüberschreitungen können einen langsamen oder vom Netzwerk abgetrennten Knoten irrtümlich für ausgefallen halten. Im im Buch beschriebenen Split-Brain-Beispiel könnten zwei replizierte Dateiserver jeweils annehmen, der andere sei nicht erreichbar, und beide die Kontrolle übernehmen – mit der Gefahr einer Datenbeschädigung.

Setze auf bewährte Koordination. Konsenssysteme wie Paxos benötigen ein Quorum, also eine Mehrheit, die einer Änderung zustimmt, bevor sie übernommen wird. Drei Replikate können den Ausfall eines Replikats verkraften, fünf den Ausfall von zweien – vorausgesetzt, die übrigen Replikate können weiterhin miteinander kommunizieren und die Arbeit bewältigen. Diese Architektur bringt Zielkonflikte mit sich: Bei einer Netzwerkpartition können manche Vorgänge blockiert werden, um die Konsistenz zu schützen. Welche Lösung richtig ist, hängt davon ab, ob veraltete oder widersprüchliche Zustände für den Dienst akzeptabel sind.

Analyse

Die zentrale Einsicht ist erkenntnistheoretischer Art: Wenn die Kommunikation unzuverlässig ist, kann ein Prozess aus dem Schweigen allein nicht schließen, dass ein anderer Prozess ausgefallen ist. Konsens macht Netzwerke nicht zuverlässig; er gibt Regeln dafür vor, wie sich sicher handeln lässt, wenn das Netzwerk es nicht ist. Diese Sicherheit kann während einer Partition zulasten der Verfügbarkeit gehen, weshalb die Kritikalität entscheidend ist. Ein Zähler für Protokolle, eine gemeinsam genutzte Konfiguration oder eine Führungsentscheidung erfordern stärkere Koordination als Daten, deren vorübergehende Inkonsistenz keine spürbaren Folgen hat. Gefährlich wird es, informelle Abstimmung für Zustände zu verwenden, bei denen sich Nutzer keine Aufspaltung leisten können.

Betrachte die Wiederherstellungszeit als Teil der Datenintegrität und nicht als nachträglichen Gedanken.

Eine Kopie ist noch kein Wiederherstellungsplan. Durch Replikation können sich eine versehentliche Löschung oder eine Beschädigung auf alle Replikate ausbreiten. Backups müssen sich innerhalb einer für die Nutzer vertretbaren Zeit wiederherstellen lassen, und die Wiederherstellungsverfahren müssen regelmäßig vollständig getestet werden. Eine mehrstufige Strategie kann gelöschte Daten zunächst zurückhalten, häufige lokale Wiederherstellungspunkte, länger aufbewahrte Kopien und unabhängigen Speicher für standortweite Katastrophen umfassen. Unabhängige Prüfwerkzeuge können Inkonsistenzen erkennen, bevor sich beschädigte Daten weiter ausbreiten.

Übe die Wiederherstellung. Im Jahr 2011 nutzte Gmail sein Bandsicherungssystem, um verlorene Nutzerdaten wiederherzustellen. Dieses Verfahren war vor dem Vorfall geprobt worden. Der im Buch geschilderte Fall von Google Music zeigt, welche Größenordnungen dabei eine Rolle spielen: Für die Wiederherstellung mussten Tausende von Bändern abgerufen werden, nachdem eine Löschpipeline die Audioverweise für Zehntausende Nutzer entfernt hatte. Das Prinzip ist einfach, aber anspruchsvoll: Miss, ob Nutzer wieder auf korrekte und zugängliche Daten zugreifen können – nicht bloß, ob ein Sicherungsauftrag Erfolg meldet.

Analyse

Der Schutz von Daten muss zwei verschiedene Prüfungen bestehen: Sind die Informationen korrekt, und kann der Nutzer bei Bedarf auf sie zugreifen? Ein technisch unversehrtes Archiv, dessen Wiederherstellung zu lange dauert, kann für die wartende Person einem Verlust gleichkommen. Ein mehrstufiger Schutz berücksichtigt außerdem, dass Backups dieselben Schwachstellen wie die Produktionsumgebung aufweisen können. Unterschiedliche Speicher- und Ausfallarten sind daher wichtig. Wiederherstellungstests kosten Zeit und Kapazität, doch ein ungeprüfter Wiederherstellungsprozess ist ein unkalkuliertes Risiko und keine nachgewiesene Schutzmaßnahme.

Verankere Zuverlässigkeit in gemeinsam genutzten Plattformen, bevor sie nach dem Start teuer wird.

Verlagere Zuverlässigkeit an den Anfang. Eine Produktionsreifeprüfung (Production Readiness Review) untersucht Architektur, Überwachung, Notfallreaktion, Kapazität, Änderungsmanagement und Leistung, bevor SRE die Verantwortung für den Produktivbetrieb übernimmt. Es ist besser, schon während des Entwurfs damit zu beginnen, als Zuverlässigkeit nachträglich einzubauen, wenn ein Dienst bereits beliebt ist. Gemeinsame Frameworks können vielen Teams standardisierte Überwachung, Protokollierung, Überlastungskontrollen und Bereitstellungsverfahren bereitstellen. So lassen sich individuelle Sonderlösungen und der Personalaufwand für den Betrieb jedes einzelnen Dienstes verringern.

Plane ausgehend vom Bedarf. Die Kapazitätsplanung funktioniert besser, wenn Teams ihren Bedarf beschreiben – etwa die Nachfrage in verschiedenen Regionen und die gewünschte Redundanz –, statt feste Maschinenzahlen anzufordern, ohne den Grund dafür zu nennen. Googles Werkzeug Auxon übersetzt solche Anforderungen in Ressourcenpläne. Die Abstimmung eines Starts folgt einem ähnlichen Prinzip. Der Start von NORADs Santa-Tracking brachte den Datenverkehr bei Keyhole auf etwa das 25-Fache des normalen Spitzenwerts. Dadurch wurden Lastannahmen, eine schrittweise Einführung und Notfallmaßnahmen unverzichtbar statt bloßer Formsache.

Analyse

Zuverlässigkeit wird günstiger, wenn sie in der Plattform verankert ist, statt erst am Ende durch eine Checkliste auferlegt zu werden. Gemeinsame Komponenten können gewonnene Erkenntnisse einmal umsetzen und breit verfügbar machen, während eine bedarfsorientierte Planung bei Veränderungen von Angebot und Nachfrage Flexibilität erhält. Dabei besteht ein Spannungsverhältnis: Eine Standardplattform kann unnötige Unterschiede verringern, doch eine allzu starre Plattform kann die Entwicklung außergewöhnlicher Dienste erschweren. Das beste Modell bietet sichere Voreinstellungen und klar definierte Auswege und sieht eine intensive Zusammenarbeit mit SRE nur für Systeme vor, deren Risiko und Komplexität sie rechtfertigen.

Analyse

Der zentrale Gedanke des Buches ist, Zuverlässigkeit als technisch gestalteten Zielkonflikt neu zu definieren, statt als Versprechen eines unterbrechungsfreien Betriebs. Diese Verschiebung ist organisatorisch bedeutsam. Entwicklungs- und Betriebsteams scheinen sich über Freigaben oft uneinig zu sein, weil für jedes Team ein anderes Ziel maßgeblich ist. Ein SLO und das dazugehörige Fehlerbudget schaffen eine gemeinsame Beschränkung. So können Teams Risiken anhand von Fakten statt anhand konkurrierender Intuitionen diskutieren. Zuverlässigkeit wird zu einer Produktentscheidung und nicht zu einem Veto einer getrennten Abteilung.

Der zweite Schritt besteht darin, Betriebsarbeit als Informationsquelle für die Gestaltung zu nutzen. Alarmierungen, Tickets, langsame Wiederherstellungen und Kapazitätsausfälle sind nicht bloß Arbeitslast, die es zu bewältigen gilt. Sie zeigen, wo der Dienst von Menschen abhängig ist, wo Messungen die Nutzererfahrung verfehlen und wo die Architektur nicht skalierbar ist. Die Begrenzung des Betriebsaufwands auf 50 Prozent ist daher mehr als ein Produktivitätsziel. Sie schützt Zeit, um wiederkehrende Vorfälle in Code, einfachere Schnittstellen und autonomes Verhalten umzusetzen. Ohne diese geschützte Kapazität kann ein Team sehr beschäftigt sein, während sich der Dienst nicht verändert.

Die wichtigste Erkenntnis des Buches über Systeme ist, dass lokale Verbesserungen das Gesamtsystem destabilisieren können. Wiederholungsversuche, Neustarts, Caching, Replikation und Automatisierung erscheinen isoliert betrachtet jeweils vorteilhaft, können Fehler im Zusammenspiel jedoch verstärken, wenn das System im großen Maßstab betrieben wird. Deshalb müssen Tests auch Überlastung, Wiederherstellung und ungewöhnliche Kombinationen abdecken und dürfen sich nicht auf den Normalbetrieb beschränken. Eine schuldzuweisungsfreie Analyse unterstützt diese Arbeit, indem sie Ausfalldaten verfügbar macht, statt sie politisch heikel werden zu lassen.

Googles Verfahren sind kein Komplettrezept. Sie setzen technisches Know-how, umfassende Überwachung, eine Führung mit der Befugnis voraus, Freigaben zu stoppen, sowie eine ausreichend einheitliche Infrastruktur, die gemeinsame Werkzeuge ermöglicht. Kleineren Organisationen fehlen möglicherweise diese Voraussetzungen. Übertragbar ist nicht, Googles Personalquoten oder Systeme zu kopieren, sondern Risiken offenzulegen, Zeit für Ingenieursarbeit zu schützen und die Funktionsfähigkeit von Schutzmaßnahmen zu überprüfen. Zuverlässigkeit entsteht durch Rückkopplungsschleifen, die Nutzerergebnisse, Betriebserkenntnisse und Änderungen am Entwurf miteinander verbinden.

Zusammenfassung in 30 Sekunden
Zuverlässigkeitsziele sollten sich nach den Bedürfnissen der Nutzer richten; das daraus entstehende Fehlerbudget gibt den Rahmen für das Risiko von Releases vor. Begrenzen Sie wiederkehrende manuelle Betriebsarbeit auf weniger als die Hälfte der SRE-Zeit, damit Ingenieure Dienste automatisieren und verbessern können. Lösen Sie nur dann einen Alarm aus, wenn rasches Handeln den Schaden für Nutzer verringern kann, und führen Sie Releases schrittweise und reversibel durch. Analysieren Sie Vorfälle ohne Schuldzuweisungen und setzen Sie anschließend vorbeugende Maßnahmen um. Begrenzen Sie Wiederholungsversuche und verwerfen Sie bei Überlastung Arbeit mit niedrigerer Priorität. Testen Sie Sicherungen durch eine vollständige Wiederherstellung, nicht nur durch erfolgreiches Kopieren.
Enthält Spoiler

Zuletzt aktualisiert:

Problem melden

Rezensionsübersicht

4.21 von 5
Durchschnitt von 2.000+ Bewertungen von Goodreads und Amazon.

Site Reliability Engineering wird unterschiedlich bewertet: Leser loben die wertvollen Einblicke in Googles Vorgehensweisen, kritisieren aber die schwankende Qualität und Wiederholungen. Viele halten das Buch für unverzichtbar, um den Betrieb von Systemen in großem Maßstab zu verstehen, während andere es für zu stark auf Google zugeschnitten halten. Zu den Stärken zählen praktische Ratschläge zu Überwachung, Fehlerbudgets und Nachbesprechungen von Vorfällen. Kritik gilt vor allem der Länge des Buches, dem uneinheitlichen Schreibstil und gelegentlicher Selbstgefälligkeit. Trotz dieser Nachteile gilt es weithin als einflussreiche Ressource für Fachleute im Bereich SRE und DevOps und bietet einzigartige Perspektiven darauf, wie sich zuverlässige Dienste im großen Maßstab betreiben lassen.

Ihre Bewertung:
4.59
290 Bewertungen
Möchten Sie das vollständige Buch lesen?

Glossar

Site Reliability Engineering

Softwareentwicklung für den Betrieb

Eine Ingenieursdisziplin, die Methoden der Softwareentwicklung auf den Betrieb von Produktionsdiensten anwendet. SRE-Teams tragen gemeinsam Verantwortung für Zuverlässigkeit, Verfügbarkeit, Leistung, Kapazität und die Reaktion auf Vorfälle. Sie automatisieren repetitive Arbeit und entwickeln Systeme, die weniger routinemäßige Eingriffe durch Menschen erfordern, während sie die Stabilität des Dienstes mit dem Tempo von Produktänderungen in Einklang bringen.

Dienstgüteindikator (Service Level Indicator)

Gemessenes Dienstverhalten

Ein quantitatives Maß für einen Aspekt der Dienstqualität, etwa die Erfolgsrate von Anfragen, Latenz, Durchsatz oder Datenbeständigkeit. Ein SLI sollte ein für Nutzer relevantes Verhalten möglichst unmittelbar abbilden. Anhand dieser Messgröße wird beurteilt, ob ein Dienst sein Ziel erreicht.

Dienstgüteziel (Service Level Objective)

Zielwert für eine Dienstmessgröße

Ein Zielwert oder Zielbereich für einen Dienstgüteindikator, etwa ein festgelegter Anteil von Anfragen, die erfolgreich oder innerhalb einer Latenzgrenze abgeschlossen werden. SLOs legen Erwartungen für Nutzer fest und steuern technische Prioritäten. Sie sind operative Zielvorgaben und nicht unbedingt vertragliche Zusagen.

Dienstgütevereinbarung (Service Level Agreement)

Vereinbarung mit Konsequenzen

Eine ausdrückliche oder stillschweigende Vereinbarung mit Nutzern eines Dienstes, die Konsequenzen für das Erreichen oder Verfehlen festgelegter Dienstziele umfasst. Zu den Konsequenzen können finanzielle Sanktionen oder andere Zusagen gehören. Anders als ein SLO beantwortet ein SLA die Frage, was geschieht, wenn das Ziel nicht erreicht wird.

Fehlerbudget

Zulässige Unzuverlässigkeit

Das Ausmaß an Dienstausfällen, das ein SLO über einen festgelegten Zeitraum zulässt. Wenn ein Dienst eine Verfügbarkeit von 99,99 Prozent anstrebt, entsprechen die verbleibenden 0,01 Prozent seinem möglichen Fehlerbudget. Teams nutzen das Budget, um das Risiko von Releases und die Zuverlässigkeit gegeneinander abzuwägen; ist es aufgebraucht, können sie Änderungen verlangsamen oder aussetzen.

Routineaufwand (toil)

Mit dem Dienstwachstum zunehmende repetitive Betriebsarbeit

Betriebsarbeit, die üblicherweise manuell, repetitiv, taktisch und automatisierbar ist und keinen dauerhaften Mehrwert schafft. Sie nimmt tendenziell proportional zum Wachstum des Dienstes zu. Routineaufwand unterscheidet sich von Ingenieursarbeit, die einen Dienst dauerhaft verbessert – auch wenn diese Arbeit mühsam ist.

Die vier goldenen Signale

Zentrale Messgrößen für den Zustand eines Dienstes

Ein Überwachungsmodell für nutzerseitige Dienste, das sich auf Latenz, Traffic, Fehler und Auslastung konzentriert. Die Latenz misst die Antwortzeit, der Traffic die Nachfrage, Fehler erfassen fehlgeschlagene oder falsche Antworten, und die Auslastung zeigt, wie nahe begrenzte Ressourcen an ihre Kapazitätsgrenzen kommen. Zusammengenommen helfen die Signale, sowohl aktuelle Probleme als auch eine bevorstehende Überlastung zu erkennen.

Auslaufender Task (lame duck)

Task im Auslauf, der noch reagiert

Ein Backend-Zustand, in dem ein Task weiterhin bestehende Anfragen bedienen kann, Clients aber mitteilt, keine neuen Anfragen mehr zu senden. So kann laufende Arbeit abgeschlossen werden, bevor der Task heruntergefahren wird, wodurch Fehler bei Softwareaktualisierungen, Wartungsarbeiten oder einer Neuplanung reduziert werden.

verteilter Konsens (distributed consensus)

Übereinstimmung zwischen Prozessen in einem unzuverlässigen Netzwerk

Ein Verfahren, mit dem mehrere Prozesse, die über ein unzuverlässiges Netzwerk kommunizieren, sich auf einen kritischen gemeinsamen Zustand einigen können. Es wird häufig für die Wahl einer Führungskomponente, verteilte Sperren und geordnete Aktualisierungen verwendet. Konsensprotokolle nutzen Quorumregeln, um die Konsistenz zu schützen, wenn Prozesse ausfallen oder nicht kommunizieren können.

Produktionsreifeprüfung (Production Readiness Review)

Zuverlässigkeitsbewertung vor dem Produktionseinsatz

Eine strukturierte Prüfung der Einsatzbereitschaft eines Dienstes für den Produktionsbetrieb. SREs bewerten Architektur, Abhängigkeiten, Überwachung, Reaktion auf Vorfälle, Kapazität, Änderungsmanagement, Leistung und Betriebsabläufe. Die Prüfung ermittelt notwendige Verbesserungen und Schulungsbedarfe, bevor SRE die Verantwortung für die Produktionsunterstützung übernimmt.

FAQ

Worum geht es in Site Reliability Engineering: How Google Runs Production Systems?

  • Schwerpunkt Zuverlässigkeit: Das Buch behandelt Site Reliability Engineering (SRE), eine Disziplin, die Prinzipien der Softwareentwicklung auf Infrastruktur und Betrieb anwendet, um skalierbare und zuverlässige Systeme zu schaffen.
  • Googles Ansatz: Es beschreibt, wie Google SRE für den Betrieb seiner Dienste einsetzt, und betont dabei Zuverlässigkeit, Automatisierung und technische Verfahren.
  • Praxisbeispiele: Das Buch enthält Fallstudien aus Googles Erfahrungen und veranschaulicht, wie SRE-Prinzipien die Zuverlässigkeit von Diensten und die betriebliche Effizienz verbessern.

Warum sollte ich Site Reliability Engineering: How Google Runs Production Systems lesen?

  • Von Experten lernen: Das Buch wurde von erfahrenen Google-SREs verfasst und vermittelt Insiderwissen zum Betrieb großer Systeme.
  • Anwendbare Praktiken: Die Prinzipien lassen sich an Organisationen jeder Größe anpassen und sind daher für alle relevant, die im IT-Betrieb tätig sind.
  • Umfassende Ressource: Das Buch dient sowohl als theoretischer Leitfaden als auch als praktisches Handbuch und behandelt Themen von der Überwachung bis zur Kapazitätsplanung.

Was sind die wichtigsten Erkenntnisse aus Site Reliability Engineering: How Google Runs Production Systems?

  • Betonung der Zuverlässigkeit: Zuverlässigkeit ist das grundlegendste Merkmal jedes Produkts, denn unzuverlässige Systeme sind nicht nützlich.
  • Fehlerbudgets: Das Buch führt Fehlerbudgets ein, um Innovation und Zuverlässigkeit auszubalancieren und kalkulierte Risiken zu ermöglichen, während die Dienstgüte erhalten bleibt.
  • Automatisierung und Reduzierung des Routineaufwands: Es betont, wie wichtig Automatisierung ist, um den betrieblichen Routineaufwand zu verringern und Teams eine wirksame Skalierung zu ermöglichen.

Was sind die besten Zitate aus Site Reliability Engineering: How Google Runs Production Systems und was bedeuten sie?

  • „Hoffnung ist keine Strategie.“: Das Zitat betont die Notwendigkeit konkreter Pläne und Maßnahmen, statt sich auf Optimismus zu verlassen.
  • „Der Preis der Zuverlässigkeit ist das Streben nach größtmöglicher Einfachheit.“: Es legt nahe, dass einfachere Systeme zuverlässiger sind, weil Komplexität zusätzliche Fehlerquellen schafft.
  • „Wenn ein menschlicher Bediener Ihr System im normalen Betrieb anfassen muss, haben Sie einen Fehler.“: Das Zitat hebt das Ziel der Automatisierung hervor, menschliche Eingriffe auf ein Minimum zu reduzieren.

Wie definiert und steuert Site Reliability Engineering: How Google Runs Production Systems Risiken?

  • Risiko als Kontinuum: SREs bewerten, welches Maß an Zuverlässigkeit für die jeweiligen Dienste angemessen ist, und richten Zuverlässigkeitsziele an den Geschäftszielen aus.
  • Fehlerbudgets: Sie beziffern das akzeptable Maß an Unzuverlässigkeit und wägen den Bedarf an neuen Funktionen gegen den Erhalt der Zuverlässigkeit ab.
  • Dienstgüteziele (SLOs): Sie definieren die erwartete Zuverlässigkeit eines Dienstes und leiten das Risikomanagement und die technischen Maßnahmen.

Welche Rolle hat ein SRE laut Site Reliability Engineering: How Google Runs Production Systems?

  • Betriebsverantwortung: SREs kümmern sich um Verfügbarkeit, Latenz, Leistung, Effizienz, Änderungsmanagement, Überwachung, Notfallreaktion und Kapazitätsplanung.
  • Technischer Schwerpunkt: Sie wenden Prinzipien der Softwareentwicklung auf betriebliche Probleme an und ermöglichen so effiziente und skalierbare Lösungen.
  • Zusammenarbeit mit Entwicklungsteams: Sie arbeiten eng mit der Produktentwicklung zusammen, damit Zuverlässigkeit von Anfang an in die Software eingebaut wird.

Wie gewährleistet Google laut Site Reliability Engineering: How Google Runs Production Systems die Zuverlässigkeit seiner Systeme?

  • Überwachungssysteme: Eine umfassende Überwachung erfasst Leistung und Zustand und ermöglicht die schnelle Erkennung von Problemen.
  • Vorfallmanagement: Ein robustes Verfahren umfasst Vorbereitung, Erkennung, Reaktion und Analyse nach einem Vorfall, um kontinuierliche Verbesserungen zu ermöglichen.
  • Kapazitätsplanung: Sie nimmt den künftigen Bedarf vorweg, damit Systeme die erwartete Last ohne Leistungseinbußen bewältigen können.

Welche Bedeutung hat die Überwachung in Site Reliability Engineering: How Google Runs Production Systems?

  • Grundlage der Zuverlässigkeit: Sie ist entscheidend für das Verständnis von Systemzustand und Leistung und ermöglicht es, Probleme zu erkennen, bevor sie sich auf Nutzer auswirken.
  • Die vier goldenen Signale: Latenz, Traffic, Fehler und Auslastung sind wichtige Messgrößen, die einen umfassenden Überblick über die Leistung eines Dienstes geben.
  • Alarmierungssysteme: Alarme müssen handlungsrelevant und aussagekräftig sein, damit Bereitschaftsingenieure sich auf tatsächliche Probleme konzentrieren können.

Wie funktioniert die im Buch Site Reliability Engineering: How Google Runs Production Systems beschriebene schuldzuweisungsfreie Nachbesprechung eines Vorfalls?

  • Schwerpunkt Lernen: Vorfälle werden analysiert, ohne Schuldzuweisungen vorzunehmen; es wird untersucht, was schiefgelaufen ist und wie sich künftige Probleme verhindern lassen.
  • Strukturierter Ansatz: Dazu gehören das Sammeln von Daten, das Ermitteln der Grundursachen und das Dokumentieren der Erkenntnisse, um Wissen weiterzugeben.
  • Verankerung in der Unternehmenskultur: Der Ansatz bekräftigt, dass Fehler Gelegenheiten zum Lernen sind, und fördert eine Kultur der Verbesserung.

Wie geht Google laut Site Reliability Engineering: How Google Runs Production Systems mit Überlastung seiner Systeme um?

  • Behutsame Verschlechterung des Dienstes: Strategien für Antworten mit eingeschränkter Qualität ermöglichen den Weiterbetrieb unter hoher Belastung.
  • Lastabwurf: Bei Überlastung werden weniger kritische Anfragen verworfen, damit wichtige Dienste betriebsfähig bleiben.
  • Überwachung und Alarme: Durch die frühzeitige Erkennung von Überlastungsbedingungen kann reagiert werden, bevor sich die Lage verschärft.

Was bedeutet Routineaufwand in Site Reliability Engineering: How Google Runs Production Systems?

  • Definition von Routineaufwand: Banale, repetitive Betriebsarbeit ohne dauerhaften Mehrwert, die linear mit dem Wachstum eines Dienstes zunimmt.
  • Auswirkungen auf die Arbeitsbelastung von SREs: SREs sollten höchstens 50 Prozent ihrer Zeit mit Betriebsarbeit verbringen und sich auf technische Projekte konzentrieren.
  • Beseitigung von Routineaufwand: Zu den Strategien gehören die Automatisierung repetitiver Aufgaben und eine verbesserte Systemgestaltung, um manuelle Eingriffe zu minimieren.

Wie gewährleistet Google laut Site Reliability Engineering: How Google Runs Production Systems die Zuverlässigkeit bei Produkteinführungen?

  • Technische Koordination von Produkteinführungen: Ein eigenes Team überwacht Produkteinführungen und mindert die damit verbundenen Risiken.
  • Checklisten vor der Einführung: Detaillierte Checklisten bereiten Teams auf mögliche Probleme vor und stellen sicher, dass vor der Einführung die nötigen Schritte erfolgen.
  • Schrittweise Einführung: Die Auswirkungen neuer Funktionen auf die Leistung werden überwacht, sodass bei Problemen rasch ein Rollback möglich ist.

Über den Autor

Betsy Beyer ist Technical Writer bei Google in New York City und auf Site Reliability Engineering spezialisiert. Zu ihrem beruflichen Hintergrund gehört das Verfassen von Dokumentation für Googles Data-Center- und Hardware-Operations-Teams an weltweit verteilten Rechenzentrumsstandorten. Vor ihrer jetzigen Tätigkeit lehrte Beyer technisches Schreiben an der Stanford University. Ihr Bildungshintergrund ist vielfältig: Sie hat Abschlüsse in Internationalen Beziehungen und Englischer Literatur von Stanford und Tulane. Diese Verbindung aus technischem Fachwissen und literarischen Fähigkeiten ermöglicht es ihr, in ihrer Arbeit bei Google komplexe technische Konzepte wirkungsvoll zu vermitteln und die Kluft zwischen technischem und nicht technischem Publikum zu überbrücken.

PDF herunterladen

Lade das kostenlose PDF herunter, um die Zusammenfassung von Site Reliability Engineering für später zu speichern. Du kannst es ausdrucken oder offline lesen, wann immer du möchtest.
Download PDF

EPUB herunterladen

Lade das kostenlose EPUB herunter, um die Zusammenfassung von Site Reliability Engineering auf deinem E-Reader oder in einer Lese-App zu lesen. Das digitale Buchformat .epub eignet sich ideal zum Lesen auf Smartphones, Tablets und E-Readern.
Download EPUB
Möchten Sie das vollständige Buch lesen?
Folgen
Anhören
Start
Swipe
Biblio
App
3 Tage Vollzugriff testen
Anhören, speichern und mehr
Funktionen vergleichen Kostenlos Pro
📖 Zusammenfassungen lesen
Unbegrenzt Zusammenfassungen lesen. Kostenlose Nutzer erhalten 3 pro Monat
🎧 Zusammenfassungen anhören
Unbegrenzt Zusammenfassungen in 40 Sprachen anhören
—
❤️ Unbegrenzte Lesezeichen
Kostenlose Nutzer sind auf 4 begrenzt
—
📜 Unbegrenzter Verlauf
Kostenlose Nutzer sind auf 4 begrenzt
—
📥 Unbegrenzte Downloads
Kostenlose Nutzer sind auf 1 begrenzt
—
Risikofreier Zeitplan
Heute: Sofortzugang erhalten
Vollständige Zusammenfassungen von über 26.000 Büchern anhören. Das sind über 12.000 Stunden Audio!
Tag 2: Erinnerung an Testphase
Wir senden Ihnen eine Benachrichtigung, dass Ihre Testphase bald endet.
Tag 3: Ihr Abonnement beginnt
Die Abbuchung erfolgt am 24. Nov.,
vorher jederzeit kündbar.
Consume 2.8× More Books
2.8× weitere Bücher Hören Lesen
Unsere Nutzer lieben uns
1M+ Leser
Trustpilot Rating
TrustPilot
4.6 Hervorragend
Diese Seite ist ein absoluter Gamechanger. Ich habe noch nie so schnell Buchzusammenfassungen gelesen. Sehr, sehr empfehlenswert.
— Dave G
Das Geld und die Zeit absolut wert und wirklich gut gemacht. Eine solche Qualität von Zusammenfassungen habe ich auf anderen Websites noch nie gesehen. Sehr hilfreich!
— Em
Sehr empfehlenswert!! Fantastischer Service. Perfekt für alle, die mehr als einen Teaser möchten, aber nicht alle Details eines vollständigen Hörbuchs brauchen.
— Greg M
62 % sparen
Jährlich
$119.88 $44.99/Jahr/J.
$3.75/Mon.
Monatlich
$9.99/Mon.
3-tägige kostenlose Testphase starten
3 Tage kostenlos, dann $44.99/Jahr. Jederzeit kündbar.
Unlock a world of fiction & nonfiction books
26.000+ Bücher zum Preis von 2 Büchern
Lesen Sie jedes Buch in 10 Minuten
Entdecken Sie neue Bücher wie bei Tinder
Fordern Sie jedes Buch an, das noch nicht zusammengefasst ist
Lesen Sie mehr Bücher als jeder, den Sie kennen
Die Nr. 1 App für Buchliebhaber
Lifelike & immersive summaries
30-Tage-Geld-zurück-Garantie
Zusammenfassungen als EPUB oder PDF herunterladen
Jederzeit mit wenigen Klicks kündbar

Warum nur eine Zusammenfassung?

Scanner
Barcode zum Scannen finden

⭐
⭐
⭐
Wir haben ein besonderes Geschenk für Sie
Öffnen
38% Rabatt
RABATT FÜR DICH
⭐
⭐
⭐
$79.99
$49.99/Jahr
Nur $4.16 pro Monat
Weiter
Mit 2 Taps starten, ganz einfach kündigen
Einstellungen
Allgemein
Widget
Wird geladen...