guide:consistency@de

Leitfäden

Konsistenz, Snapshots und zookies

Warum ein Autorisierungssystem die Reihenfolge von ACL- und Inhaltsänderungen respektieren muss und wie Zanzibar das mit Spanner-Zeitstempeln und zookies erreicht.

Fakten geprüft am Abschnitte im Paper §2.2, §2.4, §2.4.4, §3.2.1, §3.2.5, §4.1

Eine ACL-Prüfung beantwortet die Frage „darf dieser Benutzer das tun, jetzt“. In einem weltweit replizierten System ist das „jetzt“ der schwierige Teil: Verschiedene Server haben verschiedene Schreibvorgänge gesehen. Diese Seite erklärt, welche Reihenfolge Zanzibar zu respektieren verspricht, wie Spanner es günstig macht, dieses Versprechen zu halten, und wie der zookie es einem Client erlaubt, die Mindestaktualität festzulegen, die eine Prüfung braucht.

Das „New Enemy“-Problem

Das Paper beginnt §2.2 mit einer Regel: “ACL checks must respect the order in which users modify ACLs and object contents to avoid unexpected sharing behaviors.” (ACL-Prüfungen müssen die Reihenfolge respektieren, in der Benutzer ACLs und Objektinhalte ändern, um unerwartetes Freigabeverhalten zu vermeiden.) Den Fehlerfall nennt es das „New Enemy“-Problem: Ein Benutzer, der gerade aus einer ACL entfernt wurde, sieht weiterhin Inhalte, die durch das Entfernen verborgen werden sollten.

Das Paper gibt zwei Beispiele. Diese Seite behält für diese beiden die Namen aus dem Paper bei, Alice, Bob und Charlie, damit Sie sie neben §2.2 lesen können; überall sonst verwendet sie das durchgehende Beispiel mit Anne, Beto und Chen.

Was kann schiefgehen, wenn eine Prüfung die zweite Änderung sieht, aber nicht die erste? Das linke Bild ist ein System ohne Reihenfolge; das rechte Bild ist dieselbe Geschichte unter Zanzibar.

Beispiel A ohne ReihenfolgeAlice entfernt Bob aus der Ordner-ACL (A1) und bittet dann Charlie, der neue Dokumente in den Ordner verschiebt (A2). Bobs Prüfung wird auf Daten ausgewertet, die A2 enthalten, aber nicht A1, also darf Bob die neuen Dokumente lesen. Das ist die Verletzung.ZeitT_A1T_A2AliceCharlieBobbittetA1: Bob ausOrdner entfernenA2: neue Doksin OrdnerPrüfung sieht A2,aber nicht A1Bob sieht dieneuen Doks
Verletzung: Die Prüfung wendet A2 ohne A1 an, und Bob liest die neuen Dokumente.
Beispiel A unter ZanzibarA1 und A2 erhalten Zeitstempel mit T_A1 kleiner als T_A2. Eine Prüfung auf einem Snapshot vor T_A2 sieht die Dokumente nicht im Ordner. Eine Prüfung auf einem Snapshot zu oder nach T_A2 sieht auch A1, also wird Bob in beiden Fällen abgewiesen.ZeitT_A1T_A2AliceCharlieBobbittetA1: Bob ausOrdner entfernenA2: neue Doksin OrdnerPrüfung beiT < T_A2Doks noch nichtim OrdnerPrüfung beiT ≥ T_A2sieht A1:Bob abgewiesen
Zanzibar: Jeder Snapshot, der A2 enthält, enthält auch A1.

Es gibt keinen Snapshot, der A2 enthält, aber nicht A1. Das ist die ganze Garantie: §2.2 erklärt, dass bei einer Prüfung zu T < T_A2 “the document ACLs will not include the folder ACL” (die Dokument-ACLs die Ordner-ACL nicht enthalten), und dass sie bei T ≥ T_A2 > T_A1 “will observe update A1, which removed Bob from the folder ACL” (die Aktualisierung A1 beobachtet, die Bob aus der Ordner-ACL entfernt hat).

Beispiel B unterscheidet sich in einem Detail: Die zweite Änderung betrifft die Inhalte des Dokuments, die im Speicher der Client-Anwendung liegen, nicht in Zanzibar. Zanzibar sieht diesen Schreibvorgang nie. Wie kann es wissen, dass eine Prüfung der neuen Inhalte aktuell genug sein muss?

Beispiel B ohne ReihenfolgeAlice entfernt Bob aus der Dokument-ACL (B1) und bittet dann Charlie, der neue Inhalte hinzufügt (B2). Bobs Prüfung wird auf einem veralteten Snapshot von vor B1 ausgewertet, erlaubt Bob also weiterhin, und Bob liest die neuen Inhalte. Das ist die Verletzung.ZeitT_B1T_B2AliceCharlieBobbittetB1: Bob ausDok-ACL entfernenB2: neue InhaltehinzufügenPrüfung beiveraltetem T < T_B1Bob sieht dieneuen Inhalte
Verletzung: Eine alte ACL wird auf neue Inhalte angewendet.
Beispiel B unter ZanzibarAlice entfernt Bob (B1). Charlies Inhaltsänderung erhält einen zookie, der ihren Zeitstempel T_B2 kodiert und mit den neuen Inhalten gespeichert wird. Bobs Prüfung trägt diesen zookie, wird also auf einem Snapshot zu oder nach T_B2 ausgewertet, der B1 enthält, und Bob wird abgewiesen.ZeitT_B1T_B2AliceCharlieBobbittetzookieB1: Bob ausDok-ACL entfernenB2 + zookie(T_B2)Prüfung trägtden zookiesieht B1:Bob abgewiesen
Zanzibar: Der mit B2 gespeicherte zookie erzwingt einen Snapshot zu oder nach T_B2.

Der gestrichelte Pfeil ist die Lösung. Der zookie reist mit dem Inhalt, sodass die Prüfung zu B2 nicht auf einem Snapshot laufen kann, der älter ist als B2, und jeder solche Snapshot enthält bereits B1. Der Rest der Seite erklärt die beiden Eigenschaften, auf denen das beruht, und das Protokoll, das den zookie weiterreicht.

Kausal aussagekräftige Zeitstempel

§2.2 nennt zwei Eigenschaften: externe Konsistenz und Snapshot-Lesevorgänge mit begrenzter Veraltung. Für die externe Konsistenz zitiert das Paper Giffords Dissertation von 1981. Das Spanner-Paper formuliert dieselbe Eigenschaft für Transaktionen: “if a transaction T1 commits before another transaction T2 starts, then T1’s commit timestamp is smaller than T2’s” (wenn eine Transaktion T1 committet, bevor eine andere Transaktion T2 beginnt, ist der Commit-Zeitstempel von T1 kleiner als der von T2), und merkt an, dass dies “equivalently, linearizability” (gleichbedeutend mit Linearisierbarkeit) ist, mit Verweis auf Herlihy und Wing (1990).

In den Worten von Zanzibar (§2.2) erhalten zwei kausal zusammenhängende Aktualisierungen x ≺ y Zeitstempel mit T_x < T_y. Ein Snapshot-Lesevorgang zum Zeitstempel T “observes all updates with timestamps ≤ T” (beobachtet alle Aktualisierungen mit Zeitstempeln ≤ T). Zusammengenommen: Wenn ein Lesevorgang y sieht, sieht er auch alles, was vor y geschah. Das funktioniert, weil der Speicher mehrere Versionen hält: Spanner definiert einen Snapshot-Lesevorgang als “a read in the past that executes without locking” (Spanner §4.1) (einen Lesevorgang in der Vergangenheit, der ohne Sperren ausgeführt wird), und in einem Mehrversionsspeicher “each write on a data item produces a new copy (or version)” (Bernstein und Goodman, 1983) (erzeugt jeder Schreibvorgang auf ein Datenelement eine neue Kopie (oder Version)).

Was sieht ein Leser unter dieser Regel, und was kann ein Leser eines letztlich konsistenten (eventually consistent) Replikats sehen? In dieser Variante liegt das Readme zunächst außerhalb von folder:A. Anne entfernt zuerst Chen als Betrachter von folder:A (x, committet bei T=10) und verschiebt dann doc:readme in folder:A (y, bei T=20).

Snapshot-Lesevorgänge im Vergleich zu einem letztlich konsistenten ReplikatSchreibvorgang x entfernt Chen aus folder:A zum Zeitstempel 10; Schreibvorgang y verschiebt doc:readme in folder:A zum Zeitstempel 20, und x geschieht vor y. Ein Snapshot-Lesevorgang bei T=15 sieht nur x; ein Snapshot-Lesevorgang bei T=25 sieht x und y. Ein letztlich konsistentes Replikat wendet y vor x an, und in diesem Zeitfenster kann Chen das Readme sehen.ZeitT=10T=20ACL-SchreibvorgängeSnapshot-LesevorgangEventual-Replikatx ≺ yx: Chen ausfolder:A entferneny: Readme infolder:A verschiebenSnapshot bei T=15:sieht nur xReplikat hat y,noch nicht xSnapshot bei T=25:sieht x und yChen sieht Readme(x nicht angewendet)
Ein Snapshot zu einem beliebigen T ist ein Präfix der kausalen Reihenfolge. Ein Eventual-Replikat kann y ohne x zeigen, bis es aufgeholt hat.

Die beiden Snapshot-Lesevorgänge unterscheiden sich darin, wie viel sie sehen, aber nie in der Reihenfolge: Jeder ist ein Präfix der Historie. Auch das Eventual-Replikat wird konvergieren, kann aber bis dahin einen Zustand zeigen, der nie existiert hat. Das Paper zieht diesen Kontrast selbst in §5: TAO “offers eventual global consistency with asynchronous replication” (bietet letztliche globale Konsistenz mit asynchroner Replikation), während Zanzibar “provides external consistency and snapshot reads with bounded staleness” (externe Konsistenz und Snapshot-Lesevorgänge mit begrenzter Veraltung bereitstellt).

Woher die Zeitstempel kommen: TrueTime

Zanzibar berechnet diese Zeitstempel nicht selbst. Es speichert ACLs in Spanner, dessen “TrueTime mechanism assigns each ACL write a microsecond-resolution timestamp, such that the timestamps of writes reflect the causal ordering between writes” (§2.2) (TrueTime-Mechanismus jedem ACL-Schreibvorgang einen Zeitstempel mit Mikrosekundenauflösung zuweist, sodass die Zeitstempel der Schreibvorgänge die kausale Reihenfolge zwischen Schreibvorgängen widerspiegeln). Wie das im Groben funktioniert, steht in §3, §4.1.2 und §4.2.1 des Spanner-Papers (OSDI ’12).

  • TT.now() gibt ein Intervall [earliest, latest] zurück, das garantiert den absoluten Zeitpunkt enthält, zu dem es aufgerufen wurde. Die Unsicherheit ε ist die halbe Breite des Intervalls; in der Produktionsumgebung von Google war sie “typically a sawtooth function of time, varying from about 1 to 7 ms over each poll interval” (typischerweise eine Sägezahnfunktion der Zeit, die über jedes Abfrageintervall zwischen etwa 1 und 7 ms schwankt).
  • Start: Der Leader gibt einem Schreibvorgang einen Commit-Zeitstempel s, der nicht kleiner ist als TT.now().latest.
  • Commit-Wait: Clients können den Schreibvorgang erst sehen, wenn TT.after(s) wahr ist, also wenn s überall sicher vergangen ist. Spanner merkt an, dass “the expected wait is at least 2 ∗ ε̄” (die erwartete Wartezeit mindestens 2 ∗ ε̄ beträgt), wobei ε̄ die durchschnittliche Fehlergrenze ist (§4.2.1).

Wie macht das Warten die Zeitstempel kausal?

Commit-Wait in SpannerEin Schreibvorgang erreicht den Leader, der TT.now() aufruft und ein Intervall von earliest bis latest der Breite 2 Epsilon erhält. Der Leader wählt s gleich latest. Dann wartet er, bis TT.after(s) wahr ist, was etwa 2 Epsilon dauert, und macht erst dann den Schreibvorgang sichtbar und antwortet. Jede Transaktion, die nach der Antwort beginnt, ruft TT.now() später auf, also ist ihr latest und damit ihr Zeitstempel größer als s.earliestlatestSchreibvorgangTT.now()s = latestTT.after(s)ist wahrsichtbar,Client informiertnächster Schreib-vorgang: Zeitst. > sUnsicherheit: 2εStartregels wählenCommit-Waitverursacht
Die Zeit läuft von links nach rechts, dann nach unten zum nächsten Schreibvorgang. Das Abwarten der Unsicherheit bedeutet, dass s in der Vergangenheit liegt, bevor irgendjemand auf den Schreibvorgang reagieren kann.

Beachten Sie den letzten Schritt: Alles, was durch den Schreibvorgang verursacht wird, beginnt, nachdem der Client informiert wurde, also nachdem s sicher vergangen war; daher ist sein eigenes TT.now().latest, und damit sein Zeitstempel, größer als s. Das ist externe Konsistenz, bezahlt mit ein paar Millisekunden Warten pro Schreibvorgang. §5 des Zanzibar-Papers fasst es zusammen: Zanzibar “builds on Spanner’s TrueTime abstraction” (baut auf der TrueTime-Abstraktion von Spanner auf), um “provide linearizable commit timestamps encoded as zookies” (linearisierbare Commit-Zeitstempel, kodiert als zookies, bereitzustellen).

Dasselbe Paper erklärt, warum Zanzibar stattdessen keine logische Uhr verwenden kann: Lamport-Uhren “require explicit participation of all ‘processes’, where in Zanzibar’s use cases some of the ‘processes’ can be external clients or even human users” (§5) (erfordern die explizite Beteiligung aller „Prozesse“, wobei in den Anwendungsfällen von Zanzibar einige der „Prozesse“ externe Clients oder sogar menschliche Benutzer sein können). In Beispiel A ist der Pfeil „bittet“ Alice, die mit Charlie spricht, ein Kanal, den keine Uhr sieht.

Das zookie-Protokoll

Snapshot-Lesevorgänge zu einem wohlgeordneten Zeitstempel lösen Beispiel A. Beispiel B braucht außerdem eine Prüfung, die aktuell genug ist. Eine Möglichkeit wäre, jede Prüfung auf dem neuesten Snapshot auszuwerten, doch §2.2 verwirft das: Es “would require global data synchronization with high-latency round trips and limited availability” (würde eine globale Datensynchronisation mit Round Trips hoher Latenz und eingeschränkter Verfügbarkeit erfordern). Stattdessen trägt der Client die benötigte Aktualität selbst, als zookie: “an opaque byte sequence encoding a globally meaningful timestamp that reflects an ACL write, a client content version, or a read snapshot” (§2.4) (eine opake Bytefolge, die einen global aussagekräftigen Zeitstempel kodiert, der einen ACL-Schreibvorgang, eine Inhaltsversion des Clients oder einen Lese-Snapshot widerspiegelt).

Wer hält den zookie bei jedem Schritt? In der Abbildung speichert Anne eine Bearbeitung von doc:readme, und später öffnet Beto es.

Das zookie-Protokoll1. Anne speichert eine Bearbeitung; die Client-App sendet eine Content-Change-Prüfung an Zanzibar, das sie auf dem neuesten Snapshot in Spanner auswertet. 2. Zanzibar antwortet mit erlaubt und einem zookie, dessen Zeitstempel später ist als alle vorherigen ACL-Schreibvorgänge. 3. Die App schreibt den neuen Inhalt und den zookie in einem atomaren Schreibvorgang in ihren eigenen Speicher. 4. Später öffnet Beto das Readme; die App lädt den Inhalt und seinen zookie. 5. Die App sendet eine Prüfung, die den zookie trägt. 6. Zanzibar wertet sie auf einem Snapshot aus, der mindestens so aktuell ist wie der zookie, und gibt die Antwort zurück.ZeitClient-AppClient-SpeicherZanzibarSpannerkein zookiezookie zatomarv2, z ladenträgt zAnne speichertContent-Change-Prüfungauswerten aufneuestem Snapshotneuester Snapshoterlaubt +zookie zerhält zv2 + z schreibenreadme v2, zBeto öffnetReadmecheck(Beto, z)auswerten aufSnapshot ≥ zlesen beiT ≥ zAntwort zudiesem Snapshotv2 zeigen/verbergen
Der zookie wird von der Content-Change-Prüfung ausgegeben, neben dem Inhalt gespeichert und mit jeder späteren Prüfung dieser Version zurückgegeben.

Schritt für Schritt, nach §2.2 und §2.4.4:

  1. Content-Change-Prüfung. Wenn ein Benutzer gerade eine Änderung speichern will, sendet der Client eine Content-Change-Prüfung. Sie “does not carry a zookie and is evaluated at the latest snapshot” (§2.4.4) (trägt keinen zookie und wird auf dem neuesten Snapshot ausgewertet).
  2. zookie ausgegeben. Ist die Änderung erlaubt, enthält die Antwort einen zookie. Zanzibar “encodes a current global timestamp in the zookie and ensures that all prior ACL writes have lower timestamps” (§2.2) (kodiert einen aktuellen globalen Zeitstempel im zookie und stellt sicher, dass alle vorherigen ACL-Schreibvorgänge niedrigere Zeitstempel haben).
  3. Mit dem Inhalt gespeichert. “The client stores the zookie with the content change in an atomic write to the client storage” (§2.2) (Der Client speichert den zookie zusammen mit der Inhaltsänderung in einem atomaren Schreibvorgang in den Client-Speicher). Die Prüfung selbst muss nicht in derselben Transaktion liegen wie der Schreibvorgang des Inhalts.
  4. Von späteren Prüfungen mitgeführt. Jede spätere Prüfung dieser Inhaltsversion sendet den gespeicherten zookie mit.
  5. Mindestens so aktuell ausgewertet. “A check is always evaluated at a consistent snapshot no earlier than the given zookie” (§2.4.4) (Eine Prüfung wird stets auf einem konsistenten Snapshot ausgewertet, der nicht früher liegt als der angegebene zookie).

In Beispiel B kodiert der mit den neuen Inhalten gespeicherte zookie T_B2, und T_B2 > T_B1, also muss Bobs Prüfung in Schritt 5 seine Entfernung sehen.

Der zookie ist absichtlich opak. Das Paper verwendet “an opaque cookie instead of the actual timestamp to discourage our clients from choosing arbitrary timestamps and to allow future extensions” (§2.4) (ein opakes Cookie anstelle des tatsächlichen Zeitstempels, um unsere Clients davon abzuhalten, beliebige Zeitstempel zu wählen, und um zukünftige Erweiterungen zu ermöglichen). §5 ergänzt, dass das Protokoll “does not let clients read or evaluate ACLs at an arbitrary snapshot” (es Clients nicht erlaubt, ACLs auf einem beliebigen Snapshot zu lesen oder auszuwerten), und genau das überlässt die Wahl Zanzibar.

Warum „mindestens so aktuell“ und nicht „genau zu“

Ein zookie ist eine Untergrenze. Zanzibar darf eine Prüfung zum Zeitstempel des zookie oder zu jedem späteren auswerten. §2.2 nennt das die “at-least-as-fresh semantics” („mindestens so aktuell“-Semantik) des Protokolls und sagt, sie “allow[s] Zanzibar to choose any timestamp fresher than the one encoded in a zookie” (erlaube es Zanzibar, jeden Zeitstempel zu wählen, der aktueller ist als der in einem zookie kodierte). Diese Freiheit wird auf drei Arten genutzt.

  • Standard-Veraltung (§3.2.1). Ohne zookie wählt der Server “a default staleness chosen to ensure that all transactions are evaluated at a timestamp that is as recent as possible without impacting latency” (eine Standard-Veraltung, die so gewählt ist, dass alle Transaktionen zu einem Zeitstempel ausgewertet werden, der so aktuell wie möglich ist, ohne die Latenz zu beeinträchtigen). Jeder Server verfolgt, wie oft Lesevorgänge bei einer gegebenen Veraltung die Zone verlassen mussten, und verschiebt den Standard auf “the lowest ‘safe’ value” (den niedrigsten „sicheren“ Wert). Das Paper merkt an, dass dies “is purely a performance optimization” (eine reine Performance-Optimierung ist), weil “Zanzibar always respects zookies when provided” (Zanzibar zookies immer respektiert, wenn sie angegeben werden).
  • Quantisierung (§3.2.5). Auswertungszeitstempel werden “rounded up to a coarse granularity, such as one or ten seconds, while respecting staleness constraints from request zookies” (auf eine grobe Granularität aufgerundet, etwa eine oder zehn Sekunden, unter Beachtung der Veraltungsgrenzen aus den zookies der Anfragen). Aufrunden verletzt nie eine Untergrenze.
  • Gemeinsame Caches (§3.2.5). Cache-Schlüssel enthalten den Snapshot-Zeitstempel, sodass Ergebnisse verschiedener Snapshots nie vermischt werden. Wegen der Rundung werden “the vast majority of recent checks and reads” (die überwiegende Mehrheit der aktuellen Prüfungen und Lesevorgänge) zu denselben Zeitstempeln ausgewertet und “share cache results” (teilen Cache-Ergebnisse).

Was bringt das Aufrunden, wenn drei Prüfungen mit zookies eintreffen, die einige hundert Millisekunden auseinanderliegen?

Auswertungszeitstempel aufrundenDrei Prüfungen, für Anne, Beto und Chen auf doc:readme, tragen zookies mit verschiedenen Mikrosekunden-Zeitstempeln innerhalb derselben Sekunde. Zanzibar rundet jeden auf denselben groben Zeitstempel T_q auf, der mindestens so groß ist wie jeder zookie, sodass alle drei auf einem Snapshot ausgewertet werden und Cache-Einträge mit dem Schlüssel T_q teilen. Jeder spätere Zeitstempel, bis zu den neuesten Daten beim Leader, wäre ebenfalls erlaubt.Annes Prüfungzookie 12,104 sBetos Prüfungzookie 12,380 sChens Prüfungzookie 12,911 sauswerten beiT_q = 13 sCache-Schlüsselenthält T_qneueste Daten(Leader)aufrundenaufrundengeteiltauch erlaubt
Alle drei zookies sind Untergrenzen; 13 s erfüllt sie alle. Die Zeitstempel dienen der Veranschaulichung und stammen nicht aus dem Paper.

T_q darf sogar leicht in der Zukunft liegen. §3.2.5 deckt diesen Fall ab: Spanner “ensures that a snapshot read at timestamp T will observe all writes up to T—this holds even if T is in the future, in which case the read will wait until TrueTime has moved past T.” (stellt sicher, dass ein Snapshot-Lesevorgang zum Zeitstempel T alle Schreibvorgänge bis T beobachtet; das gilt auch, wenn T in der Zukunft liegt, wobei der Lesevorgang dann wartet, bis TrueTime T überschritten hat.)

Safe- und Recent-Anfragen

Der Preis der Aktualität ist Entfernung. “When a zookie timestamp is higher than that of the most recent data replicated to the region, the storage reads require cross-region round trips to the leader replica” (§4.1) (Wenn ein zookie-Zeitstempel höher ist als der der neuesten in die Region replizierten Daten, erfordern die Speicher-Lesevorgänge regionsübergreifende Round Trips zum Leader-Replikat). Der Speicher repliziert mit “replication heartbeats with 8-second intervals” (Replikations-Heartbeats im Abstand von 8 Sekunden), daher teilt §4.1 die Anfragen bei 10 Sekunden:

  • Safe-Anfragen “have zookies more than 10 seconds old and can be served within the region most of time” (haben zookies, die älter als 10 Sekunden sind, und können meist innerhalb der Region bedient werden).
  • Recent-Anfragen “have zookies less than 10 seconds old and often require inter-region round trips” (haben zookies, die jünger als 10 Sekunden sind, und erfordern oft Round Trips zwischen Regionen).

Die 8 Sekunden entsprechen dem Spanner-Paper, wo “a leader by default advances MinNextTS() values every 8 seconds” (ein Leader standardmäßig alle 8 Sekunden die Werte von MinNextTS() vorrückt), sodass Replikate “can serve reads at timestamps greater than 8 seconds old in the worst case” (Spanner §4.2.1) (im schlechtesten Fall Lesevorgänge zu Zeitstempeln bedienen können, die älter als 8 Sekunden sind).

Tabelle 2 des Papers (§4.2) gibt die Latenz jeder Art in Millisekunden an, als Mittelwert (Standardabweichung) über einen 7-Tage-Zeitraum im Dezember 2018:

API 50. Perzentil 95. Perzentil 99. Perzentil
Safe Check 3,0 (0,091) 9,46 (0,3) 15,0 (1,19)
Safe Read 2,18 (0,031) 3,71 (0,094) 8,03 (3,28)
Safe Expand 4,27 (0,313) 8,84 (0,586) 34,1 (4,35)
Recent Check 2,86 (0,087) 60,0 (2,1) 76,3 (2,59)
Recent Read 2,21 (0,054) 40,1 (2,03) 86,2 (3,84)
Recent Expand 5,79 (0,224) 45,6 (3,44) 121,0 (2,38)
Recent Write 127,0 (3,65) 233,0 (23,0) 401,0 (133,0)

Die Mediane liegen nah beieinander, die Tails nicht. Das 95. Perzentil eines Recent-Check liegt bei 60,0 ms gegenüber 9,46 ms für einen Safe-Check: die Kosten der regionsübergreifenden Strecke. Schreibvorgänge sind am langsamsten, weil sie “always require distributed coordination among Spanner servers” (§4.2) (immer eine verteilte Koordination zwischen Spanner-Servern erfordern); in Spanner gehört zu dieser Koordination das Commit-Wait. Laut §4.1 und Abbildung 3 übersteigen Safe-Anfragen die Recent-Anfragen um “about two orders of magnitude” (etwa zwei Größenordnungen), “which allows Zanzibar to serve the vast majority of ACL checks locally” (was es Zanzibar erlaubt, die überwiegende Mehrheit der ACL-Prüfungen lokal zu bedienen). Die meisten Anfragen können Safe sein, weil ein zookie nur eine Untergrenze ist: Eine Prüfung älterer Inhalte darf ältere, bereits replizierte Daten verwenden.

Quellen