JetStream-Konfiguration

Inhaltsverzeichnis

JetStream für digitale Zwillinge

JetStream stellt die Persistenzschicht für die digitalen Zwillinge der Flotte bereit. Jeder Stream-Typ erfüllt einen bestimmten Zweck mit maßgeschneiderten Einstellungen für Aufbewahrung und Replikation.


Stream-Architektur

Fünf JetStream-Ressourcen unterstützen das Muster des digitalen Zwillings:

RessourceTypZweck
TWIN_STATEStreamTelemetrie mit Rollup
TWIN_EVENTSStreamDauerhafter Ereignis-Audit-Trail
TWIN_CMDStreamBefehlswarteschlange
TWIN_SHADOWKV-StoreGewünschter/gemeldeter Zustand
TWIN_BLOBSObject StoreGroße Artefakte

TWIN_STATE: Telemetrie-Stream

Speichert den kontinuierlichen Fahrzeugzustand mit Subject-basiertem Rollup:

name: TWIN_STATE
subjects:
  - "fleet.prod.veh.*.state.>"
retention: limits
max_age: 1h
max_bytes: 10GB
storage: file
replicas: 3
discard: old
rollup_hdrs: true

Konfiguration erklärt

EinstellungWertBegründung
retentionlimitsBegrenzt durch Alter und Größe
max_age1hAktuellen Zustand für Replay vorhalten
max_bytes10GBSpeicher pro Hub begrenzen
replicas3Knotenausfälle überstehen
rollup_hdrstrueRollup pro Subject aktivieren

Subject-Rollup

Mit aktiviertem Rollup können Consumer nur die neueste Nachricht pro Subject anfordern:

// Get latest position for all vehicles
sub, _ := js.Subscribe("fleet.prod.veh.*.state.position",
    nats.DeliverLastPerSubject())

Dadurch wird der Stream von einer Firehose zu einem abfragbaren Zustandsspeicher.

Consumer-Muster

MusterAnwendungsfall
DeliverAllHistorisches Replay, Analysen
DeliverLastSnapshot des aktuellen Zustands
DeliverLastPerSubjectNeuester Zustand pro Fahrzeug
StartTimeReplay ab einem bestimmten Zeitstempel

TWIN_EVENTS: Audit-Trail

Speichert diskrete Ereignisse mit langer Aufbewahrung für Compliance und Debugging:

name: TWIN_EVENTS
subjects:
  - "fleet.prod.veh.*.evt.>"
retention: limits
max_age: 90d
max_bytes: 100GB
storage: file
replicas: 3
discard: old

Konfiguration erklärt

EinstellungWertBegründung
max_age90dEinhaltung regulatorischer Vorgaben, Vorfallsanalyse
max_bytes100GBEreignisse sind kleiner als Zustandsdaten
storagefileBleibt über Neustarts hinweg erhalten

Ereigniseigenschaften

Ereignisse unterscheiden sich von Zustandsdaten:

EigenschaftZustandEreignisse
HäufigkeitKontinuierlich (Hz)Diskret (bei Änderung)
AufbewahrungKurz (Stunden)Lang (Monate)
ConsumerEchtzeit-DashboardsAudit, Analysen, Alarmierung
ReplayRekonstruktion des aktuellen ZustandsUntersuchung, Compliance

Beispielereignisse

// Armed event
{
  "vid": "VID-001",
  "timestamp": "2024-01-15T10:30:00Z",
  "data": {
    "previous_state": "disarmed",
    "armed_by": "operator-123",
    "reason": "mission_start"
  }
}

// Failsafe event
{
  "vid": "VID-001",
  "timestamp": "2024-01-15T11:45:00Z",
  "data": {
    "failsafe_type": "low_battery",
    "action_taken": "rtl",
    "battery_remaining": 0.15
  }
}

TWIN_CMD: Befehlswarteschlange

Speichert Befehle mit Workqueue-Aufbewahrung:

name: TWIN_CMD
subjects:
  - "fleet.prod.veh.*.cmd.>"
retention: workqueue
max_age: 5m
storage: file
replicas: 3

Konfiguration erklärt

EinstellungWertBegründung
retentionworkqueueNachrichten werden nach dem Ack gelöscht
max_age5mNicht bestätigte Befehle laufen ab
replicas3Garantierte Befehlszustellung

Workqueue-Semantik

  1. Befehl wird im Stream veröffentlicht
  2. Vehicle Gateway empfängt ihn (Exactly-once-Zustellung)
  3. Gateway verarbeitet den Befehl
  4. Gateway bestätigt die Nachricht (Ack)
  5. Nachricht wird aus dem Stream entfernt

Nicht bestätigte Befehle werden erneut zugestellt, damit bei Verbindungsabbrüchen keine Befehle verloren gehen.

Befehlsablauf

Fleet Operator               TWIN_CMD Stream              Vehicle Gateway
     │                             │                             │
     │ Publish: cmd.takeoff        │                             │
     │ ─────────────────────────▶  │                             │
     │                             │ Deliver to consumer         │
     │                             │ ─────────────────────────▶  │
     │                             │                             │ Process
     │                             │                             │ command
     │                             │             Ack             │
     │                             │ ◀─────────────────────────  │
     │                             │ (message removed)           │
     │                             │                             │

TWIN_SHADOW: KV-Store

JetStream-KV-Stores verwalten den Shadow-Zustand des digitalen Zwillings:

bucket: TWIN_SHADOW
max_value_size: 1MB
history: 5
ttl: 0
replicas: 3
storage: file

Konfiguration erklärt

EinstellungWertBegründung
history55 vorherige Versionen aufbewahren
ttl0Kein Ablauf (dauerhaft)
replicas3Hochverfügbarkeit

Schlüsselstruktur

fleet/prod/veh/VID-001/desired    → Desired state JSON
fleet/prod/veh/VID-001/reported   → Reported state JSON
fleet/prod/veh/VID-001/config     → Vehicle configuration
fleet/prod/veh/VID-001/meta       → Metadata (serial, type, etc.)

Shadow-Operationen

// Write desired state
kv.Put("fleet/prod/veh/VID-001/desired", desiredJSON)

// Read reported state
entry, _ := kv.Get("fleet/prod/veh/VID-001/reported")

// Watch for changes
watcher, _ := kv.Watch("fleet/prod/veh/VID-001/desired")
for entry := range watcher.Updates() {
    // Desired state changed, reconcile
}

Historie für das Debugging

Mit aktivierter Historie können Sie frühere Zustände untersuchen:

// Get all historical values
history, _ := kv.History("fleet/prod/veh/VID-001/desired")
for _, entry := range history {
    fmt.Printf("Rev %d at %s: %s\n",
        entry.Revision(), entry.Created(), entry.Value())
}

TWIN_BLOBS: Object Store

Große Artefakte, die nicht in Nachrichten passen:

bucket: TWIN_BLOBS
max_chunk_size: 128KB
storage: file
replicas: 3

Anwendungsfälle

ArtefaktGrößeBeispiel
Missionsdateien10-100KBWegpunktdefinitionen
Logdateien1-10MBFluglogs, Diagnosedaten
Firmware10-50MBPX4-Firmware-Images
Karten1-100MBOffline-Kartenkacheln
ML-Modelle10-500MBTensorRT-Engine-Dateien

Objektoperationen

// Upload mission file
obj, _ := obs.PutFile("missions/mission-456.json", file)

// Download to vehicle
reader, _ := obs.Get("missions/mission-456.json")

// List available firmware
objects := obs.List(nats.ObjectSearchPrefix("firmware/"))

Übertragung in Chunks

Object Store verarbeitet große Dateien durch:

  1. Aufteilen in Chunks (standardmäßig 128KB)
  2. Speichern der Chunks als Stream-Nachrichten
  3. Erfassen von Metadaten (Größe, Hash, Chunks)
  4. Zusammensetzen beim Abruf

Dies ermöglicht fortsetzbare Übertragungen über unzuverlässige Verbindungen.


Stream-Dimensionierung

Schätzungen pro Fahrzeug

StreamNachrichtengrößeRateTägliches Volumen
STATE200 Bytes10 Hz~170 MB
EVENTS500 Bytes10/Tag~5 KB
CMD300 Bytes100/Tag~30 KB

Schätzungen für die Flotte (1.000 Fahrzeuge)

Ressource1 Stunde1 Tag90 Tage
TWIN_STATE7 GB--
TWIN_EVENTS-5 MB450 MB
TWIN_SHADOW-1 GB1 GB
TWIN_BLOBS--50 GB

Dies sind Basisschätzungen. Die tatsächliche Nutzung hängt von Nachrichtenraten und -größen ab.


Betriebliche Aspekte

Stream-Zustand

Überwachen Sie diese Metriken:

MetrikAlarmschwelle
Consumer-Verzögerung> 10.000 Nachrichten
Stream-Bytes> 80 % des Maximums
Replikat-SynchronisierungBeliebiges Replikat im Rückstand
Ausstehende Acks> 1.000 pro Consumer

Backup-Strategie

RessourceBackup-MethodeHäufigkeit
StreamsJetStream-SnapshotTäglich
KV-StoreSchlüsselexportTäglich
Object StoreBackup auf DateiebeneWöchentlich

Migration

Streams können zwischen Clustern migriert werden:

  1. Stream auf dem Ziel mit derselben Konfiguration erstellen
  2. Mirror erstellen, der aus dem Original bezieht
  3. Auf die Synchronisierung warten
  4. Producer/Consumer auf das Ziel umstellen
  5. Ursprünglichen Stream entfernen

Zusammenfassung

RessourceTypAufbewahrungZweck
TWIN_STATEStream1 StundeTelemetrie mit Rollup
TWIN_EVENTSStream90 TageAudit-Trail
TWIN_CMDStreamWorkqueueBefehlszustellung
TWIN_SHADOWKVDauerhaftGewünschter/gemeldeter Zustand
TWIN_BLOBSObjectDauerhaftGroße Artefakte

Weiter

Vehicle Gateway →