JetStream の設定

目次

デジタルツインのためのJetStream

JetStreamは、フリートのデジタルツインの永続化レイヤーを提供します。各ストリームタイプはそれぞれ特定の目的を持ち、目的に合わせた保持設定とレプリケーション設定が適用されています。


ストリームアーキテクチャ

デジタルツインパターンは、5つのJetStreamリソースで構成されます。

リソースタイプ目的
TWIN_STATEStreamロールアップ付きテレメトリ
TWIN_EVENTSStream永続的なイベント監査証跡
TWIN_CMDStreamコマンドキュー
TWIN_SHADOWKV Store望ましい状態/報告された状態
TWIN_BLOBSObject Store大容量アーティファクト

TWIN_STATE: テレメトリストリーム

車両の状態を継続的に保存し、サブジェクトベースのロールアップを行います。

name: TWIN_STATE
subjects:
  - "fleet.prod.veh.*.state.>"
retention: limits
max_age: 1h
max_bytes: 10GB
storage: file
replicas: 3
discard: old
rollup_hdrs: true

設定の解説

設定値理由
retentionlimits経過時間とサイズで上限を設定
max_age1hリプレイ用に直近の状態を保持
max_bytes10GBハブごとのストレージ容量を制限
replicas3ノード障害に耐える
rollup_hdrstrueサブジェクトごとのロールアップを有効化

サブジェクトロールアップ

ロールアップを有効にすると、コンシューマーはサブジェクトごとの最新メッセージのみを要求できます。

// Get latest position for all vehicles
sub, _ := js.Subscribe("fleet.prod.veh.*.state.position",
    nats.DeliverLastPerSubject())

これにより、ストリームは大量のデータが流れ続けるファイアホースから、クエリ可能な状態ストアに変わります。

コンシューマーパターン

パターンユースケース
DeliverAll履歴のリプレイ、分析
DeliverLast現在の状態のスナップショット
DeliverLastPerSubject車両ごとの最新状態
StartTime特定のタイムスタンプからのリプレイ

TWIN_EVENTS: 監査証跡

コンプライアンスとデバッグのために、個々のイベントを長期間保持します。

name: TWIN_EVENTS
subjects:
  - "fleet.prod.veh.*.evt.>"
retention: limits
max_age: 90d
max_bytes: 100GB
storage: file
replicas: 3
discard: old

設定の解説

設定値理由
max_age90d規制対応、インシデント分析
max_bytes100GBイベントは状態よりもデータ量が小さい
storagefile再起動後も保持される

イベントの特性

イベントと状態には次の違いがあります。

特性状態イベント
頻度連続(Hz)離散(変化時)
保持期間短期(数時間)長期(数か月)
コンシューマーリアルタイムダッシュボード監査、分析、アラート
リプレイ現在の状態の再構築調査、コンプライアンス

イベントの例

// Armed event
{
  "vid": "VID-001",
  "timestamp": "2024-01-15T10:30:00Z",
  "data": {
    "previous_state": "disarmed",
    "armed_by": "operator-123",
    "reason": "mission_start"
  }
}

// Failsafe event
{
  "vid": "VID-001",
  "timestamp": "2024-01-15T11:45:00Z",
  "data": {
    "failsafe_type": "low_battery",
    "action_taken": "rtl",
    "battery_remaining": 0.15
  }
}

TWIN_CMD: コマンドキュー

コマンドをワークキュー保持ポリシーで保存します。

name: TWIN_CMD
subjects:
  - "fleet.prod.veh.*.cmd.>"
retention: workqueue
max_age: 5m
storage: file
replicas: 3

設定の解説

設定値理由
retentionworkqueueack後にメッセージを削除
max_age5mackされないコマンドは期限切れになる
replicas3コマンドの配信を保証

ワークキューのセマンティクス

  1. コマンドがストリームにパブリッシュされる
  2. 車両ゲートウェイが受信する(exactly-once配信)
  3. ゲートウェイがコマンドを処理する
  4. ゲートウェイがメッセージをackする
  5. メッセージがストリームから削除される

ackされていないコマンドは再配信されるため、接続が切れている間もコマンドは失われません。

コマンドフロー

Fleet Operator               TWIN_CMD Stream              Vehicle Gateway
     │                             │                             │
     │ Publish: cmd.takeoff        │                             │
     │ ─────────────────────────▶  │                             │
     │                             │ Deliver to consumer         │
     │                             │ ─────────────────────────▶  │
     │                             │                             │ Process
     │                             │                             │ command
     │                             │             Ack             │
     │                             │ ◀─────────────────────────  │
     │                             │ (message removed)           │
     │                             │                             │

TWIN_SHADOW: KVストア

JetStreamのKVストアは、デジタルツインのシャドウ状態を保持します。

bucket: TWIN_SHADOW
max_value_size: 1MB
history: 5
ttl: 0
replicas: 3
storage: file

設定の解説

設定値理由
history5過去5バージョンを保持
ttl0有効期限なし(永続)
replicas3高可用性

キー構造

fleet/prod/veh/VID-001/desired    → Desired state JSON
fleet/prod/veh/VID-001/reported   → Reported state JSON
fleet/prod/veh/VID-001/config     → Vehicle configuration
fleet/prod/veh/VID-001/meta       → Metadata (serial, type, etc.)

シャドウ操作

// Write desired state
kv.Put("fleet/prod/veh/VID-001/desired", desiredJSON)

// Read reported state
entry, _ := kv.Get("fleet/prod/veh/VID-001/reported")

// Watch for changes
watcher, _ := kv.Watch("fleet/prod/veh/VID-001/desired")
for entry := range watcher.Updates() {
    // Desired state changed, reconcile
}

デバッグのための履歴

履歴を有効にすると、過去の状態を確認できます。

// Get all historical values
history, _ := kv.History("fleet/prod/veh/VID-001/desired")
for _, entry := range history {
    fmt.Printf("Rev %d at %s: %s\n",
        entry.Revision(), entry.Created(), entry.Value())
}

TWIN_BLOBS: オブジェクトストア

メッセージに収まらない大容量アーティファクトを保存します。

bucket: TWIN_BLOBS
max_chunk_size: 128KB
storage: file
replicas: 3

ユースケース

アーティファクトサイズ例
ミッションファイル10-100KBウェイポイント定義
ログファイル1-10MBフライトログ、診断情報
ファームウェア10-50MBPX4ファームウェアイメージ
地図1-100MBオフライン地図タイル
MLモデル10-500MBTensorRTエンジンファイル

オブジェクト操作

// Upload mission file
obj, _ := obs.PutFile("missions/mission-456.json", file)

// Download to vehicle
reader, _ := obs.Get("missions/mission-456.json")

// List available firmware
objects := obs.List(nats.ObjectSearchPrefix("firmware/"))

チャンク転送

オブジェクトストアは、大容量ファイルを次の手順で扱います。

  1. チャンクに分割する(デフォルトは128KB)
  2. チャンクをストリームメッセージとして保存する
  3. メタデータ(サイズ、ハッシュ、チャンク)を記録する
  4. 取得時に再構成する

これにより、不安定な接続でも再開可能な転送が可能になります。


ストリームのサイジング

車両あたりの見積もり

ストリームメッセージサイズレート1日あたりの量
STATE200バイト10 Hz約170 MB
EVENTS500バイト10件/日約5 KB
CMD300バイト100件/日約30 KB

フリート全体の見積もり(1,000台)

リソース1時間1日90日
TWIN_STATE7 GB--
TWIN_EVENTS-5 MB450 MB
TWIN_SHADOW-1 GB1 GB
TWIN_BLOBS--50 GB

これらは基準となる見積もりです。実際の使用量は、メッセージのレートとサイズによって変わります。


運用上の考慮事項

ストリームの健全性

次のメトリクスを監視します。

メトリクスアラートしきい値
コンシューマーラグ10,000メッセージ超
ストリームのバイト数上限の80%超
レプリカの同期遅れているレプリカがある
ack保留コンシューマーあたり1,000件超

バックアップ戦略

リソースバックアップ方法頻度
ストリームJetStreamスナップショット毎日
KVストアキーのエクスポート毎日
オブジェクトストアファイルレベルのバックアップ毎週

移行

ストリームはクラスター間で移行できます。

  1. 移行先に同じ設定でストリームを作成する
  2. 元のストリームをソースとするミラーを作成する
  3. 同期が完了するまで待つ
  4. プロデューサー/コンシューマーを移行先に切り替える
  5. 元のストリームを削除する

まとめ

リソースタイプ保持期間目的
TWIN_STATEStream1時間ロールアップ付きテレメトリ
TWIN_EVENTSStream90日監査証跡
TWIN_CMDStreamWorkqueueコマンド配信
TWIN_SHADOWKV永続望ましい状態/報告された状態
TWIN_BLOBSObject永続大容量アーティファクト

次へ

車両ゲートウェイ →