Cấu hình JetStream

Table of Contents

JetStream cho Bản sao số

JetStream cung cấp lớp lưu trữ bền vững cho bản sao số (digital twin) của đội phương tiện. Mỗi loại stream phục vụ một mục đích cụ thể, với các thiết lập lưu giữ (retention) và sao chép (replication) phù hợp.


Kiến trúc Stream

Năm tài nguyên JetStream hỗ trợ mô hình bản sao số:

Tài nguyênLoạiMục đích
TWIN_STATEStreamDữ liệu telemetry với rollup
TWIN_EVENTSStreamNhật ký kiểm toán sự kiện bền vững
TWIN_CMDStreamHàng đợi lệnh
TWIN_SHADOWKV StoreTrạng thái mong muốn/được báo cáo
TWIN_BLOBSObject StoreTệp dữ liệu lớn

TWIN_STATE: Stream Telemetry

Lưu trữ trạng thái liên tục của phương tiện với rollup theo subject:

name: TWIN_STATE
subjects:
  - "fleet.prod.veh.*.state.>"
retention: limits
max_age: 1h
max_bytes: 10GB
storage: file
replicas: 3
discard: old
rollup_hdrs: true

Giải thích cấu hình

Thiết lậpGiá trịLý do
retentionlimitsGiới hạn theo thời gian và dung lượng
max_age1hGiữ trạng thái gần đây để phát lại
max_bytes10GBGiới hạn dung lượng lưu trữ cho mỗi hub
replicas3Chịu được sự cố node
rollup_hdrstrueBật rollup theo từng subject

Rollup theo Subject

Khi bật rollup, consumer có thể yêu cầu chỉ thông điệp mới nhất của mỗi subject:

// Get latest position for all vehicles
sub, _ := js.Subscribe("fleet.prod.veh.*.state.position",
    nats.DeliverLastPerSubject())

Điều này biến stream từ một luồng dữ liệu ồ ạt thành một kho trạng thái có thể truy vấn.

Các mẫu Consumer

MẫuTrường hợp sử dụng
DeliverAllPhát lại lịch sử, phân tích
DeliverLastẢnh chụp trạng thái hiện tại
DeliverLastPerSubjectTrạng thái mới nhất của từng phương tiện
StartTimePhát lại từ một mốc thời gian cụ thể

TWIN_EVENTS: Nhật ký kiểm toán

Lưu trữ các sự kiện rời rạc với thời gian lưu giữ dài phục vụ tuân thủ và gỡ lỗi:

name: TWIN_EVENTS
subjects:
  - "fleet.prod.veh.*.evt.>"
retention: limits
max_age: 90d
max_bytes: 100GB
storage: file
replicas: 3
discard: old

Giải thích cấu hình

Thiết lậpGiá trịLý do
max_age90dTuân thủ quy định, phân tích sự cố
max_bytes100GBSự kiện nhỏ hơn dữ liệu trạng thái
storagefileBền vững qua các lần khởi động lại

Thuộc tính sự kiện

Sự kiện khác với trạng thái:

Thuộc tínhTrạng tháiSự kiện
Tần suấtLiên tục (Hz)Rời rạc (khi có thay đổi)
Lưu giữNgắn (vài giờ)Dài (vài tháng)
ConsumerDashboard thời gian thựcKiểm toán, phân tích, cảnh báo
Phát lạiTái tạo trạng thái hiện tạiĐiều tra, tuân thủ

Ví dụ về sự kiện

// Armed event
{
  "vid": "VID-001",
  "timestamp": "2024-01-15T10:30:00Z",
  "data": {
    "previous_state": "disarmed",
    "armed_by": "operator-123",
    "reason": "mission_start"
  }
}

// Failsafe event
{
  "vid": "VID-001",
  "timestamp": "2024-01-15T11:45:00Z",
  "data": {
    "failsafe_type": "low_battery",
    "action_taken": "rtl",
    "battery_remaining": 0.15
  }
}

TWIN_CMD: Hàng đợi lệnh

Lưu trữ các lệnh với retention kiểu workqueue:

name: TWIN_CMD
subjects:
  - "fleet.prod.veh.*.cmd.>"
retention: workqueue
max_age: 5m
storage: file
replicas: 3

Giải thích cấu hình

Thiết lậpGiá trịLý do
retentionworkqueueThông điệp bị xóa sau khi ack
max_age5mLệnh chưa được ack sẽ hết hạn
replicas3Đảm bảo lệnh được chuyển giao

Ngữ nghĩa Workqueue

  1. Lệnh được publish vào stream
  2. Vehicle Gateway nhận lệnh (chuyển giao đúng một lần)
  3. Gateway xử lý lệnh
  4. Gateway ack thông điệp
  5. Thông điệp bị xóa khỏi stream

Lệnh chưa được ack sẽ được gửi lại để đảm bảo lệnh không bị mất khi mất kết nối.

Luồng lệnh

Fleet Operator               TWIN_CMD Stream              Vehicle Gateway
     │                             │                             │
     │ Publish: cmd.takeoff        │                             │
     │ ─────────────────────────▶  │                             │
     │                             │ Deliver to consumer         │
     │                             │ ─────────────────────────▶  │
     │                             │                             │ Process
     │                             │                             │ command
     │                             │             Ack             │
     │                             │ ◀─────────────────────────  │
     │                             │ (message removed)           │
     │                             │                             │

TWIN_SHADOW: KV Store

JetStream KV store duy trì trạng thái shadow của bản sao số:

bucket: TWIN_SHADOW
max_value_size: 1MB
history: 5
ttl: 0
replicas: 3
storage: file

Giải thích cấu hình

Thiết lậpGiá trịLý do
history5Giữ 5 phiên bản trước đó
ttl0Không hết hạn (vĩnh viễn)
replicas3Tính sẵn sàng cao

Cấu trúc khóa

fleet/prod/veh/VID-001/desired    → Desired state JSON
fleet/prod/veh/VID-001/reported   → Reported state JSON
fleet/prod/veh/VID-001/config     → Vehicle configuration
fleet/prod/veh/VID-001/meta       → Metadata (serial, type, etc.)

Thao tác Shadow

// Write desired state
kv.Put("fleet/prod/veh/VID-001/desired", desiredJSON)

// Read reported state
entry, _ := kv.Get("fleet/prod/veh/VID-001/reported")

// Watch for changes
watcher, _ := kv.Watch("fleet/prod/veh/VID-001/desired")
for entry := range watcher.Updates() {
    // Desired state changed, reconcile
}

Lịch sử để gỡ lỗi

Khi bật history, bạn có thể kiểm tra các trạng thái trước đó:

// Get all historical values
history, _ := kv.History("fleet/prod/veh/VID-001/desired")
for _, entry := range history {
    fmt.Printf("Rev %d at %s: %s\n",
        entry.Revision(), entry.Created(), entry.Value())
}

TWIN_BLOBS: Object Store

Các tệp dữ liệu lớn không vừa trong thông điệp:

bucket: TWIN_BLOBS
max_chunk_size: 128KB
storage: file
replicas: 3

Trường hợp sử dụng

Tệp dữ liệuKích thướcVí dụ
Tệp nhiệm vụ10-100KBĐịnh nghĩa điểm tham chiếu (waypoint)
Tệp log1-10MBLog chuyến bay, chẩn đoán
Firmware10-50MBẢnh firmware PX4
Bản đồ1-100MBÔ bản đồ ngoại tuyến
Mô hình ML10-500MBTệp engine TensorRT

Thao tác Object

// Upload mission file
obj, _ := obs.PutFile("missions/mission-456.json", file)

// Download to vehicle
reader, _ := obs.Get("missions/mission-456.json")

// List available firmware
objects := obs.List(nats.ObjectSearchPrefix("firmware/"))

Truyền theo khối

Object Store xử lý tệp lớn bằng cách:

  1. Chia thành các khối (mặc định 128KB)
  2. Lưu các khối dưới dạng thông điệp stream
  3. Theo dõi metadata (kích thước, hash, các khối)
  4. Ghép lại khi truy xuất

Điều này cho phép truyền tải có thể tiếp tục qua các kết nối không ổn định.


Định cỡ Stream

Ước tính cho mỗi phương tiện

StreamKích thước thông điệpTần suấtKhối lượng hằng ngày
STATE200 byte10 Hz~170 MB
EVENTS500 byte10/ngày~5 KB
CMD300 byte100/ngày~30 KB

Ước tính cho đội phương tiện (1.000 phương tiện)

Tài nguyên1 giờ1 ngày90 ngày
TWIN_STATE7 GB--
TWIN_EVENTS-5 MB450 MB
TWIN_SHADOW-1 GB1 GB
TWIN_BLOBS--50 GB

Đây là các ước tính cơ sở. Mức sử dụng thực tế phụ thuộc vào tần suất và kích thước thông điệp.


Các cân nhắc vận hành

Tình trạng Stream

Theo dõi các chỉ số sau:

Chỉ sốNgưỡng cảnh báo
Độ trễ consumer> 10.000 thông điệp
Dung lượng stream> 80% mức tối đa
Đồng bộ bản saoBất kỳ bản sao nào bị chậm
Ack đang chờ> 1.000 mỗi consumer

Chiến lược sao lưu

Tài nguyênPhương pháp sao lưuTần suất
StreamSnapshot JetStreamHằng ngày
KV StoreXuất khóaHằng ngày
Object StoreSao lưu cấp tệpHằng tuần

Di chuyển

Stream có thể được di chuyển giữa các cluster:

  1. Tạo stream trên cluster đích với cùng cấu hình
  2. Tạo mirror lấy nguồn từ stream gốc
  3. Chờ đồng bộ
  4. Chuyển producer/consumer sang cluster đích
  5. Xóa stream gốc

Tóm tắt

Tài nguyênLoạiLưu giữMục đích
TWIN_STATEStream1 giờDữ liệu telemetry với rollup
TWIN_EVENTSStream90 ngàyNhật ký kiểm toán
TWIN_CMDStreamWorkqueueChuyển giao lệnh
TWIN_SHADOWKVVĩnh viễnTrạng thái mong muốn/được báo cáo
TWIN_BLOBSObjectVĩnh viễnTệp dữ liệu lớn

Tiếp theo

Vehicle Gateway →