Runbook xử lý sự cố

Trang này để mở ra lúc đang có sự cố. Đọc từ trên xuống, làm theo.

Mức nghiêm trọng

Mức	Định nghĩa	Phản ứng
SEV1	Toàn bộ dịch vụ chết, hoặc mất/lộ dữ liệu	Báo ngay, huy động người, cập nhật 30 phút/lần
SEV2	Chức năng chính hỏng, chưa có cách đi vòng	Báo trong giờ làm, cập nhật 1 giờ/lần
SEV3	Chức năng phụ hỏng, hoặc đã có cách đi vòng	Xử lý trong ngày làm việc tiếp theo
SEV4	Phiền toái nhỏ	Đưa vào backlog

Không chắc giữa hai mức thì chọn mức cao hơn. Hạ mức xuống luôn dễ hơn giải thích vì sao báo muộn.

Vai trò

• Chỉ huy sự cố (incident commander) — điều phối, ra quyết định. Không tự đi sửa.
• Người xử lý — người trực tiếp điều tra và khắc phục.
• Người liên lạc — cập nhật cho các bên liên quan và khách hàng.

Sự cố nhỏ thì một người kiêm cả ba vai, nhưng phải nói rõ mình đang giữ vai nào.

Các bước

1. Ghi nhận. Mở kênh riêng cho sự cố. Ghi mốc thời gian phát hiện.
2. Đánh giá. Ảnh hưởng bao nhiêu người dùng, chức năng nào? Chốt mức nghiêm trọng.
3. Chặn thiệt hại trước, tìm nguyên nhân sau. Thứ tự ưu tiên: quay lui bản phát hành (rollback) → tắt cờ tính năng → chuyển hướng lưu lượng → sửa nóng (hotfix).
4. Thông báo. Nói rõ: đang bị gì, ảnh hưởng ai, đang làm gì, khi nào cập nhật tiếp.
5. Khắc phục và xác nhận. Kiểm tra bằng biểu đồ giám sát, không chỉ bằng cảm giác “chắc ổn rồi”.
6. Đóng sự cố. Ghi mốc thời gian khôi phục, hẹn lịch họp hậu sự cố trong vòng 5 ngày làm việc.

Quay lui trước, gỡ lỗi sau

Trong lúc đang có sự cố, mục tiêu là khôi phục dịch vụ, không phải hiểu nguyên nhân. Nguyên nhân điều tra được sau khi người dùng đã hết bị ảnh hưởng.

Giữ lại bằng chứng trước khi khởi động lại

Khởi động lại tiến trình sẽ xoá sạch trạng thái đang lỗi. Trước đó, lưu lại log, ảnh chụp biểu đồ và bản dump nếu có — nếu không, không còn gì để điều tra.

Cần kiểm tra đầu tiên

• Vừa có thay đổi gì lên production? (phát hành, đổi cấu hình, đổi cờ tính năng, di trú dữ liệu)
• Biểu đồ tỉ lệ lỗi, độ trễ, lưu lượng, mức bão hoà tài nguyên
• Trạng thái nhà cung cấp hạ tầng và các dịch vụ bên thứ ba
• Hạn dùng chứng chỉ TLS, dung lượng đĩa, số kết nối database

Phần lớn sự cố bắt nguồn từ một thay đổi vừa diễn ra. Kiểm tra chỗ đó trước.

Báo cáo hậu sự cố

Viết trong vòng 5 ngày làm việc, không đổ lỗi cá nhân — hệ thống cho phép sai thì lỗi nằm ở hệ thống.

## Tóm tắt
Chuyện gì đã xảy ra, trong bao lâu, ảnh hưởng ai.

## Diễn biến
Mốc thời gian: phát hiện, các bước xử lý, thời điểm khôi phục.

## Nguyên nhân gốc
Chuỗi sự kiện dẫn tới sự cố, không dừng ở "người X đẩy nhầm mã".

## Vì sao phát hiện muộn / xử lý lâu
Cảnh báo thiếu ở đâu, tài liệu thiếu ở đâu.

## Hành động tiếp theo
Từng việc có người chịu trách nhiệm và hạn hoàn thành. Không có chủ sở hữu thì việc đó sẽ không xảy ra.