سپر پیشبین
تشخیص فروپاشی پیش از توقف سرویس — فراتر از یک هشدار ساده.
- ثبت ۱۵ شاخص رفتاری در هر چرخه ۳۰ ثانیهای
- شناسایی نشت حافظه طی ۹۰ ثانیه پس از شروع نزول کارایی
- جدا کردن ترافیک از نمونه آلوده ظرف ۱۲۰ ثانیه، بدون توقف کل خوشه
زمان تشخیص
۴۷ ثانیه
هدف بازیابی
بدون توقف
پوشش
۱۵ شاخص/چرخه
پیش از حادثه
برای هر سرویس حیاتی یک baseline رفتاری تعریف میشود؛ آستانهها از داده واقعی production استخراج میشوند.
حین حادثه
ناهنجاری ظرف ۴۷ ثانیه شناسایی میشود، ترافیک به replica سالم هدایت و نمونه آلوده از rotation خارج میشود.
پس از حادثه
علت نشت یا deadlock ریشهیابی میشود، patch یا rollback در پنجره نگهداری اعمال و baseline بهروزرسانی میشود.
خرابی نمونه
ساعت ۰۳:۱۴ بامداد، قفلهای پایگاه داده روی جدول تخصیص تشدید پیدا کرد. ۱۲۰ راننده پیام «مسیر یافت نشد» دریافت کردند.
پاسخ
سپر پیشبین ۴۷ ثانیه پیش از بنبست کامل هشدار داد. ترافیک خواندن در ۶۰ ثانیه اول به نسخه سالم هدایت شد.
نتیجه
سرویس تخصیص بار بدون توقف کامل ادامه یافت. کل زمان اختلال ۹ دقیقه بود، نه بیش از ۶ ساعت.
لجستیک: یک شرکت لجستیک با ۲۰۰ کامیون فعال — پایگاه داده موقعیتیابی ۱۱ دقیقه پیش از deadlock هشدار داد و سرویس تخصیص بار متوقف نشد.
جزئیات فنی (CTO / معمار)
RPO و RTO در همان baseline رفتاری تعریف میشوند. هشدار بهتنهایی فقط اطلاع میدهد؛ فرق اصلی اینجاست که سامانه خودش ترافیک را به replica سالم هدایت میکند.
بازیابی فوری
بازگرداندن production پس از باجافزار، crash یا خرابی دیسک.
- بازیابی snapshot با RPO حداکثر ۹۰ ثانیه
- اجرای failover خودکار در ۳ دقیقه و ۴۰ ثانیه
- اعتبارسنجی checksum روی ۱۰۰٪ رکوردهای بازیابیشده
زمان تشخیص
۹۰ ثانیه
هدف بازیابی
۳:۴۰
پوشش
۱۰۰٪ checksum
پیش از حادثه
هر ۹۰ ثانیه یک snapshot گرفته میشود، replica در zone جداگانه نگهداری و playbook بازیابی هر ماه drill میشود.
حین حادثه
بخش آلوده جدا میشود، از آخرین snapshot سالم بازیابی انجام و failover خودکار روی نمونه اصلی اجرا میشود.
پس از حادثه
بیش از ۱۲,۴۰۰ رکورد اعتبارسنجی میشود، ترافیک بهتدریج برمیگردد و گزارش یکپارچگی داده تحویل داده میشود.
خرابی نمونه
ساعت ۰۸:۰۲، ۶ ایستگاه کاربری پیام رمزنگاری فایل نمایش داد. سامانه پذیرش در ۳ دقیقه از دسترس خارج شد.
پاسخ
جداسازی خودکار در ۹۰ ثانیه انجام شد. بازیابی از snapshot ساعت ۰۷:۵۸ — فقط ۴ دقیقه داده از دست رفت.
نتیجه
ساعت ۰۸:۰۵ سامانه HIS دوباره فعال شد. ۴۷ نوبت جراحی بدون لغو برگزار شد.
بهداشت: بیمارستان منطقهای با ۳۰۰ تخت — رمزنگاری باجافزار روی HIS. سامانه پذیرش در ۳ دقیقه و ۵۲ ثانیه online شد.
جزئیات فنی (CTO / معمار)
RTO زیر ۴ دقیقه میماند؛ بازگشت به نسخه قبلی با semantics idempotent برای تراکنشهای نیمهکاره انجام میشود.
پل فرماندهی
هماهنگی تیمها در لحظه حادثه — یک داشبورد، یک timeline.
- نمایش وضعیت ۱۲ سامانه حیاتی در یک صفحه
- تخصیص وظیفه به تیم پاسخ در ۶۰ ثانیه
- تحویل گزارش RCA با timestamp میلیثانیهای ظرف ۲۴ ساعت
زمان تشخیص
۴۵ ثانیه
هدف بازیابی
۱۱ دقیقه
پوشش
۱۲ سامانه
پیش از حادثه
on-call rotation و نقشهای پاسخ از قبل تعریف شدهاند؛ runbook هر سامانه حیاتی همیشه در دسترس است.
حین حادثه
داشبورد واحد فعال میشود، وظایف تخصیص مییابد و هر ۱۵ دقیقه به مدیریت گزارش داده میشود.
پس از حادثه
timeline کامل حادثه ثبت میشود، گزارش RCA همراه با action item تحویل داده و drill بعدی برنامهریزی میشود.
خرابی نمونه
ساعت ۲۱:۰۰، نشت حافظه سرویس پرداخت را متوقف کرد. ۳۴۰ تراکنش در وضعیت «در حال پرداخت» ماند.
پاسخ
پل فرماندهی در ۴۵ ثانیه فعال شد. ۳۴۰ تراکنش با کلید یکتا بازیابی شد. تیم هر ۱۵ دقیقه گزارش داد.
نتیجه
ساعت ۲۱:۱۱ checkout دوباره فعال شد. ۸۹ پرداخت تکراری در ۲۰ دقیقه برگشت داده شد.
تجارت الکترونیک: فروشگاه آنلاین با ۵۰ هزار سفارش روزانه — crash سرویس checkout در peak. checkout در ۱۱ دقیقه بازگشت.
جزئیات فنی (CTO / معمار)
یکپارچه با on-call rotation. timeline حادثه برای ممیزی و بازبینی post-incident نگهداری میشود.
انتقال اضطراری
مهاجرت به cloud وقتی SAN یا سختافزار legacy دیگر قابل اتکا نیست.
- ارزیابی مسیر انتقال ظرف ۴۸ ساعت پس از حادثه
- اجرای blue-green deploy با downtime کمتر از ۱۵ دقیقه
- تأیید replication داده روی ۳ zone جغرافیایی
زمان تشخیص
۴۸ ساعت
هدف بازیابی
< ۱۵ دقیقه
پوشش
۳ zone
پیش از حادثه
وابستگیها و مسیر انتقال ارزیابی میشوند؛ replication داده روی zoneهای جغرافیایی مختلف برقرار است.
حین حادثه
blue-green deploy اجرا میشود، سوئیچ ترافیک در یک پنجره ۱۵ دقیقهای انجام و settlement بدون توقف طولانی ادامه پیدا میکند.
پس از حادثه
replication تأیید میشود، refactor بهتدریج انجام و مقیاسپذیری افقی برای ساعات peak فعال میشود.
خرابی نمونه
SAN legacy دچار فرسودگی شد. I/O latency به ۸۰۰ms رسید. settlement در آستانه timeout قرار گرفت.
پاسخ
مسیر انتقال به cloud ظرف ۴۸ ساعت ارزیابی شد. blue-green deploy با replication روی ۳ zone اجرا شد.
نتیجه
settlement بدون توقفی بیش از ۱۲ دقیقه ادامه یافت و مقیاسپذیری افقی برای هجوم ترافیک فعال شد.
مالی: یک پردازشگر پرداخت با ۲ میلیون تراکنش روزانه با فرسودگی SAN مواجه شد؛ settlement بدون توقفی بیش از ۱۲ دقیقه ادامه یافت.
جزئیات فنی (CTO / معمار)
ابتدا lift-and-shift انجام میشود، refactor تدریجی پس از تثبیت. مقیاسپذیری افقی برای هجوم ترافیک از همان ابتدا فعال است.