이 문제가 나타날 때, 릴리스 중일 것입니다. 빌드는 초록색이며 모바일 팀은 푸시하기 위해 준비되어 있으며 한 에지 노드가 트래픽을 떨어뜨리거나 백엔드 경로가 이상해지면 롤아웃이 안전하지 않게 됩니다. 그 순간에 '백업'이란 '중복성 전환'과는 다릅니다.
그것은 중복성 전환의 필요성입니다. 복원성 장애 회피 실제로 복원성은 여러 경로, 구성 요소 또는 상태의 복사본을 제공하는 것입니다. 장애 회피는 작업을 하나의 대체로 이동할 때 발생하는 결정 및 조율입니다.
모바일 및 CI/CD 팀에게는 이보다 더 중요한 것이 있습니다. 실시간 업데이트 플랫폼은 단순히 배포 도구가 아니라 라우팅, 서명, 저장, 에지 전송, 장치 검사 및 롤백 동작의 체인입니다. 그 체인 중 하나가 깨끗하게 장애 회피할 수 없다면 전체 릴리스 경로가 여전히 붕괴할 수 있습니다.
목차
- 백업만으로는 충분하지 않다
- 복원성과 장애 회피를 pair로 정의하는 이유
- 일반적인 아키텍처 패턴과 사용 시기
- 가중 장애 회피 및 경계 임계값
- CI/CD 및 실시간 업데이트 전송에 Failover를 적용하는 방법
- Edge Update Platform을 Failover Chain으로 사용하는 방법
- Failover를 테스트하는 이유
- 실무 팀이 실시간 업데이트 배포를 하기 위한 실제 체크리스트
When a Backup Is Not Enough
백업만으로는 충분하지 않다.
앱 배포가 보통 보이지만, 지역 에지 노드가 다운되거나, 한 경로에서 오류 신호를 반환하기 시작하면, 배포가 중단되고, 팀은 같은 질문을 반복적으로 묻는다. '이 실패로 살아남을 수 있는지, 아니면 단지 감지할 수 있는지?' 백업 인프라를 보유한 것과 실제로 재해 복구 설계를 구현한 것은 다르다. 백업 인프라를 보유한 것과 실제로 재해 복구 설계를 구현한 것은 다르다.
백업 인프라를 보유한 것과 실제로 재해 복구 설계를 구현한 것은 다르다.
백업 인프라를 보유한 것과 실제로 재해 복구 설계를 구현한 것은 다르다. 백업 인프라를 보유한 것과 실제로 재해 복구 설계를 구현한 것은 다르다. 백업 인프라를 보유한 것과 실제로 재해 복구 설계를 구현한 것은 다르다. 백업 인프라를 보유한 것과 실제로 재해 복구 설계를 구현한 것은 다르다. 백업 인프라를 보유한 것과 실제로 재해 복구 설계를 구현한 것은 다르다. 백업 인프라를 보유한 것과 실제로 재해 복구 설계를 구현한 것은 다르다. answers how the rest of the chain comes back into a sane state. 검증 answers whether the whole thing works under real conditions, not just on a whiteboard.
실시간 업데이트 전송을 통해 모바일 팀이 이 사실을 rõ히 인식합니다. 서비스가 부분 장애 후에 패키지를 서명, 저장, 라우팅, 인증할 수 없다면 플랫폼은 한 개의 좁은 층면에서 보기에 중복적일 수 있지만 사용자에게 프로덕션에서 실패할 수 있습니다. 일반적으로 하나의 고장난 박스만이 아니라 박스 간의 전환 또는 누군가가 알아차리고 전환할 것으로 가정하는 것이 문제입니다. 동일한 논리는 사고 대응에서도 적용됩니다. 첫 분가는 다이어그램보다 더 중요합니다. Capgo의 사고 대응 지침.
A useful overview from Networking2000에서 제공하는 중복성 조언 중복성은 시스템이 중복된 구성 요소로 전환할 수 있는 경우에만 도움이 됩니다.
중복성과 재기동은 종종 같은 것으로 여겨지지만 실제로는 아님.
중복성 중복성은 동일한 작업을 수행할 수 있는 구성 요소가 여러 개 존재할 때 발생합니다. 중복성과 재기동은 종종 같은 것으로 여겨지지만 실제로는 아님. Failover 은 실패하는 구성 요소를 건강한 구성 요소로 책임을 옮기는 행위입니다.
기억하기 쉬운 요리실 예시
식당 요리실에서 바쁜 상황을 상상해 보세요. 여러 요리사들이 같은 메뉴를 요리할 수 있다면, 그게冗余성입니다. 주방장님이 한 명이 피로로 인해 고장 나고 바로 다음 티켓을 다른 사람에게 할당한다면, 그게 Failover입니다.
요리실에는 사람만 필요하지 않습니다. 실패를 감지할 수 있는 방법, 대체할 사람을 결정하는 규칙, 그리고 주문이 진행되는 것을 혼동하지 않도록 front of house를 유지하는 방법이 필요합니다. 그 때문인지冗余성만 있는 것은 쓸모없는 용량이고 Failover만 있는 것은 혼란만 일으키는 것입니다.
구분은 중요합니다. 팀들은 종종 대체 구성 요소를 구입하거나 구축한 후에 멈추고, 두 개의 서버, 두 개의 지역, 또는 데이터의 두 개의 복사본이 있는지 물어보며, 그들이 커버가 된 것이라고 가정합니다. 실제 운영 환경에서 유용한 질문은 시스템이 문제를 빠르게 감지할 수 있는지, 문제가 발생한 경우 스위치할 수 있는지, 그리고 원래 경로가 회복되었을 때 스위치백을 할 수 있는지 여부입니다.
팀이 모든 팀에게 묻고 있어야 하는 4가지 질문
실용적인 Failover 설계는 4가지 평가 기준에 따라 살거나 죽습니다.
- 감지 시간,
- 스위치 시간백업 경로로 작업을 이동하는 데 걸리는 시간은 얼마인가요.
- 데이터 일관성백업이 안전하게 대체할 수 있는 상태를 가지고 있는가.
- 역전성시스템이 원래 경로로 돌아갈 수 있는가, 더 나쁜 상황을 만들지 않는가.
이 질문은 데이터베이스, 로드 밸런서, 라이브 업데이트 PIPELINE과 같은 모든 곳에서 동일하게 적용됩니다. 차이점은 단지 전환되는 위치만 다릅니다. 모바일 릴리스 시스템에서 전환은 채널, 에지, 또는 버전 집합 사이에서 발생할 수 있습니다. 그러나 논리는 동일합니다. 건강한 대체 항목이 존재해야 하며 시스템은 올바른 이유로 이를 선택해야 합니다.
공통 아키텍처 패턴 및 사용 시기
failover에 대한 논리를 쉽게 이해하는 가장 쉬운 방법은 결정이 어디서 이루어지는지 물어보는 것입니다. 일부 팀은 하드웨어가 문제를 흡수하도록 허용합니다. 다른 팀은 소프트웨어, 로드 밸런서, 또는 글로벌 라우팅 레이어에 결정을 밀어넣습니다. 각 선택은 다른 종류의 실패를 처리하고 다른 종류의 블라인드 스팟을 생성합니다.
각 패턴이 도움이 되는 곳
하드웨어冗餘 하드웨어冗餘는 장치, 카드, 또는 노드가 다운되는 경우 지역적이고 명확한 실패를 처리할 때 잘 작동합니다. 이는 왜 하드웨어만으로는 오케스트레이션을 해결할 수 없다는 것을 이해하기 쉽기 때문입니다. 만약 상위 레이어가 무엇이 발생했는지 알지 못한다면, 트래픽은 여전히 잘못된 위치를 가리킬 수 있습니다.
소프트웨어冗餘 __CAPGO_KEEP_0__는 강조를 위쪽으로 이동시킵니다. 단순히 박스를 복제하는 대신, 서비스, 프로세스 또는 애플리케이션 계층 내의 용량을 복제합니다. 일반적으로 클라우드 네이티브 시스템에 더 적합한 선택입니다. 소프트웨어는 상태, 버전 및 상태에 대한 지혜로운 결정을 내릴 수 있기 때문입니다.
Active-active 는 동시에 여러 경로가 작동 중이므로 단일 실패가 холод 시작을 발생시키지 않습니다. 시스템이 동시 처리를 tolerate하고 데이터 모델이 동시 참여자 간에 일관성을 유지할 수 있는 경우 강력한 선택입니다. Active-passive 는 보수적인 선택입니다. 하나의 경로가 작동하고 다른 하나는 대기합니다. 더 쉽게 이해하고 종종 권위 있는 상태에 대해 더 단순하지만, 비활성화된 용량을 지불해야 합니다.
Regional failover 는 큰 폭파 반경이 단일 클러스터보다 큰 경우에 도움이 됩니다. 전체 사이트 또는 영역이 불량한 경우 트래픽을 다른 곳으로 이동할 수 있습니다. DNS-driven 전략은 클라이언트에게 이동을 표시하기 위해 종종 사용됩니다. load-balancer-driven 전략은 요청 경로 근처에서 결정을 유지합니다.
__CAPGO_KEEP_0__는 다음 패턴이 무너지는 경향이 있습니다.
모든 패턴은 어디선가 깨질 수 있습니다. 하드웨어冗餘는 실제로 업스트림 의존성이 여전히 공유되는 것을 숨길 수 있습니다. 동시성 모델이 concurrency에 대비되지 않은 경우 active-active는 복잡해질 수 있습니다. active-passive는 오랫동안 비활성화되어 nobody가 패시브 측이 여전히 작동하는지에 대한 자신감을 잃을 수 있습니다. 지역 failover는 동일한 실패 도메인에 걸쳐있는 공유 서비스에 의해 패배할 수 있습니다. DNS-기반 제어는 변경을 반영하는 데 시간이 걸릴 수 있으며, 로드 밸런서가 건강한 경우에만 로드 밸런서-기반 제어가 도움이 됩니다.
모바일 업데이트 플랫폼의 경우, failover layer는 여러 계층에 걸쳐 있을 수 있습니다. 빌드 서버는冗餘가 될 수 있으며, 아티팩트 저장소는 복제될 수 있으며, 에지 전달은 로드 밸런싱될 수 있지만, 중요한 문제는 어느 계층이 릴리스가 이동해야 하는지 결정하는지에 대한 것입니다. 만약 더 광범위한 배포 관점을 원한다면, __CAPGO_KEEP_0__의 multi-region deployment guide from Capgo failover 패턴의 올바른 것은 가장 복잡한 것이 아닙니다. 실패를 살아남기 위해 노력하는 패턴과 일치하는 것이 중요합니다. 작은 팀은 일반적으로 active-passive에 clear validation path를 추가한 다음, 하위 계층이 신뢰할 수 있는지 증명한 후에 concurrency를 더 추가합니다.
중요한 failover 패턴은 weighted failover와 graduated thresholds입니다.
Failover layer는 여러 계층에 걸쳐 있을 수 있습니다. 빌드 서버는冗餘가 될 수 있으며, 아티팩트 저장소는 복제될 수 있으며, 에지 전달은 로드 밸런싱될 수 있지만, 중요한 문제는 어느 계층이 릴리스가 이동해야 하는지 결정하는지에 대한 것입니다.
다중 지역 배포 가이드는 실용적인 동반자로 작용할 수 있습니다. 왜냐하면 지역적인 사고방식이 릴리스 신뢰성의 모양을 바꿔주기 때문입니다. 시작하려면 사용자 영향력의 소유 계층부터 시작하여 나아가세요. 사용자는 업데이트가 에지에서 나간 후에만 느끼게 되므로 에지도 failover 스토리에 포함됩니다. 올바른 패턴은 가장 복잡한 것이 아닙니다. 실패를 살아남기 위해 노력하는 패턴과 일치하는 것이 중요합니다. 작은 팀은 일반적으로 active-passive에 clear validation path를 추가한 다음, 하위 계층이 신뢰할 수 있는지 증명한 후에 concurrency를 더 추가합니다. weighted failover와 graduated thresholds는 중요한 failover 패턴입니다.
__CAPGO_KEEP_0__
__CAPGO_KEEP_0__
__CAPGO_KEEP_0__ 255__CAPGO_KEEP_0____CAPGO_KEEP_0__).
__CAPGO_KEEP_0__
__CAPGO_KEEP_0__
네트워크 장비 바깥에서도 가중치 failover가 나타납니다. 회로 브레이커, 가중치 트래픽 풀, 그리고 스테이지드 이그레스 제어는 모두 같은 아이디어를 따릅니다. 첫 경고에 대해 비상사태를 알리지 마세요, 그러나 반복되는 신호를 무시하지 마세요. 정책은 SWITCHING COST로 인해 조정할 수 있습니다. 일찍 failover를 하게 되면 세션을 깨뜨리고 상태 일치화를 복잡하게 만들며, 한 사고를 두 사고로 만들 수 있습니다.
모바일 팀에게도 같은 논리가 적용됩니다. 배포 제어에 대한 논리는. 라이브 업데이트 경로가 여전히 일부 관객에게는 건강한 상태일 수 있지만, 더 작은 슬라이스가 이미 손상된 상태일 수 있습니다. 관찰 가능성이 세분화된 경우, 시스템은 EDGE에서 계속 서비스를 제공할 수 있습니다. 위험 수준이 정의된 라인까지 가는 동안. Capgo에서 설명하는 EDGE 네트워크 모델은 마지막 홉이 중앙 pipe라인과 같은 중요성을 가지는 이유를 설명합니다. 짧은 비디오를 통해 정신 모델을 더 쉽게 유지할 수 있습니다.
가중치 failover는 문제를 프레임하는 방식을 바꿉니다. 컴포넌트가 살아있는지 죽어있는지 여부를 물어보지 않고, 경로에 남아있는 신뢰도 정도를 물어보게 됩니다. partial faults가 일반적이고, 강제로 급하게 교체하는 것보다 안정되게 유지하는 것이 더 좋을 때, 더 솔직한 질문입니다.
Failover를 CI/CD 및 라이브 업데이트 전달에 적용하는 방법
릴리즈 pipe라인은 전달 시스템이지만, 회복 시스템도 함께합니다. 그런 다음 디자인 선택이 더 명확해집니다. 빌드 서버, 아티팩트 저장소, 서명 서비스, 롤아웃 채널은 모두
중복성 failover를 위한 장소가 됩니다. CI/CD와 라이브 업데이트 전달에 Failover를 적용하는 방법 명확해야 합니다.
pipeline을 서비스 경로처럼 다루세요.
만약 하나의 빌드 러너가 죽었다면,冗余성이 유용한 것은 다른 러너가 작업을 이어받을 수 있는 경우에만입니다. 만약 아티팩트 저장소가 사용할 수 없다면, pipeline은 다른 복사본 또는 아티팩트에 대한 다른 경로가 필요합니다. 만약 롤아웃이 문제를 퍼뜨리기 전에 업데이트를 중단할 필요가 있다면, 시스템은 업데이트를 중단해야 합니다.
CI/CD 및 실시간 업데이트 전송은 일반적인 배포 스크립트와는 다릅니다. 성숙한 pipeline은 릴리스가 계속되거나 중단되거나 되돌아갈 수 있는지 여부를 알 수 있어야 합니다. Capacitor OTA 업데이트 트리거 가이드 이것은 빌드 프로세스가 사용자에게 보이는 배포 이벤트로 변하는 중간 지점에 위치하기 때문에 유용합니다.
실제 릴리스 chain은 일반적으로 세 가지 보호를 필요로 합니다.
- 빌드冗余성, 빌드 러너 또는 빌드 큐가 중단되지 않도록 하기 위해.
- 아티팩트冗余성, signed bundle이 단일 실패 지점이 되지 않도록 하기 위해.
- 채널 보호대__CAPGO_KEEP_0__은 CapacitorJS 또는 Electron live 업데이트를 배포하는 팀에 적합한 옵션입니다. signed web bundles, 채널 기반 배포, 장치별 로그, 자동 롤백 보호를 지원하기 때문입니다. 이 기능들은 롤백을 위해 중요합니다. 왜냐하면 그것들은 플랫폼이 잘못된 릴리즈를 감지, 분리, 그리고 반대하는 것을 허용하기 때문입니다. 그것은 스토어 리뷰 사이클을 기다리지 않고.
이것은 별개의 문제가 아니야. 그것은 시스템이 다른 시점에서 같은 롤백 스토리를 가지고 있기 때문이야.
롤백은 배달의 일부여야 해. 예외가 아니야.
롤백은 시스템이 사용자들을 잘못된 경로에서 멀리하고, 문제가 해결되거나 이해되면 안정적인 경로로 되돌려주는 애플리케이션 계층 버전이야.
만약 롤백이 수동으로 진행되는 훈련만 있다면, 일반적으로 문제가 해결되기 전에 도착하지 않아.
관찰성은 이것이 가능하게 해주는 거야. 장치별 로그, 채택 신호, 실패 이벤트는 업데이트 경로가 계속 진행할 수 있는지 여부를 알려줘. 그 정보가 없다면, 팀은 눈먼 개가 돼 있고, 롤백 결정은 단순히 추측일 뿐이야.
Capgo fits into that model as one option for teams that ship CapacitorJS or Electron live updates, because it supports signed web bundles, channel-based distribution, per-device logs, and automatic rollback protection. Those features matter for failover because they give the platform a way to detect, isolate, and reverse a bad release without waiting for a store review cycle.
__CAPGO_KEEP_0__은 CapacitorJS 또는 Electron live 업데이트를 배포하는 팀에 적합한 옵션이야. 왜냐하면 그것은 signed web bundles, 채널 기반 배포, 장치별 로그, 자동 롤백 보호를 지원하기 때문이야. 이 기능들은 롤백을 위해 중요해. 왜냐하면 그것들은 플랫폼이 잘못된 릴리즈를 감지, 분리, 그리고 반대하는 것을 허용하기 때문이야.
점은 하나의 도구가 모든 것을 해결하는 것이 아니야. 점은 배달 pipeline이 강건한 시스템처럼 행동해야 한다는 거야. 단방향 방송이 아니야.
세계에서 업데이트 경로가 깨지기 전에 대시보드가 말하는 것보다 훨씬 더 오래 전에. 빌드에서 서명으로, 서명에서 저장소로, 저장소에서 에지 네트워크로, 에지 네트워크에서 장치로 이동합니다. 장치가 오프라인, 느리거나 부분 연결된 경우에도. 업데이트가 실패하지 않은 것은 아니고, 중단된 것입니다.
에지 네트워크가 복구 경로에 어디에 속하는 이유
지연 시간, 일관성, 서명된 패키지, 장치별 로그는 전달에 중요한 부분입니다. 검증할 수 없는 서명된 패키지는 죽은 경로입니다. 장치가 그것을 믿지 않도록 해야 하기 때문입니다. 요청이 어디에 도착하는지에 따라 다른 콘텐츠를 제공하는 에지 노드가 애플리케이션 자체가 건강한 경우에도 failover 이벤트를 트리거할 수 있습니다. 이는 전달 문제를 신뢰성 문제로 변환합니다.
에지 네트워크는 클래식 인프라와 동일한 논리를 따릅니다. 분산된 에지 네트워크는 전달에 대한冗余层가 되고, 다음으로 요청을 처리할 수 있는 건강한 노드가 failover 목표가 됩니다. 라우팅 테이블이나 데이터베이스 복제와 같은 패턴을 작업한 경우, 패턴이 익숙할 것입니다. 모바일 배포는 업데이트 논리 뒤에 실패를 숨기기 때문에, 깨진 단계를 더 쉽게 놓치게 됩니다.
전달层에 대한 더 광범위한 개요를 원한다면 실제로 에지 네트워크가 무엇을 하는지 위치 기반 실패가 모바일 업데이트 시스템에서 왜 그렇게 중요하다는 것을 설명하는 데 도움이 됩니다. 동일한 아이디어는 네트워크 에지에서 데이터 처리, 로컬 처리가 성능과 실패 동작을 모두 변경합니다.
__CAPGO_KEEP_0__
__CAPGO_KEEP_1__
__CAPGO_KEEP_2__
- Beta 채널 __CAPGO_KEEP_3__
- __CAPGO_KEEP_4__ __CAPGO_KEEP_5__
- __CAPGO_KEEP_6__ __CAPGO_KEEP_7__
- __CAPGO_KEEP_8__ __CAPGO_KEEP_9__
__CAPGO_KEEP_10__
이것은 인프라스트럭처와 모바일 전달 사이의 연결고리입니다. Failover 목표는 항상 다른 서버가 아닐 수 있습니다. 다음에 신뢰할 수 있는 번들을 다음에 신뢰할 수 있는 에지에 저장할 수 있습니다.
테스트 Failover를 필요로 하지 않아도
중복성의 신화가 살아남는 이유는 행복한 경로가 설득력이 있기 때문입니다. 팀은 중복된 인프라를 보게 되면 강건하다고 생각하고, 실제로 실패할 때 모든 것을 무너뜨리는 숨겨진 의존성을 놓치게 됩니다. 간단히 말하면, 중복된 부분은 테스트하고 검증해야 하며, 프론트엔드와 백엔드 Failover는 항상 동기화되어야 합니다.
중복성의 신화가 살아남는 이유는
신화는 보통 공유된 의존성과 약한 물리적 분리와 관련이 있습니다. 두 시스템은 여전히 같은 숨겨진 경로, 같은 서명 서비스, 또는 같은 아티팩트 저장소에 의존하고 있기 때문에 실제로 분리되어 있지 않습니다.
이것은 백업이 존재하는지 확인하는 테스트만 하는 경우, 실제 Failover 경로가 실패하는 경우에도 통과할 수 있기 때문입니다.
모바일 전달과 에지 시스템에 대한 것은 더 중요합니다. chain은 여러 층으로 확장되기 때문입니다. 롤백은 대시보드에서 건강하게 보이지만, 장치가 백업 에지 위치에서 번들을 다시 가져올 수 없을 때, 지역 Failover는 성공적으로 보이지만, 서명 서비스, 아티팩트 저장소, 또는 인증 경로가 공유된 실패 도메인을 노출할 때까지. testing Capacitor OTA updates__CAPGO_KEEP_0__ OTA 업데이트를 테스트할 때도 나타납니다.
업데이트 경로는 장치, 에지 층, 그리고 신뢰할 수 있는 릴리스 소스까지 작동해야 합니다.
실제 복구 경로가 아닌 가짜 경로를 강제하는 유용한 장애 테스트를 수행해야 합니다. 팀은 완전한 시퀀스를 현실적인 조건 하에서 연습하고, chain이 왜곡되거나 멈추거나 파괴되는지 관찰해야 합니다. 더 광범위한 경계 관점은 여기서 도움이 됩니다, 네트워크 에지에서 데이터 처리 지역 조건이 실패 스토리에 포함되면 “복구”라는 용어가 바뀌게 됩니다.
실용적인 체크리스트는 다음과 같습니다.
- 혼란 drills, 의도적으로 구성 요소를 제거하거나 감소시켜 시스템이 깨끗하게 shift할 수 있는지 확인합니다.
- 지역 간의 합성 거래, 요청이 하나의 사이트가 unavailable일 때도 완료될 수 있는지 확인합니다.
- 계획된 지역 장애 조정, 라우팅, 인증, 저장, 업데이트 전달이 모두 함께 움직이는지 확인합니다.
- 스테이지드 롤아웃 반전, 실제 네트워크 조건 하에서 나쁜 라이브 업데이트가 중단되고 대체될 수 있는지 확인합니다.
- 모바일 롤백 검증, 백업 에지 위치에서 다시 로드할 수 있는 서명된 번들을 확인합니다.
실제 대체 경로에 접근하지 않는 테스트라면, 모니터링 대시보드만 작동하는지만 증명한다.
강력한 팀은 failover 테스트를 반복적인 운영 습관으로 다루며, 감사 시점에 백업 체인이 견고한지 확인하기만 기다리지 않는다. 그들은 가장 중요한 실패 모드를 연습하고, 시스템이 수동으로 혼란스럽게 회복하지 않도록 전달을 강화한다.
실시간 업데이트 배포하는 팀의 실무 가이드
실시간 업데이트에서 데이터베이스나 로드 밸런서가 실패하는 곳에서 실패할 수 있다. 단, 모바일의 경우 실패 범위가 다르다. 잘못된 패키지, 깨진 에지 노드, 또는陈舊한 대체 채널은 사용자가 오래된 빌드로 고립될 수 있으면 앱은 정상적으로 보인다.
실시간 업데이트 배포를 시작한다면, 이번 주에 배포 경로를 시작한다.
- weak point를 매핑한다., DNS, 에지, 원본 layer에서 단일 실패 지점을 식별하고, 사용자 영향력을 소유하는 것을 확인한다.
- 대체 경로를 확인한다., 각 критカル 컴포넌트가 건강한 백업 경로를 가지고 있는지 확인한다. 단순히 종이 위에 복사된 자산만이 아니다.
- 채널 가드레일을 사용한다.__CAPGO_KEEP_0__
- 베타, 스테이징, 및 프로덕션을 분리하여 한 번의 잘못된 릴리스가 전함 전체에 영향을 미치지 않도록 하세요.서명된 번들을 요구하세요
- __CAPGO_KEEP_0__로그 및 수용률 데이터를 사용하여 실패오버가 트리거되어야 하는지 알려주는 감지 메커니즘으로 사용하세요.
- 롤백을 연습하세요__CAPGO_KEEP_0__
- 실제 사고를 기다리지 마세요. 마지막으로 알려진 좋은 버전이 깨끗하게 복원되지 않는다는 것을 발견하는 것입니다.일정된 혼란의 훈련을 실행하세요
- __CAPGO_KEEP_0__서비스에서 일부 경로를 의도적으로 제거하고 실제로 chain이 shift하는지 관찰하세요.
재귀도 검증하세요
release가 잘못되면, 이미 반복된 응답이 있어야 합니다. 발생한 사고를 처리하는 데 사용하는 인시던트 루북 옆에 체크리스트가 있어야 합니다. 체크리스트는 프로덕션 시작 시 문제가 발생하는 경우 사용하는 인시던트 리스폰스 가이드와 연결되어 있어야 합니다. 인시던트 리스폰스 가이드 팀이 사용하는 인시던트 리스폰스 가이드
