[MSP-134] 미러 타임아웃에 의한 페일오버 시기 및 동작 로직 조정

Owned by 양희덕
Last updated: 2015/09/30
1 min read

Subject
미러 타임아웃에 의한 페일오버 시기 및 동작 로직 조정

APPLIES TO:
"MCCS version: 4.0
OS:
APPs:
Disk Type: mirror"


SYMPTOMS
"현상 & 재현 방법
1. 미러 와 public NIC리소를 가지는 그룹을 생성.
2. 미러네트워크 분리 -> 미러 포즈 상태 이동
3. public nic 다운으로 폴트 강제 발생 -> 페일오버 시작됨.
4. 그룹 오프라인중 미러 포즈 상태로 인해 타임아웃 발생(5분대기필요)
-> 그룹오프라인 완료후 멈춤, 그룹 페일오버 안함.
5. Mirror 네트워크 라인 연결 -> 미러 리소스상태 mirroring상태로 이동
6. Public nic up -> public ip 리소스 온라인 감지후, 페일오버 진행."



CAUSE
"failover가 되는것이 아니라 autoRestart로 인해 온라인명령이 동작하게 되어 있는데 StateMachine에서 리모트 노드 상태가 Running이 아니라면 로컬 노드에서 온라인되고 아닐 경우는
TagetNodes의 등록된 노드 순서에 의해 실행됨"



SOLUTION
"1. NIC 장애 복구시 로컬 노드에서 그룹 재시작 되도록 수정. (Group.Failover 값 참조 동작)
2. Disk 깨짐 방지를 위해 원격 노드의 ActionState 상태 값을 RMI로 한번 더 체크 후 시작 명령 날리도록 수정.
3. 그룹 offline 상태에서 faulted 발생 후 정상화시 그룹 온라인 하지 않음. (Group.Failover 가 true 이어야 동작함)
4. 병렬 그룹 양쪽 노드 동시에 그룹 온라인시 한쪽 노드 시작 안하던 버그 같이 수정.
5. 미러 디스크 정규식 패턴 버그 수정.
6. AutoStart 동작시 실패한다면 Group.Failover 값을 true 변경한다 .
서버 재부팅 시 MCCS에서 AutoStart 옵션으로 자동시작 가능한지 검증을 하고 가능 하면 그룹 자동 시작을 하는데 이때 NIC이 늦게 올라오는 현상으로 인해 그룹 시작이 안되는 경우가 vm에서 발생한다고 하여 AutoStart 실패시 failover true값으로 설정해두면 NIC 정상화가 될때 AutoRestart로 인해 그룹 시작이 가능하게 하려고 변경."