[MIP-524] 수동 페일오버 시 절체 대상서버에서 미러디스크가 OnlinePending 후 Timeout 되어 장애로 인식되는 현상

Owned by 장영환
Last updated: 2015/11/18 by 양희덕
2 min read

Subject
수동 페일오버 시 절체 대상서버에서 미러디스크가 OnlinePending 후 Timeout 되어 장애로 인식되는 현상

APPLIES TO:
MCCS version: 3.3.2
OS:Windows 2008 server Standard Edition R2 SP1
APPs:
Disk Type: Shared or mirror,none 




SYMPTOMS
5월 4일 최초 설치 시 미러디스크 관련 이슈 사항 없었음. 해당 설치 일자 VIP 충돌문제외
장애 내역 없음(라우터에서VIP의 MAC을 고정 할당하는 문제로 파악)
5월 15일 블루스크린 발생. 해당 덤프는 포스코 SI업체에서 분석중.
5월 17일 VIP 이슈 관련 문제로 테스트 진행.
dissvr1서버에서 dissvr2서버로 수동페일오버 진행 중 MCCS 콘솔 상 Mirror_D X표시
생김. Ping 테스트,Firewall 이상 없음.
dissvr1,2 서버 MCCS Agent 서비스 재시작 후 MCCS 콘솔 상 Mirror_D 정상 표시.
dissvr2 서버에서 dissvr1 서버로 수동 페일오버 시 MCCS 콘솔 상 Mirror_D 온라인전
상태 지속 되면서 120초 대기 후 Timeout 발생. Mirror_D 장애 인식 Dissvr2서버로
페일오버 됨.



CAUSE
작업내역 -
1. dissvr1서버에서 dissvr2서버로 수동 페일오버.
DK 상 Mirror 상태 확인 Source:dissvr2 target: dissvr1 Mirror상태: Mirroring
MCCS 콘솔상 Mirror_D X표시로 나타남.
2. 양 서버 MCCS Agent 서비스 재시작 이후 MCCS 콘솔 상 Mirror_D 정상 상태 확인. DK 콘솔 jon상태 1번과 동일.
3. dissvr2서버에서 dissvr1서버로 수동 페일오버.
DK 상 Mirror 상태 확인 Source:dissvr1 target:dissvr2 Mirror상태: Mirroring
MCCS 콘솔 상 Mirror_D Dissvr1 서버에서 온라인 전 상태 지속. 120초 이후
12/05/17-12:37:52,524 | ror_DAgent | rror.MirrorUtil: 857 | WARN | 30027:볼륨 상태 대기시간 초과 D:, Source, 120
12/05/17-12:37:52,664 | ror_DAgent | MirrorDiskAgent: 379 | WARN | 30031: 볼륨이 잠겨있지 않음. 미러 볼륨 페일오버 기능 비활성화
12/05/17-12:38:23,053 | ror_DAgent | te.StateMachine: 384 | ERROR | 40077:리소스 상태 변경 [Mirror_D - 장애]
로그 발생하며 Mirror_D 장애 감지 후 Dissvr2 서버로 페일오버됨.
장애 감지 전까지 DK 상 Mirror 상태 확인 Source:dissvr1 target:dissvr2 Mirror상태: Mirroring
4. dissvr2서버에서 dissvr1서버로 수동 페일오버 후 Mirror_D 온라인 전 상태(Pending 상태) 일때 MCCS Agent 서비스 재시작 시 정상 온라인으로 감지.
5. MCCS 3.3.2(r96731) 삭제 후 재설치 테스트=> 동일 증상 발생
6. Dirty bit 발생 로그 확인 후 DK Job 제거 후 CHKDSK 실행. JOB 재생성 후 테스트=> 동일 증상 발생.
7. MCCS 3.3.0(r96129) 다운그레이드 이후 Mirror_D 미러디스크 리소스 생성 후 테스트=> 동일 증상 발생.
8. MCCS 3.3.2(r96731) 설치 및 DK JOB 재생성 동시 수행 후 테스트=> 동일 증상 발생. 



SOLUTION
현재 3.4 버전에선 ISPOTENTIALMIRRORVOL 명령이 불 필요한 명령으로 판단. 제거하였습니다.

Fix version : 3.4