...

또한 웹 기반의 통합 관제 콘솔을 제공함으로써 인터넷을 통하여 언제 어디서든지 장애 현황을 한 눈으로 파악할 수 있으며, 과거의 장애 이력 검색, 관리, 보고서 작성 등을 쉽게 할 수 있습니다.

EMS 구성요소

EMS 에이전트

MCCS가 설치되는 서버에서 동작하는 프로그램으로 EMS 서버와 통신을 합니다.

EMS 서버

MCCS 제품 유지 보수를 담당하는 업체에 설치된 서버 프로그램을 말합니다.

...

디스크 장애

미러 디스크 장애 (내장 스토리지)

• 소스 디스크 장애 

  운영 서버의 미러 디스크 리소스에 장애가 발생하면 MCCS GUI에 장애가 표시됩니다. MCCS는 해당 디스크에 Read/Write가 불가능한 상황이므로 장애로 인식하여 대기 서버로 페일오버를 진행합니다. 

   

  [그림] 미러 디스크 장애 발생 화면

  
  

1. MCCS에서 디스크에 대한 장애 감지 방식은 다음과 같습니다.
   • 해당 디스크가 마운트 되어 있는지 확인 합니다. 
   • 해당 디스크에 대해서 Read/Write를 실행합니다.
     
     
2. 디스크 장애 발생 요인은 다음과 같은 경우가 있을 수 있습니다. 위의 문제가 해결 된 후에 운영 체제는 변경된 디스크를 다시 인식합니다.이후 DataKeeper에서 동기화를 진행합니다.
   • 디스크 컨트롤러 문제 하드웨어 자체의 문제는 해당 업체에서 해결해야 합니다.
   • 물리적인 디스크 문제 하드웨어 자체의 문제는 해당 업체에서 해결해야 합니다.
3. 미러 리소스에서 에서 동기화가 진행되지 않으면 미러디스크 리소스를 삭제한 후에 다시 생성해야 합니다. 단, 삭제시 리소스만 삭제가 아니라 생성된 미러까지 삭제 하고 다시 생성해야 합니다. 
   
   

• 타깃 디스크 장애 

  대기 서버의 디스크에 장애가 발생하면 MCCS UI의 디스크 리소스 아이콘에 'Pause'가 표시됩니다. 그러나 소스 서버에서 운영중인 서비스에는 영향을 미치지 않습니다.

  
  [그림] 타깃 디스크 장애 발생 화면

  
  

1. MCCS에서 타깃 디스크에 대한 장애 감지는 해당 디스크의 드라이브 문자가 있는지 없는지 만을 판단합니다.
2. 디스크 장애 발생 요인은 다음과 같은 경우가 있을 수 있습니다.위의 문제가 해결 된 후에 운영 체제는 변경된 디스크를 다시 인식합니다.이후 DataKeeper에서 동기화를 진행합니다.
   • 디스크 컨트롤러 문제 하드웨어 자체 문제는 해당 업체에서 해결해야 합니다.
   • 물리적인 디스크 문제 하드웨어 자체 문제는 해당 업체에서 해결해야 합니다.
3. 미러 리소스에서 에서 동기화가 진행되지 않으면 미러디스크 리소스를 삭제한 후에 다시 생성시도합니다. 단, 삭제시 리소스만 삭제가 아니라 생성된 미러까지 삭제 하고 다시 생성해야 합니다.  
   
   

• 미러 디스크 리소스의 Split Brain

   매우 드문 경우이지만 두 서버상에서 미러 디스크 역할이 모두 소스로 인식되는 경우입니다.
  이러한 상황은 타깃이 소스로 변경되는 시점에 기존 소스가 타깃으로 변경되지 못한 결과이며, 이 때는 서로 자신의 데이터를 동기화하려 하지만 데이터를 받는 상대 서버 역시 자신이 소스 서버인 상태이므로 역할 변경을 거부하게 됩니다.
  미러 디스크에서 Split Brain이 발생하는 상황은 다음과 같습니다.

1. 소스 서버(A) 장애로 인해 페일오버가 발생합니다.
2. MCCS에서 SWITCHOVERVOLUME 명령을 실행합니다.
3. 기존 소스 볼륨이 삭제되지 않고 타깃 서버(B)의 역할이 소스로 변경됩니다. (미러 디스크 역할 변경)
4. 최초의 소스 서버(A)를 재부팅합니다.
5. 최초의 소스 서버(A)가 부팅된 후에 타깃 서버(B)의 역할을 확인합니다.
6. 타깃 서버(B)가 소스이면 최초의 소스 서버(A)는 이미 정상적으로 페일오버 되었다고 판단하고 자신을 타깃으로 변경합니다.
7. 미러 네트워크 이상 또는 다른 오류로 인하여 부팅 시점에 이 역할을 확인할 수 없게 됩니다. (5, 6번 과정 확인 실패)
8. 양 서버의 미러 역할이 모두 소스가 됩니다. (Split Brain 발생)
   
   이러한 상태가 되면 MCCS 콘솔상에서 미러 디스크 리소스의 아이콘 표시가 겹쳐서 나타나며, MirrorRole 속성값이 두 서버에 대해 모두 'Source'로 표시됩니다.
   이러한 경우에는 미러 디스크 역할을 수동으로 변경해야 하며, 변경한 후에는 재동기화 과정이 발생합니다.
   미러 디스크 역할을 수동으로 변경하는 방법은 MCCS 콘솔을 이용하면 됩니다.

•  MCCS 웹 콘솔을 사용해서 스플릿브레인을 해결하는 방법

1. 리소스 속성창을 확인합니다.
   
   [그림] 미러디스크 스플릿 브레인 확인

   
   

2. 미러관리 창을 확인합니다.

   
   [그림] 미러디스크 스플릿 브레인 확인

    

   Warning

   1)양노드의 MirrorRole은 Source, MirrorState은 MIRROR_PAUSED 상태가 됩니다. 2) 미러디스크의 TimeAquiredSourceRole을 확인합니다. (TimeAquiredSourceRole은 시스템의 시간이므로 최신 데이터의 유무를 결정할 수 있는 절대값은 아닙니다) 3) 스플릿 브레인이 발생했을 때 발생하는 로그가 출력됩니다.  (윈도우즈 이벤트 오류: An invalid attempt to establish a mirror occurred. Both systems were found to be Source.  Local Volume: F Remote system: 200.200.124.49 Remote Volume: F The mirror has been paused, or left in its current non-mirroring state.  Use the DataKeeper User Inteface to resolve this Split Brain condition.) 4) 미러관리 창에서 미러 상태가 'SPLIT' 상태 입니다.

3. 미러디스크를 선택하고 오른쪽 버튼을 클릭하여 '스플릿 브레인 해결'을 클릭합니다.
   
   [그림] 스플릿 브레인 해결  선택
   
   
4. 스플릿브레인에 대한 설명창이 출력됩니다.
    
   [그림] 소스 노드 선택에 대한 내용 확인
   
   
5. 소스노드를 선택합니다.
   
   [그림] 소스 롤 노드 선택
   
   
6. 선택한 소스노드에 대해 다시 한번 확인합니다.
   
   [그림] 소스 노드 선택 다시 확인
   
   
7. 스플릿해결 중인 화면입니다.
   
   [그림] 스플릿 브레인 해결 화면
   
   
8. 스플릿해결 완료 화면입니다.
   
   [그림] 스플릿 브레인 해결 완료 화면
   
   

9. 선택한 노드가 소스노드가 되고 미러디스크의 상태는 MIRRORING 상태로 바뀌게 됩니다. 
   
   [그림] 스플릿 브레인 해결
   
   

   Warning
   노드 B 의 변경된 정보는 모두 덮어써지게 됩니다

    

...

1. 외장 스토리지 장애는 MCCS 로그, 시스템 로그에서 장애 내역을 확인할 수 있습니다.

2. 외장 스토리지 자체에 문제가 생기면 스토리지를 복구 할 때까지 서버 운영이 중단 됩니다. 따라서 빠른 시간 내에 스토리지를 복구하거나 임시 스토리지(백업 스토리지)로 교체해서 사용해야 합니다.

3. 외장 스토리지와 관련된 장애는 해당 스토리지 업체에 문의하시기 바랍니다.

4. 장애가 발생한 서버의 외장 스토리지 연결 및 디스크가 정상화 되면 MCCS 커널 드라이버가 복구된 환경을 다시 인식할 수 있도록 서버를 재부팅 해야 합니다.

5. 또한 해당 스토리지 벤더를 통해 스토리지의 이중화 대책을 마련해야 합니다.

   
   

NetBIOS 장애

Direct-Hosted SMB 사용

Windows 2000 이상에서 지원하는 SMB는 Direct-Hosted 방식을 지원합니다. 이 기능은 NetBIOS 인터페이스를 사용하지 않고 직접 파일공유 서비스를 지원합니다.

...

즉, NetBIOS 에이전트를 사용하면서 DNS 서버와 연동할 경우에는 클라이언트가 파일서버에 대부분 Direct-Hosted SMB 방식으로 연결됩니다.

관련 캐시 플러시

에이전트 동작 확인 시, 관련 캐시를 플러시합니다. 

...

페일오버된 상황에서 클라이언트가 갖고 있는 가상이름의 IP주소가 페일오버 전 노드의 주소를 갖는 경우가 발생하면 클라이언트의 NetBIOS 케시가 플러시 될때까지 수 분 동안 통신이 안될 수 도 있습니다. WINS 서버를 사용하는 경우 이런 상황이 발생 가능합니다 . 따라서 이런 경우 클라이언트 프로그램은 이중화 동작이 발생하는 환경 임을 인지 할 수 있어야 합니다.

SCSI Lock 장애

SCSI3-PR 을 사용하는 볼륨매니저와 연동할 때

볼륨 매니져(예: 시멘택의 SFW 같이 SCSI3-PR 예약 기능을 사용하는 제품)는 SCSI Lock 에이전트와 같이 사용할 수 없습니다.

SCSI3-PR을 지원하는지 확인할 때

디스크가 SCSI3-PR 기능을 지원하는지 scsicmd.cmd 명령으로 PR 타입을 확인합니다.

sg_scan.exe 또는 sg_persist.exe 패스를 못 찾을 때

해당명령이 %MCCS_HOME%/bin 에 존재하는지 확인합니다.

공유 디스크 에이전트와 연동할 때

공유디스크 에이전트와 SCSI Lock 에이전트를 연동할 경우, 공유디스크 에이전트 동작이 정상임을 확인 한 후에 SCSI Lock 에이전트를 등록합니다.

이때 SCSI Lock 에이전트의 디스크 사용목적은 H/W적인 LOCK 장치로 사용하기 위함이지 디스크의 내용을 사용하지는 않습니다. 따라서 디스크의 크기는 작아도 되며 내용은 보호하지 않습니다.

등록 키 충돌 오류가 날 때

scsicmd.cmd -c 옵션 혹은 scsicmd.cmd -cf 옵션 으로 예약키 또는 등록키를 모두 제거한 후 다시 설정해야합니다. 그리고 리소스 등록전에는 등록된 키는 없는지 확인하고 있으면 제거후 등록해야 합니다.

참고로 현재 키는 노드의 MAC 주소를 사용하여 자동으로 설정합니다. 여러개의 네트웍 어탭터중에서 첫 번째 어탭터의 MAC 주소를 사용합니다. 이 키는 설정파일에 자동 기록합니다. 설정파일에 키가 존재할 경우에는 키를 새로 만들지 않습니다.

하나의 디스크에 여러 레터가 존재할 경우 한개의 레터에 예약 시 나머지에 레터에 접근을 못할 때

SCS Lock 대상 디스크는 기본 디스크와 단일 레터를 지원합니다. 동적 디스크나 다중 볼륨(하나의 LUN에 여러 파티션을 구성하는 경우)을 사용하는 디스크는 사용하지 마십시요.

에이전트 등록 후 DUID가 해결되지 못한 상태로 유지될 때

레터를 정의하고 활성화를 요청해야 main.json에 해당 레터에 연결된 DUID 정보가 기록됩니다.

에이전트 삭제할 때

SCSI Lock 에이전트가 삭제될때 예약을 해제합니다. 따라서 예약대상 공유디스크가 상대 노드에서 사용될 가능성을 염두에 두고 삭제를 해야 합니다. 즉 삭제할 경우에는 상대 노드를 다운시킨 후 작업하십시요.

...