Server Failure

This is the case of system being rebooting or shut down because of conflicts of each device (NIC, Raid Controller), kernel driver problem of other application.

운영 서버 장애 

1. 서버의 정상 혹은 비정상 종료에 따른 MCCS의 역할에는 차이점이 없습니다. MCCS는 운영 서버에서 장애가 발생하면 대기 서버로 페일오버를 진행합니다.
   화면의 오른쪽에 있는 노드 관리에서 해당 서버를 선택하면 '리소스 상태' 및 '리소스 의존성' 화면을 통하여 장애를 확인할 수 있습니다.
   • • Normal Termination of a system
       This is a case where user selected 'system shutdown' in operating systems.
     • Abnormal Termination of a system 
       This is a case where system is terminated or rebooted due to an unexpected situation or blue screen.
   
   [ Figure] Failure in Active Server
   
   
2. Since data cannot be replicated due to the server failure, will be shown in the mirror disk resource.
3. Server operators check on the failure and put the server back to normal.
4. After checking on the mirror role of two servers when server with the failure is rebooted, switch the server with the failure as replication target and proceed partial resync.

Standby Server Failure

1. MCCS will show the failure when failure occurs in standby server.
2. Data replication will be paused until standby server is back to normal.
   
   
   [Figure] Failure in Standby Server
   
   
3. 데이터 동기화가 불가능해지고 미러 디스크가 '네트워크 연결 실패' 상태(  )가 됩니다.
4. 대기 서버에서 장애가 발생하면 운영상에는 문제가 없지만 페일오버할 대상이 없으므로 서버 운영자는 반드시 MCCS 웹 콘솔을 통하여 장애를 확인하고 대기 서버를 정상화 시켜야 합니다.
5. 대기 서버가 다시 정상으로 돌아되면,  아이콘이 사라집니다.
6. 미러디스크의 DiskState 상태 값은  'Inconsistent'  에서 'UpToDate' 상태로 변경되기 위해, 데이타 동기화()를 진행합니다. 
7. 동기화가 완료가 되면, 현재 정상 데이터가 실시간 동기화되고 있다. (  )는 상태로 변경됩니다. 

Application Failure

Active application resources are operated by 4 elements below.

• MonitorInterval (Default Value=10sec)
  Monitors the resource with interval set value.
• MonitorTimeout (Default Value=10sec)
  If there is no reply as much as the set value, it is considered as a failure.
• RestartLimit (Default Value=0)
  It will restart the application resource as the set value.
• OnlieTrustTime (Default Value=600sec) 
  It re-sets the time of number of resource restarting number.It is the time to reset the frequency of the resource to restart.
  Attributes above are the set value of the registered being added the resource, and users can check or change the values through Resource Attribute view of MCCS console. 
  
  
  [Figure] Resource attribute value Edit
  
  

1. MCCS periodically monitors the resources referring  'MonitorInterval'.
2. If there is no response as the time set in 'MonitorTimeout', it is considered as a failure.
3. If there are no response after sending the command as the number set in 'RestartLimit', MCCS will failover the group which resource belongs to.
4. If the resource stays in normal state within the time limit set by 'OnlineTrustTime'. MCCS will initialize the attribute value of 'RestartLimit'. This is to ensure restart number when failure occurs in a resource.
5. If there is a failover due to a failure in the resource, server operator checks on the problem and put it back to normal.
6. 장애가 발생한 부분은 MCCS 웹 콘솔에서 확인할 수 있으며, 장애가 발생한 부분을 사용자가 확인한 후에 장애 표시를 제거해 주어야 다시 페일오버 기능이 활성화됩니다. 
   자동으로 장애 표시를 제거하고자 할 경우에는 그룹 속성의 AutoFaultClearTime에 0보다 큰 값을 설정하면 됩니다. 
7. After checking on the mirror role of two servers when server with the failure is rebooted, switch the server with the failure as replication target and proceed partial resync.
   
   
   [Figure] Failure in Resource Clear
   

Network Failure

Network failure happens when network connection has problem, such as network switch or network interface card is broken or disconnection in network cable, or ping timeout of some network and so on.

• Service Network Failure

  If failure occurs in service network of active server, the fault mark will be shown on the network interface card resource or IP address of the node in MCCS UI, and will failover to the standby server.

  

• [Figure] Failure in Network Interface Card

1. 서비스 네트워크 장애는 장애가 발생한 부분을 MCCS 웹 콘솔에서 확인할 수 있습니다.
2. MCCS checks network cable disconnection of server where network failure occurred, and whether ping timeout occurs from network.
3. If IP address resource is the cause of the failure, user should check on the network switch or network interface card.
   When physical parts related to network is back to normal, select 'Clear Fault' from the MCCS web console and remove fault mark in order to re-enable the failover function. 
4. 자동으로 장애표시를 제거하려면 그룹 소것ㅇ의 AutoFaultClearTime 에 0보다 큰 값을 설정하면 됩니다. 
   
   

• • Heartbeat Network Fault

    핫빗은 노드 상호간의 상태를 동기화하고 장애 상태를 결정하는 중요한 역할을 하기 때문에 반드시 이중화되어 있어야 합니다. 이중화된 핫빗 네트워크 중에서 어느 하나라도 장애가 발생하면 장애 내용은 로그창에 표시 됩니다. 
    하지만 MCCS 웹 콘솔에는 아무런 변화가 나타나지 않습니다. 이것은 운영 서버와 대기 서버에는 아무런 문제가 없다는 것을 뜻합니다. 
    At this point, when failure occurs in active server and needs to failover to the standby server, MCCS will use redundant normal heartbeat network to failover.
    If all the redundant heartbeat is disconnected, MCCS will use the service network as heartbeat line.

    

    [Figure] Failure in Heartbeat

1. 1. 1. 1. Heartbeat failure can be checked on MCCS log, Window System log. If failure occurs in heartbeat line, server operator should check on the TCP/IP of server, physical connection check on the heartbeat through ping test.
         2. If it is an abnormal situation, check on card, cable connection or cable disconnection and clear the cause of the failure.

• • Replication (Mirroring) Network Failure

    복제 네트워크에 장애가 발생하면 데이터 복제를 진행할 수 없으며, MCCS 웹 콘솔의 미러 디스크 리소스 부분이 'Disconnect' 상태(  )로 표시 됩니다.

     
     
    
  [Figure]
   
  Failure in Replicated Network

1. 1. 1. 1. Replication network failure can be checked on MCCS log, OS System log. If failure occurs in replication network, server operator should check on the TCP/IP of server, physical connection check on the replication network through ping test.
         2. If it is an abnormal situation, check on card, cable connection or cable disconnection and clear the cause of the failure.
   
   

• • Single Network Switch Fault

    When failure occurs in network switch connected to Public Network where it is configured by single network switch, all the resources in active and standby server will be taken offline, resources where failure occurs will show as 'fault'.
    
    [Figure] Failure in Network Switch    

1. Network switch failure can be checked on MCCS log, OS System log. If failure occurs in service network connection, server operator should check on the TCP/IP of server, physical connection check on the service network through ping test.
2. 자동으로 장애 표시를 제거하려면 그룹 속성의 AutoFaultClearTime에 0보다 큰 값을 설정하면 됩니다.
3. Please get the supports regarding the recovery of Network switch failure through manufacturer.
   
   

Disk Failure

Mirror Disk Failure

• Source Disk Failure

  If failure occurs in disk resource of active server, MCCS GUI will show the failure. MCCS will failover to the standby server since it is impossible to Read/Write in the disk.

   

  [Figure] Failure in Mirror Disk

  
  

1. Availability of disk monitoring of MCCS are as below.
   
   • Periodic read/write test on the disk.
   • Determines whether drive letter exists in the disk.
2. 디스크 장애 발생 요인은 다음과 같은 경우가 있을 수 있습니다. 위의 문제가 해결 된 후에 운영 체제는 변경된 디스크를 다시 인식합니다.이후 DRBD에서 동기화를 진행합니다.
   • 디스크 컨트롤러 문제 하드웨어 자체의 문제는 해당 업체에서 해결해야 합니다.
   • 물리적인 디스크 문제 하드웨어 자체의 문제는 해당 업체에서 해결해야 합니다.
3. 미러 리소스에서 동기화가 진행되지 않으면 미러디스크 리소스를 삭제한 후에 다시 생성해야 합니다. 단, 삭제 시 리소스만 삭제가 아니라 생성된 미러까지 삭제하고 다시 생성해야 합니다. 
   
   

• Target Disk Failure
  대기 서버의 디스크에 장애가 발생하면 MCCS 웹 콘솔의 디스크 리소스 아이콘은 변화가 없고, Diskstate 의 속성 값이 UptoDate에서 Diskless 로 변경 됩니다. 그러나 소스 서버에서 운영중인 서비스에는 영향을 미치지 않습니다. 
  
  [그림] 타깃 디스크 장애 발생 화면
  
  

1. MCCS에서 타깃 디스크에 대한 장애 감지는 해당 디스크의 DiskState 상태에 대한 값만을 출력합니다. 
2. 디스크 장애 발생 요인은 다음과 같은 경우가 있을 수 있습니다.위의 문제가 해결 된 후에 운영 체제는 변경된 디스크를 다시 인식합니다.이후 DRBD에서 동기화를 진행합니다.
   • 디스크 컨트롤러 문제 하드웨어 자체 문제는 해당 업체에서 해결해야 합니다.
   • 물리적인 디스크 문제 하드웨어 자체 문제는 해당 업체에서 해결해야 합니다.
3. 미러 리소스에서 동기화가 진행되지 않으면 미러디스크 리소스를 삭제한 후에 다시 생성 해야합니다. 단, 삭제 시 리소스만 삭제가 아니라 생성된 미러까지 삭제하고 다시 생성해야 합니다. 
   
   

• Split Brain of Mirror Disk Resource 

  매우 드문 경우이지만 두 서버상에서 미러 디스크 역할이 모두 Primary로 인식되었고, 웹 콘솔의 데이터 값이 불일치 하는 경우입니다. 
  이러한 상황은 타깃이 소스로 변경되는 시점에 기존 소스가 타깃으로 변경되지 못한 결과이며, 이 때는 서로 자신의 데이터를 동기화하려 하지만 이전 데이터 값이 불일치하기 때문에 자동으로 동기화하지 않게 됩니다. 
  미러 디스크에서 Split Brain이 발생하는 상황은 다음과 같습니다.
  

1. 소스 서버(A) 장애로 인해 페일오버가 발생합니다.
2. 타깃 서버(B)의 역할이 Primary 로 변경됩니다. (미러 디스크 역할 변경)
3. 최초의 소스 서버(A)를 재부팅합니다.
4. 최초의 소스 서버(A)가 부팅된 후에 타깃 서버(B)의 역할을 확인합니다.
5. 양 노드의 GI 값을 확인 합니다. .
6. GI 데이터의 값이 일치유무를 확인하고 일치한다면 자동으로 데이터 동기화를 진행합니다. (5, 6번 과정 확인 실패)
7. GI 데이터 값이 불일치 하여 어느한쪽 노드를 기준으로 동기화가 필요하며 동기화를 자동으로 진행하지 않습니다.  (Split Brain 발생)
   
   이러한 상태가 되면 MCCS 웹 콘솔에서 미러 디스크 리소스의 아이콘 표시와 겹쳐서 나타나며(), 'SplitBrainStatus' 속성 값이 True로 표시됩니다.
   이러한 경우에는 미러 디스크 역할을 수동으로 변경해야 하며, 변경한 후에는 재동기화 과정이 발생합니다.
   미러 디스크 역할을 수동으로 변경하는 방법은 MCCS 웹 콘솔을 이용하면 됩니다. 
   
   

•  MCCS 웹 콘솔을 사용해서 스플릿브레인을 해결하는 방법

1. 리소스 속성창을 확인합니다. 
   
   [그림] 미러디스크 스플릿 브레인 확인

   
   

2. 미러 관리창을 확인합니다.

   
   [그림] 미러디스크 스플릿 브레인 확인

   1) 양노드의 ConnectState는 StandAlone이며, SplitBrainStatus 값은 True가 됩니다.
   2) 미러디스크의 LastMirrorOnlineTime을 확인합니다. (LastMirrorOnlineTime은 시스템의 시간이므로 최신 데이터의 유무를 결정할 수 있는 절대값이 아닙니다)
   3) 스플릿 브레인이 발생했을 때 발생하는 로그가 출력됩니다. 
   (DRBD 볼륨(r0)에 스플릿 브레인이 발생했습니다.)
   4) 미러 관리창에서 미러 상태가 'SPLIT' 상태입니다.

3. 미러디스크를 선택하고 오른쪽 버튼을 클릭하여 '스플릿 브레인 해결'을 클릭합니다.
   
   [그림] 스플릿 브레인 해결  선택
   
   
4. 스플릿브레인에 대한 설명창이 출력됩니다.
    
   [그림] 소스 노드 선택에 대한 내용 확인
   
   
5. 소스노드를 선택합니다.
   
   [그림] 소스 롤 노드 선택
   
   
6. 선택한 소스노드에 대해 다시 한번 확인합니다.
   
   [그림] 소스 노드 선택 다시 확인
   
   
7. 스플릿해결 중인 화면입니다.
   
   [그림] 스플릿 브레인 해결 화면
   
   
8. 스플릿해결 완료 화면입니다.
   
   [그림] 스플릿 브레인 해결 완료 화면
   
   

9. 선택한 노드가 소스노드가 되고 미러디스크의 DiskState 상태는 UpToData로 바뀌게 됩니다. 
   
   [그림] 스플릿 브레인 해결
   
   

   노드 B 의 변경된 정보는 모두 덮어써지게 됩니다

    

External Storage Failure

외장 디스크의 연결 경로 및 디스크에 장애가 발생하면 해당 디스크의 Read/Write가 불가능하므로 MCCS는 장애를 표시하고 페일오버를 진행합니다.

[Figure] Failure in Shared Disk

1. External storage failure can be checked through MCCS log, System log.

2. If there is a problem in external storage, service is stopped until the storage recovers. Therefore, storage should be recovered in a short period of time or it should be replaced to other one (back up storage).

3. Problems related to the external storage should be dealt with the vendor.

4. When the server of external storage connection and disk where failure occurs is back to normal, Server should be rebooted so that MCCS Kernel Driver can identify the recovered environment.

5. Also, redundancy measures should be solved from storage vendor.

SCSI Lock Failure

When interlock with volume manager using SCSI3-PR

Volume Manager (Ex: something like SFW of Symantec that has SCSI3-PR reservation function) can be used with SCSI Lock agent.

When check if SCSI-PR is supported

To check of the disk supports SCSI-3PR function, PR type can be checked using scsicmd.cmd command.

When cannot find sg_scan.sh or sg_persist.sh pass

Check if the command exist in $MCCS_HOME/bin.

When interlock with shared disk

When interlock shared disk agent and SCSI Lock agent, check if the shared disk agent works normally and then register SCSI Lock agent.
The purpose of disk of SCSI Lock agent is to use as a LOCK device in hardware perspective, not the contents of the disk. Therefore, size of disk can be small and it is not protected.

When registration key error occurs

Remove Reservation key and registration key using scsicmd.cmd-c command and re-set. Before registering resource, check if there is any registered key and if there is, remove the key first before registering.
Note that the current key is se automatically by its MAC address. It uses the first adapter among the network adapters. This key is automatically recorded in setting file. If key does not exist in setting file then new key is not created.

When various letters exist in one disk and when register one letter, other letters cannot access

SCSI Lock disk supports basic disk and single letter. Please do not use the disk that uses dynamic disk or multiple volume(use one LUN to configure various partition).

When maintaining the state where DUID is not solved after registering agent

레터를 정의하고 활성화를 요청해야 main.json에 해당 레터에 연결된 DUID 정보가 기록됩니다.

When delete agent

SCSI Lock 에이전트가 삭제될때 예약을 해제합니다. 따라서 예약대상 공유디스크가 상대 노드에서 사용될 가능성을 염두에 두고 삭제를 해야 합니다. 즉 삭제할 경우에는 상대 노드를 다운시킨 후 작업하십시요.

Ways to collect support files

When problems occur in MCCS, support file must be collected to collect log and preference information.
There are 2 ways to collect support file.

웹 콘솔로 수집하는 방법

1. MCCS 웹 콘솔에서 메뉴바의 '파일'을 클릭하여 서포트 파일을 수집할 수 있습니다.
   
   [그림] 메뉴바에서 서포트 파일 수집  
   
   
2. Support files can be collected by clicking the toolbar shown in the figure below.
   
   [그림] 툴바에서 서포트 파일 수집
   
   
3. 서포트 파일을 수집할 노드의 선택과 이전에 받은 서포트파일을 다시 받을 수 있습니다.
   
   [그림] 서포트 파일 노드 선택 및 이전 서포트 파일 선택 여부
   
   

4. Click 'OK' button and support file is collected.
   
   [그림] 서포트 파일 수집 중 화면

    

   로그파일의 용량과 네트워크의 상태에 따라서 몇 분이 걸릴 수도 있습니다.

   
   

5. 아래와 같이 다운로드 창이 열리게 되고 다운받으시면 됩니다.
   
   
   
6. 수집된 서포트 파일은 지정된 위치에서 확인할 수 있습니다.
   
   [그림] 서포트 파일 수집 확인
   

Collecting file using script files

Script file is located as below:

$MCCS_HOME/bin/Support/support.cmd

Collected support file is created in the following directory.

$MCCS_HOME/support-$HOSTNAME/$HOSTNAME.zip