Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

 

Section

 

Column

MCCS를 사용하여 서버 이중화를 구성한 후, 서비스 운영 중에 여러 가지 장애가 발생할 수 있습니다.
이 장에서는 MCCS가 어떻게 장애를 감지하고 대처하는지에 대해 다음의 예제에서 상세하게 설명합니다.
(다음 예제에서 운영 서버는 'Active', 대기 서버는 'Standby'란 이름으로 MCCS에 등록되어 있습니다.)

 

Column
width350px

 

Panel

이 페이지의 주요 내용

Table of Contents
maxLevel4

 

 

 

EMS(Emergency Message Service)의 활용

MCCS는 별도 상용 제품인 EMS(Emergency Message Service)를 통해서 해당 시스템의 심각한 오류나 장애가 발생했을 경우, 자동으로 서버 관리자와 MCCS 제품 서비스 담당자에게 문자 메시지를 전송합니다.
또한 웹 기반의 통합 관제 콘솔을 제공함으로써 인터넷을 통하여 언제 어디서든지 장애 현황을 한 눈으로 파악할 수 있으며, 과거의 장애 이력 검색, 관리, 보고서 작성 등을 쉽게 할 수 있습니다.

EMS 구성요소

EMS 에이전트

MCCS가 설치되는 서버에서 동작하는 프로그램으로 EMS 서버와 통신을 합니다.

EMS 서버

MCCS 제품 유지 보수를 담당하는 업체에 설치된 서버 프로그램을 말합니다.

EMS 업무 흐름

로그 저장

EMS 에이전트가 로그를 저장합니다.
다음과 같은 LogType 속성을 이용하여 EMS 서버에 저장될 로그 종류를 지정할 수 있습니다.

H

HA 관련 로그로 저장됩니다.

(파일감시만 지정 가능합니다.)

A

애플리케이션 관련 로그로 저장됩니다.

(파일감시만 지정 가능합니다.)

S

Windows 시스템 이벤트 로그로 저장됩니다.

(Windows event감시만 지정 가능합니다.)

P

프로세스 관련 로그로 저장됩니다.

(파일감시만 지정 가능합니다.)


로그 분석

EMS 서버 이용자는 EMS 서비스를 받고자 하는 시스템에 대하여 장애 레벨을 설정할 수 있습니다.
EMS 서버는 설정된 장애 레벨을 필터로 사용해서 EMS 에이전트가 실시간으로 전송한 운영 서버의 시스템 로그 및 MCCS 로그를 분석하여 장애 여부를 판단합니다.


SMS 통보

정해진 필터에 의해 장애 감지가 확인되면 EMS는 시스템 담당 운영자와 MCCS 제품 서비스 담당자의 휴대폰에 장애 내용을 SMS(문자메시지)로 통보하여 신속하게 대응할 수 있도록 합니다.


EMS 서버 접속 후, 장애 원인 분석

시스템 담당 운영자 및 MCCS 제품 서비스 담당자는 인터넷 연결이 가능한 곳에서 EMS 서버에 접속하여 장애가 발생한 서버의 로그를 살펴보고 장애 원인을 분석합니다.
또한 제조업 관련 고객사인 경우, EMS 서버를 별도로 구축하면 제품 제조 공정에서 운영되고 있는 수많은 이중화 서버들을 중앙에서 모니터링 할 수 있으며, 통계 정보를 통하여 기간별 장애 유형과 장애 처리 내용들을 검색할 수 있습니다.
다음은 EMS 시스템의 업무 흐름을 도식화 한 것입니다.

[그림] EMS 시스템의 업무 흐름도


EMS 서버의 통합 모니터링 화면

다음은 EMS 서버에서 제공하는 통합 모니터링 화면의 일부입니다.
장애가 발생한 서버는 붉은 색으로, 장애 발생 후에 서버 관리자가 이를 인지하고 정상화 과정에 있는 서버는 노란색으로 표시되며, 파란색으로 표시된 서버는 정상 상태임을 나타냅니다.
물론 EMS 서버에 등록된 사용자는 해당 사용자가 관리하는 서버에 대해서만 내용을 확인할 수 있습니다.

Image RemovedImage Added

[그림] EMS 시스템의 이중화 서버 모니터링 화면


Image RemovedImage Added

[그림] EMS 시스템의 통계 화면



...

  1. 서비스 네트워크 장애는 장애가 발생한 부분을 MCCS 웹 콘솔에서 확인할 수 있습니다.
  2. MCCS는 네트워크 장애가 발생된 서버의 네트워크 케이블 단절 또는 특정 네트워크로의 Ping 타임아웃 발생 유무를 확인합니다. 
  3. 네트워크 주소 리소스가 장애 원인이라면 사용자는 네트워크 스위치 또는 네트워크 카드부터 점검해야 합니다. 네트워크와 관련된 물리적인 부분들이 정상화 된 후에는 에는 MCCS  웹 콘솔에서 "장애표시제거" 메뉴를 선택하여 장애 표시 항목을 제거 합니다. 이 때부터는 페일오버가 가능한 상태가 됩니다. 
  4. 자동으로 장애표시를 제거하려면 그룹 소것ㅇ의 AutoFaultClearTime 에 0보다 큰 값을 설정하면 됩니다. 

    • 핫빗 네트워크 장애

      핫빗은 노드 상호간의 상태를 동기화하고 장애 상태를 결정하는 중요한 역할을 하기 때문에 반드시 이중화되어 있어야 합니다. 이중화된 핫빗 네트워크 중에서 어느 하나라도 장애가 발생하면 장애 내용은 로그창에 표시 됩니다. 
      하지만 MCCS 웹 콘솔에는 아무런 변화가 나타나지 않습니다. 이것은 운영 서버와 대기 서버에는 아무런 문제가 없다는 것을 뜻합니다. 
      이 때, 운영 서버에 문제가 생겨 대기 서버로 페일오버 해야 할 상황이 발생하면 MCCS는 장애가 발생하지 않은 정상적인 핫빗 네트워크를 이용하여 페일오버를 진행하게 됩니다.  
      만일 이중화된 핫빗 모두가 단절된 상황이라면 MCCS는 서비스 네트워크를 이용하여 핫빗 통신을 하게 됩니다. 

      [그림] 핫빗 장애 발생 화면

       

...

하나의 디스크에 여러 레터가 존재할 경우 한개의 레터에 예약 시 나머지에 레터에 접근을 못할 때

SCS Lock 대상 디스크는 기본 디스크와 단일 레터를 디스크 디바이스를 지원합니다. 동적 디스크나 다중 볼륨(하나의 LUN에 여러 파티션을 구성하는 경우)을 사용하는 디스크는 사용하지 마십시요.

...

에이전트 등록 후 DUID가 해결되지 못한 상태로 유지될 때

레터를 디스크 디바이스를 정의하고 활성화를 요청해야 main.json에 해당 레터에 연결된 DUID 정보가 기록됩니다.

...

  1. MCCS 웹 콘솔에서 메뉴바의 '파일'을 클릭하여 서포트 파일을 수집할 수 있습니다.

    [그림] 메뉴바에서 서포트 파일 수집  

  2. MCCS의 툴바 아이콘을 클릭하면 서포트 파일을 수집할 수 있습니다.

    [그림] 툴바에서 서포트 파일 수집

  3. 서포트 파일을 수집할 노드의 선택과 이전에 받은 서포트파일을 다시 받을 수 있습니다.

    [그림] 서포트 파일 노드 선택 및 이전 서포트 파일 선택 여부

  4. 확인 버튼을 누르면 서포트 파일을 수집합니다.

    [그림] 서포트 파일 수집 중 화면

     

    Info

    로그파일의 용량과 네트워크의 상태에 따라서 몇 분이 걸릴 수도 있습니다.

    아래와 같이 다운로드 창이 열리게 되고 다운받으시면 됩니다

    .


    Image Removed

  5. 수집된 서포트 파일은 지정된 위치에서 확인할 수 있습니다.

    [그림] 서포트 파일 수집 확인

...