Table of Contents

...

리소스를 승격하기 위한 명령은 다음과 같습니다.

fsradm primary [리소스명]

Info
리소스의 역할을 primary 로 전환하는 것을 승격, 역할을 secondary 로 전환하는 것을 강등이라고 합니다.

초기 동기화 시점의 로컬 파일은 양노드 정합성이 맞지 않은 Inconsistent 상태를 초기값으로 하기 때문에 기본적으로 승격이 거부됩니다. 초기 승격 시에는 강제(-f 옵션) 승격을 통해 사용자가 해당 리소스를 소스로 하겠다고 명시적으로 알려야 합니다.

...

Info
Invalidate 명령은 comparison_level 1(sync-by-hash-comp(속성, 해쉬 비교 동기화))을 기본 동작모드로 합니다. 동작 모드는 Invalidate 명령의 옵션으로 조정할 수 있습니다.

대역 설정

...

{
	...
	"network": {
		"sync_ratio" : "7:3",
		"sync_min" : 100M,
		"sync_max" : 1G
	}
}

복제 네트워크의 복제, 동기화 대역폭을 사전에 조율하고 적절한 수치 또는 비율로 구성해야 합니다. 복제와 동기화의 비율은 보통 7:3(복제 7, 동기화 3)의 비율을 기본으로 하여 네트워크 상황에 맞게 조정하면 됩니다. 되도록 복제에 많은 비중을 두는 게 로컬 I/O 성능에 좋습니다.

sync_min 과 sync_max 사이에서 동기화 대역을 설정할 수 있으며 sync_min 은 최소한 도의 보장 동기화 대역으로 지정됩니다. 단위는 byte/s 입니다.

Code Block
{ ... "network": { "sync_ratio" : "7:3", "sync_min" : 100M, "sync_max" : 1G } }

복제 시작

Secondary 노드가 승격되어 동기화가 시작됨과 함께 소스노드의 데이터에 실시간 변경분이 발생할 경우 변경분에 대한 반영을 자동으로 병행합니다. 복제는 로컬 데이터의 실시간 변경 분을 타깃으로 실시간 반영하는 동작으로 정의 되며 Primary 노드에서 Secondary 노드의 방향으로 진행됩니다.

...

Info

title	고아파일

고아파일은 누락파일과 달리 타깃의 복제 경로에 연고없이 남겨진 파일로 정의합니다. 이것은 일반적인 복제 상황에선 발생하지 않지만 타깃의 파일이 보호되지 않는 상황에서 의도치 않은 파일 조작이 있을 경우에 발생합니다.

고아파일이 발생하면 FSR 의 고아파일 대응 정책에 따라 처리가 되고 기본적으로 타깃의 특정 경로에 백업하는 것으로 처리됩니다. 백업 필요없이 바로 삭제 처리하도록 옵션을 지정할 수도 있습니다.

전환

전환(switch-over)은 복제 클러스터 내의 하나의 시스템에서 다른 시스템으로 자원에 대한 액세스를 수동 교환하는 동작입니다. 소스 노드를 강등시킨 후 타깃노드를 소스노드 역할로 승격하여 서비스를 위한 데이터를 활성화하는 과정입니다. 수동절체 라고도 하며 이와 반대로 장애에 자동 대응하는 개념으로 장애조치(fail-over)가 있습니다.

소스노드의 리소스를 강등합니다.

Code Block
c:\>fsradm secondary r0 done

타깃노드의 리소스를 승격합니다.

Code Block
c:\>fsradm primary r0 done

Info

고려사항

전환/절체 시 타깃노드의 리소스 파일상태는 UpToDate 최신 상태일 때 복제 정합성을 보장합니다. 만약 복제 연결이 단절되어 타깃이 최신 데이터를 가지지 못한 경우 이거나 타깃노드의 리소스가 동기화 중인 Inconsistent 상태일 경우에는 소스와 정합하지 않은 상태이므로 전환/절체를 제한해야 합니다.

파일잠금

타깃에 복제된 파일들은 소스로부터 수신하는 미러링 데이터 이외의 다른 쓰기 I/O 로 부터 보호되어야 합니다. 그렇지 않으면 복제 사본을 유지하기 위한 데이터 일관성을 보장할 수 없습니다. 특히 HA를 운영하는 경우 절체의 과정 중 대기노드의 데이터 일관성 보장을 위해 파일 잠금 기능을 반드시 활성화 시켜서 운영해야 합니다.

파일잠금은 리소스의 nodes 섹션내의 auto_file_lock 옵션을 통해 리소스의 역할에 따라 자동으로 설정되게 하거나 fsradm lock 또는 unlock 명령을 통해 수동으로 활성화,비활성화 할 수 있습니다.

자동 잠금

auto_file_lock 옵션은 기본 활성화되어 있습니다. 리소스의 역할이 강등된다면 파일들은 기본적으로 잠겨진 상태가 됩니다. 잠겨진 파일들을 해제하려면 리소스의 역할을 승격하거나 unlock 명령을 통해 잠금을 해제해야 합니다.

강등 시 잠금은 자동이지만 해제는 자동이 아닙니다.

수동 잠금

auto_file_lock 옵션을 비활성화 하고 파일잠금을 수동으로 운영할 수도 있습니다. 파일잠금을 수동으로 운영하려면 다음과 같이 잠금명령과 강등명령을 개별적으로 수행하고 명령 순서를 지켜야 합니다.

Code Block
c:\>fsradm lock r0 done c:\>fsradm secondary r0 done

-l 옵션을 명시할 경우 위의 두 명령을 하나의 강등명령으로 처리할 수도 있습니다. 명령의 순서는 위와 동일하게 락을 먼저 걸고 강등합니다.

Code Block
c:\>fsradm secondary -l r0 done

이와 반대로 승격 과정에선 primary 명령 이후 잠금을 해제 합니다.

Code Block
c:\>fsradm primary r0 done c:\>fsradm unlock r0 done

-u 옵션을 사용하면 하나의 승격명령에서 처리할 수 있습니다.

Code Block
c:\>fsradm primary -u r0 done

Info

파일 잠금이 활성화 되면 해당 복제 파일 셋에 대한 쓰기 I/O가 차단 되므로 관련된 애플리케이션 및 서비스들을 모두 종료하여 해당 파일로 I/O 가 더이상 발생하지 않게 한 후 잠금이 수행되도록 해야 합니다. 이렇게 하지 않으면 I/O 가 발생하는 도중 쓰기가 차단되어 I/O 에러가 유발되거나 애플리케이션이 가지고 있는 캐쉬 영역에 대한 Flush를 할 수 있는 기회를 놓쳐서 중요한 데이터의 기록이 누락될 수 있습니다. 절체 시에는 반드시 애플리케이션이 완전히 종료 작업을 수행한 후 파일잠금이 수행되도록 보장해야 합니다.

...

파일잠금

타깃에 복제된 파일들은 소스로부터 수신하는 미러링 데이터 이외의 다른 쓰기 I/O 로 부터 보호되어야 합니다. 그렇지 않으면 복제 사본을 유지하기 위한 데이터 일관성을 보장할 수 없습니다. 특히 HA를 운영하는 경우 절체의 과정 중 대기노드의 데이터 일관성 보장을 위해 파일 잠금 기능을 반드시 활성화 시켜서 운영해야 합니다.

파일잠금은 리소스의 nodes 섹션내의 auto_file_lock 옵션을 통해 리소스의 역할에 따라 자동으로 설정되게 하거나 fsradm lock 또는 unlock 명령을 통해 수동으로 활성화,비활성화 할 수 있습니다.

자동 잠금

auto_file_lock 옵션은 기본 활성화되어 있습니다. 리소스의 역할이 강등된다면 파일들은 기본적으로 잠겨진 상태가 됩니다. 잠겨진 파일들을 해제하려면 리소스의 역할을 승격하거나 unlock 명령을 통해 잠금을 해제해야 합니다.

강등 시 잠금은 자동이지만 해제는 자동이 아닙니다.

수동 잠금

auto_file_lock 옵션을 비활성화 하고 파일잠금을 수동으로 운영할 수도 있습니다. 파일잠금을 수동으로 운영하려면 다음과 같이 잠금명령과 강등명령을 개별적으로 수행하고 명령 순서를 지켜야 합니다.

Code Block
c:\>fsradm lock r0 done c:\>fsradm secondary r0 done

-l 옵션을 명시할 경우 위의 두 명령을 하나의 강등명령으로 처리할 수도 있습니다. 명령의 순서는 위와 동일하게 락을 먼저 걸고 강등합니다.

Code Block
c:\>fsradm secondary -l r0 done

이와 반대로 승격 과정에선 primary 명령 이후 잠금을 해제 합니다.

Code Block
c:\>fsradm primary r0 done c:\>fsradm unlock r0 done

-u 옵션을 사용하면 하나의 승격명령에서 처리할 수 있습니다.

Code Block
c:\>fsradm primary -u r0 done

Info

파일 잠금이 활성화 되면 해당 복제 파일 셋에 대한 쓰기 I/O가 차단 되므로 관련된 애플리케이션 및 서비스들을 모두 종료하여 해당 파일로 I/O 가 더이상 발생하지 않게 한 후 잠금이 수행되도록 해야 합니다. 이렇게 하지 않으면 I/O 가 발생하는 도중 쓰기가 차단되어 I/O 에러가 유발되거나 애플리케이션이 가지고 있는 캐쉬 영역에 대한 Flush를 할 수 있는 기회를 놓쳐서 중요한 데이터의 기록이 누락될 수 있습니다. 절체 시에는 반드시 애플리케이션이 완전히 종료 작업을 수행한 후 파일잠금이 수행되도록 보장해야 합니다.

Info

만약 애플리케이션을 종료하지 못했거나 복제 대상 파일의 핸들이 열린 상태로 강등 되었다면 강등이 성공했다고 하더라도 이처럼 정리 안된 파일들을 대상으로 한 타깃의 쓰기가 실패 될 수 있습니다. 타깃의 파일이 이미 읽기 모드로 열려져 있다면 FSR 엔진이 쓰기 권한이 없으므로 제어할 수 없기 때문입니다. FSR 1.2 에서는 이러한 문제를 예방하기 위해 파일 잠금 시 이미 열려져 있는 파일 핸들을 모두 강제로 닫도록 합니다.
기존에 FSR에서 제공하던 읽기전용 잠금 기능도 더 이상 제공하지 않기로 했습니다. 읽기 전용 잠금이 읽기를 허용함으로 인해 타깃의 엔진 쓰기 실패가 야기되는 잠재적 문제를 차단하기 위함입니다. 이제 파일잠금은 전체 잠금(열기,읽기,쓰기 모두 잠금)만 제공합니다.

조회

상태 조회

FSR의 상태를 fsradm status 명령을 통해 조회할 수 있습니다.

Code Block

λ fsradm status all
r0 role:primary file:up_to_date pending:0 locked:false
  node2 state:repl_source peer-state:repl_target role:secondary file:up_to_date
    last-synced:2019-10-24T15:30:12+09:00
  node3 state:connecting peer-state:unknown role:secondary file:unknown
    last-synced:none

r1 role:secondary file:inconsistent pending:0 locked:false
  node2 state:connecting peer-state:unknown role:secondary file:unknown
    last-synced:none

상세 출력 옵션을 사용하면 더 많은 상태 정보를 조회할 수 있습니다.

Code Block

λ fsradm status -v
r0:node1 role:primary file:up_to_date pending:0 locked:false
  last-promoted:2020-06-10T09:40:32+09:00
  node2 state:repl_source peer-state:repl_target role:secondary file:up_to_date
    repl-started:2020-06-10T09:40:32+09:00 last-synced:2020-06-10T09:40:33+09:00
  node3 state:connecting peer-state:unknown role:secondary file:unknown
    repl-started:2020-04-09T09:50:38+09:00 last-synced:2020-04-09T09:50:53+09:00

상태 조회를 지속하고 싶다면 --watch(-w) 와 --interval(-i) 옵션을 사용하여 상태를 모니터링할 수 있습니다.

...

전환

전환(switchover)은 복제 클러스터 내의 하나의 시스템에서 다른 시스템으로 자원에 대한 액세스를 수동 교환하는 동작입니다. 소스 노드를 강등시킨 후 타깃노드를 소스노드 역할로 승격하여 서비스를 위한 데이터를 활성화하는 과정입니다. 수동절체 라고도 하며 이와 반대로 장애에 자동 대응하는 개념으로 장애조치(failover)가 있습니다.

소스노드의 리소스를 강등합니다.

Code Block
c:\>fsradm secondary r0 done

타깃노드의 리소스를 승격합니다.

Code Block
c:\>fsradm primary r0 done

Info

전환(switchover)은 관리자가 의도하거나 계획한 수동적 동작이지만, 절체(failover)는 예기치 않은 장애에 대응하기 위한 동작으로 자동 수행을 전제 합니다.
전환/절체 시 타깃노드의 리소스 파일상태는 UpToDate 최신 상태일 때 복제 정합성을 보장합니다. 만약 복제 연결이 단절되어 타깃이 최신 데이터를 가지지 못한 경우 이거나 타깃노드의 리소스가 동기화 중인 Inconsistent 상태일 경우에는 소스와 정합하지 않은 상태이므로 전환/절체를 제한해야 합니다.

역할 유지

리소스 역할은 운영 상황에 따라 변경될 수 있지만, 때로는 역할을 지속해서 운영하는 방식이 필요할 수 있습니다. (FSR 1.2.4 이상)

persist-role 이 설정된 리소스는 재 시작 되는 시점에 명시적으로(fsradm 명령으로) 지정된 리소스 역할을 계속 유지합니다. 복제 서비스 또는 시스템이 리부팅되어 리소스가 재 시작되는 모든 상황에서 동작합니다.

Code Block
{ ... "options": { "persist-role": true, ... } }

단방향 복제

전환과 절체없이 항상 주 노드에서 대기노드로의 단방향 복제/백업만 하고 싶다면 대기 노드 측의 타깃 전용(target-only) 속성을 고려하십시오. (FSR 1.2.4 이상)

위에서 설명한 persist-role 속성을 리소스 options 섹션에 설정하여 주 노드와 대기노드의 역할(role)을 고정합니다.
target-only 속성을 대기 노드 측에 설정하여 복제/동기화 방향을 주 노드에서 대기노드 한 쪽 방향으로만 강제합니다.

타깃 전용 노드는 명시적인 명령을 포함한 모든 복제/동기화 동작에서의 소스 역할이 금지되고 타깃 역할만 가질 수 있습니다. 그리고 소스 역할로 동작하는 수동 동기화나 승격 명령 등은 모두 차단됩니다(단, 복제 연결 해제 시 승격 허용됨).

Code Block
{ ... "options": { "persist-role": true, ... } "nodes": [ { "name": "active", ... }, { "name": "standby", "target-only": true ... } }

Info

title	타깃 전용 노드의 데이터 확인

복제 연결을 해제한 후

파일잠금 해제를 통해 데이터를 확인할 수 있습니다.
승격을 통해 데이터를 확인할 수도 있습니다.
- 데이터 확인을 위해 승격을 한 시점에는 SB가 발생한 상태이므로 복제를 다시 정상화하려면 다시 강등 후 SB 해결로 처리합니다.

조회

상태 조회

FSR의 상태를 fsradm status 명령을 통해 조회할 수 있습니다.

Code Block

λ fsradm status all
r0 role:primary file:up_to_date pending:0 locked:false
  node2 state:repl_source peer-state:repl_target role:secondary file:up_to_date
    last-synced:2019-10-24T15:30:12+09:00
  node3 state:connecting peer-state:unknown role:secondary file:unknown
    last-synced:none

r1 role:secondary file:inconsistent pending:0 locked:false
  node2 state:establishedconnecting peer-state:establishedunknown role:secondary file:inconsistentunknown
    last-synced:none

상세 출력 옵션을 사용하면 더 많은 상태 정보를 조회할 수 있습니다.

Code Block

λ fsradm status node3-v
stater0:connecting peer-state:unknown node1 role:secondaryprimary file:unknown
  up_to_date pending:0 locked:false
  last-synced:none

r1-promoted:2020-06-10T09:40:32+09:00
  node2 state:repl_source peer-state:repl_target role:secondary file:inconsistent locked:falseup_to_date
   node2 state:connecting peer-state:unknown role:secondary file:unknown
    last-synced:none

update every 1.0s. current executions: 84
press 'q' or 'ctrl+c' to quit...

파일 상태

복제 대상 파일의 복제 상태를 나타냅니다.

unknown 알 수 없는 상태. 연결되지 않은 상대 노드의 알 수 없는 파일 상태를 표현합니다.

fileless 복제 대상 미 적재 상태. attach 명령에 의해 attaching 상태로 전환합니다.

attaching 복제 대상 적재 중 상태. 적재 중 실패하면 failed, 적재 완료하면 consistent 또는 inconsistent 상태가 됩니다.

detaching 복제 대상 분리 중. 분리 완료하면 fileless 상태가 됩니다.

failed 복제 구성(적재) 실패 상태

inconsistent 데이터 순차성 보장 불가한 상태 또는 동기화 타겟의 파일 상태. 기본적으로 승격이 불가합니다.(강제 승격 가능)

consistent 데이터 순차성 보장하는 상태. 중간 상태이며 outdated 또는 up_to_date로 최종 전환됩니다.

outdated 과거 데이터 상태. 복제 타겟 상황에서 연결 단절이나 일시 중지 등에 의해 최신 데이터를 받지 못하게 될 경우의 상태. 기본적으로 승격이 불가합니다. (강제 승격 가능)

up_to_date 최신 데이터 상태. Primary이거나 복제 타겟일 경우의 상태입니다.

연결/복제 상태

양 노드가 연결 되기 까지의 상태는 연결 상태, 연결 수립 이후의 상태는 복제 상태로 정의됩니다. 다음의 상태들이 정의되어 있습니다.

standalone 중립 상태. 연결을 시도하지 않는 상태로 리소스의 초기 연결 상태에 해당합니다. connect 명령에 의해 connecting 상태로 전환됩니다.

disconnecting 연결이 단절되고 정리 중인 상태. standalone 또는 connecting 상태로 전환됩니다.

connecting 연결 시도 중 상태. 연결 시도 중 오류가 발생하면 standalone, 연결이 성공하면 connected 상태가 됩니다. 실제로는 소켓 계층에서 accept와 connect 가 동시에 시도되는 상태입니다.

connected 연결 성공하고 복제 네트워크에 대해 인증 중인 상태입니다. 인증이 성공하면 established, 인증이 실패하면 standalone 상태가 됩니다.

established 복제 인증 완료 상태. 연결 직후의 상태이며 Secondary 간 연결이 완료되었을 때의 기본 상태입니다. 동기화, 복제로 바로 이행하지는 않습니다. 이 상태에서 승격할 경우 sync_source 또는 repl_source가 되고 상대가 승격하면 sync_target 또는 repl_taret 이 됩니다.

sync_source 동기화 소스 상태. 동기화 일시 중지할 경우 sync_source_paused 상태, 동기화 완료시 repl_source 상태가 됩니다. 세컨더리간에 동기화가 완료될 경우엔 established 상태가 됩니다.

sync_source_paused 동기화 소스 일시 중지 상태. 동기화 재개할 경우 sync_source 상태가 됩니다.

sync_target 동기화 타겟 상태. 동기화 일시 중지할 경우 sync_target_paused, 동기화 완료 시 repl_target이 됩니다. secondary 간 동기화 완료는 established 상태가 됩니다.

sync_target_paused 동기화 타겟 일시 중지 상태. 동기화 재개할 경우 sync_target 상태가 됩니다.

repl_source 복제 소스 상태. 이 상태에서 강등할 경우 established 상태, 일시 중지할 경우 repl_source_paused, 동기화 시작 시 sync_source 상태로 전환합니다.

repl_source_paused 복제 소스 일시 중지 상태. 복제 재개 시 repl_source 상태가 됩니다.

repl_target 복제 타겟 상태. 이 상태에서 상대가 강등하면 established, 일시 중지할 경우 repl_target_paused, 동기화가 시작되면 sync_target 상태가 됩니다.

repl_target_paused 복제 타겟 일시 중지 상태. 복제가 재개되면 repl_target 상태가 됩니다.

성능 조회

성능 조회 명령을 통해 복제 처리량과 엔진 내부의 지연시간을 조회할 수 있습니다.

Code Block
λ fsradm perf r0

Code Block
λ fsradm latency r0

성능 모니터

fsradm perfmon 명령을 통해 성능을 실시간 모니터링할 수 있습니다.

Code Block
c:\>fsradm perfmon r0

성능 모니터링은 콘솔화면에 결과를 출력하여 직접 확인하거나 모니터링 결과를 파일로 저장하는 등 다음과 같이 몇 가지 옵션을 사용할 수 있습니다.

--json <filename> JSON 파일 경로 지정
--csv <filename> CSV 파일 경로 지정
--display 콘솔 화면에 출력
--watch 모니터링 모드
--interval 조회 주기

디스크 모니터

FSR(v1.2)은 디스크의 상태를 감시하여 디스크 수준의 장애가 발생했는지 여부를 지속 확인합니다. 디스크 장애가 확인되면 상태를 fileless로 변경하고 복제 상태에 문제가 생겼음을 알립니다.

다음은 디스크 상태 모니터링의 주기를 지정하는 설정입니다.

Code Block

{
	...
	"disk": {
		"health": {
			"period": 5
		}
	}
} repl-started:2020-06-10T09:40:32+09:00 last-synced:2020-06-10T09:40:33+09:00
  node3 state:connecting peer-state:unknown role:secondary file:unknown
    repl-started:2020-04-09T09:50:38+09:00 last-synced:2020-04-09T09:50:53+09:00

상태 조회를 지속하고 싶다면 --watch(-w) 와 --interval(-i) 옵션을 사용하여 상태를 모니터링할 수 있습니다.

Code Block

λ fsradm status all -w -i 1
r0 role:secondary file:inconsistent locked:false
  node2 state:established peer-state:established role:secondary file:inconsistent
    last-synced:none
  node3 state:connecting peer-state:unknown role:secondary file:unknown
    last-synced:none

r1 role:secondary file:inconsistent locked:false
  node2 state:connecting peer-state:unknown role:secondary file:unknown
    last-synced:none

update every 1.0s. current executions: 84
press 'q' or 'ctrl+c' to quit...