...
bsradm은 bsrsetup의 대부분 옵션을 알고 있으며 모든 이중 대시 옵션 또는 이중 대시 없는 옵션을 지정된 하위 수준 유틸리티에 전달합니다.
OPTIONS
-V, --version
bsr 의 버전 정보를 출력합니다.
-d, --dry-run
bsradm -d up resource와 같이 실제로 실행하지 않고 실행할 명령을 표시합니다. 이것은 bsrsetup 및 bsrmeta 사용법을 배우는 유용한 방법이 될 수 있습니다.
...
장치의 메타데이터를 텍스트 형식으로 덤프합니다. 비트맵과 액티비트 로그도 activity log도 포함됩니다.
get-gi {peer_device}
...
new-current-uuid {device}
새로운 current UUID 를 생성합니다.
new-current-uuid --no-rotate-bitmap {device}
새로운 current UUID 를 생성하지만 bitmap UUID 는 rotate 하지 않습니다. 로컬에서 I/O가 발생된 효과를 줍니다.
outdate {device}
하위 장치의 데이터를 outdated 로 지정합니다.
...
--al-extents extents
bsr은 최근 디스크 쓰기 작업을 근거로 쓰여진(active) 영역과 쓰여진 영역에 최근 다시 쓰여진(hot) 영역에 대해 관리합니다. 쓰기 I/O가 발생하면 active 영역은 디스크에 즉시 쓰면 되지만 inactive 디스크 영역은 먼저 activated 해야 하기 때문에 여기서 메타 데이터 쓰기가 필요합니다. 이 active 디스크 영역을 activity log 라고 합니다. activity log에 메타 데이터 쓰기를 저장하지만 실패한 노드를 복구할 경우 전체 activity log에 대해 다시 동기화 해야 합니다. 따라서 activity log의 크기는 primary 크래쉬 후 재 동기화에 얼마나 오래 걸릴지, 얼마나 빨리 복제 디스크의 일관성을 맞출지의 주요 요인이 됩니다. activity log는 여러 개의 4MiB 단위 세그먼트로 구성됩니다. al-extents 매개 변수는 동시에 활성화 할 수있는 세그먼트 수를 결정합니다. al-extents의 기본값은 6001이며 최소 7과 최대 65536입니다. 장치 메타 데이터를 생성한 방법에 따라 유효한 최대 값이 더 작을 수도 있습니다 (bsrmeta 참조).
유효 최대 값은 919 * (사용 가능한 온 디스크 activity log 링 버퍼 영역 / 4kB -1)이며, 기본 32KB 링 버퍼에서 최대 6433 (25GiB 이상의 데이터 포함)이 됩니다. 백엔드 스토리지 및 복제 링크가 약 5 분 이내에 재 동기화 될 수있는 양 이내에서 activity log의 크기를 유지하는 게 좋습니다. al-extents 의 크기를 변경하려면 리소스 중지(down)가 필요합니다.
--al-updates {yes | no}
이 매개 변수를 no 로 설정하면 activity log를 완전히 끌 수 있습니다. 메타 데이터 쓰기가 더 적게 필요하기 때문에 쓰기 속도가 빨라지지만, 실패한 기본 노드의 복구시 전체 장치를 재 동기화해야합니다동기화 해야 합니다. al-updats updates 의 기본값은 yes 입니다.
--disk-barrier, --disk-flushes, --disk-drain bsr에는 쓰기 요청의 순서를 처리하는 세 가지 방법이 있습니다.
disk-flushes
디스크에 쓰기 I/O 를 수행한 후 flush 를 강제하여 모든 데이터를 디스크에 기록하도록 조치합니다. 플랫폼에 따라 또는 드라이브 공급 업체에 따라 flush의 구현이 다를 수 있습니다. 예전 방식으로는 'force unit access'라고 명명되는 디스크 캐쉬를 우회하는 기술로 사용되기도 했으나 최근에은 기본적으로 디스크이 캐쉬를 비우는 작업을 통해 최근에는 기본적으로 디스크 캐쉬의 내용을 디스크에 기록하여 디스크 쓰기를 보장하는 방식으로 구현되고 있습니다. 이 옵션은 기본적으로 활성화 되어 있습니다.
disk-barrier
이 옵션을 사용하여 요청이 올바른 순서로 디스크에 기록되도록합니다. barrier는 barrier 이전에 제출 된 모든 요청이 이후에 제출 된 요청보다 앞서서 모두 디스크에 요청하도록 보장 합니다. 이는 SCSI 장치의 'tagged command queuing'과 SATA 장치의 'native command queuing'을 사용하여 구현됩니다. 일부 장치 및 장치 스택 만이 이 방법을 지원합니다. device mapper (LVM)는 일부 구성에서만 barrier를 지원합니다. disk-barrier을 지원하지 않는 시스템에서 이 옵션을 사용하면 데이터가 손실되거나 손상 될 수 있습니다. 이 옵션은 예전 리눅스 커널에서는 지원했지만 linux-2.6.36 (또는 2.6.32 RHEL6) 이후의 커널은 더 이상 disk-barrier가 지원되는지 지원 되는지 감지할 수 없습니다. 이 옵션은 기본적으로 해제되어 있으며 명시적으로 활성화 해야 합니다.
disk-drain
쓰기 요청을 제출하기 전에 요청 큐가 "드레인"될 때까지(즉, 요청이 완료 될 때까지) 기다립니다. 이 방법을 사용하려면 요청이 완료될 떄 까지 요청들이 디스크에서 안정적이어야 합니다. 예전에는 이 옵션을 기본 활성화 하였지만 지금은 기본 옵션이 아닙니다.
...
--after-sb-0pri policy
스플릿 브레인 시나리오가 감지되고 두 노드 중 어느 것도 Primary 역할을 수행하지 않는 경우 대응 방법을 정의합니다. 스플릿 브레인은 항상 두 노드 사이에서 결정되며 두 노드가 연결될 때 감지합니다. 정의 된 정책은 다음과 같습니다.
disconnect 단순히 연결을 끊습니다.
discard-younger-primary,
discard-older-primary 먼저 Primary 가 됬던 노드(discard-younger-primary) 또는 마지막으로 Primary 가 됬던 노드(discard-older-primary)를 폐기합니다. 만일 두 노드가 독립적으로 Primary 가 됬었다면 discard-least-changes 정책을 사용합니다.
discard-zero-changes 하나의노드에서만 데이터를 쓴 경우 이 노드를 기준으로 재 동기화 합니다. 두 노드가 모두 데이터를 쓴 경우 연결을 끊습니다.
discard-least-changes 많은 데이터를 쓴 노드를 기준으로 동기화 합니다.
discard-node-nodename 명명된 노드를 항상 폐기합니다.
--after-sb-1pri policy
Primary 노드 1 개와 Secondary 노드 1 개로 스플릿 브레인이 감지되는 경우 대처 방법을 정의합니다. (두 노드가 연결될 때 스플릿 브레인 시나리오를 감지하므로 스플릿 브레인 결정은 항상 두 노드 중 하나입니다.) 정의 된 정책은 다음과 같습니다.
disconnect 단순히 연결을 끊습니다.
consensus 희생노드가 선택될 수 있다면 자동으로 해결합니다. 그렇지 않으면, disconnect처럼 동작합니다.
discard-secondary Secondary 의 노드를 폐기합니다.
--after-sb-2pri policy
스플릿 브레인 시나리오가 감지되고 두 노드가 모두 Primary 역할을 하는 경우 대응 방법을 정의합니다. (두 노드가 연결될 때 스플릿 브레인 시나리오를 감지하므로 스플릿 브레인 결정은 항상 두 노드 중 하나 입니다.) 정의 된 정책은 다음과 같습니다. 2 primary 스플릿 브레인의 경우 disconnect 를 통한 수동 복구만 사용할 수 있습니다.
disconnect 단순히 연결을 끊습니다.
--connect-int time
bsrsetup connect로 두 노드 간 연결이 구성되는 즉시 연결 설정을 시도합니다. 이것이 실패하면 bsr은 connect-int초 동안 기다렸다가 반복합니다. connect-int의 기본값은 3초입니다.
--csums-alg hash-algorithm
일반적으로 두 노드가 다시 동기화되면 동기화 대상은 동기화 소스로부터 out-of-sync 데이터를 요청하고 동기화 소스는 데이터를 전송합니다.
많은 사용 패턴에서 볼 때 상당수의 블록이 실제로 동일합니다. csums-alg 알고리즘이 지정되면 동기화되지 않은 데이터를 요청할 때 동기화 대상도 현재 보유한 데이터의 해시를 전송합니다. 동기화 소스는이 해시를 자기의 데이터와 비교합니다. 해시가 다르면 동기화 대상에 새 데이터를 보내고 해시가 같으면 데이터가 동일하다는 것을 알려줍니다. 이렇게 하면 필요한 네트워크 대역폭이 줄어들지만 CPU 사용률이 높아지고 SyncTarget의 읽기 I/O가 증가합니다 . csums-alg는 커널이 지원하는 보안 해시 알고리즘 중 하나로 설정 될 수 있습니다. /proc/crypto에 나열된 shash 알고리즘을 참조하십시오. 기본적으로 csums-alg는 설정되어 있지 않습니다.
--data-integrity-alg alg
bsr은 일반적으로 TCP/IP 프로토콜에 내장 된 데이터 무결성 검사에 의존하지만, 데이터 무결성 알고리즘이 구성된 경우 이 알고리즘을 사용하여 네트워크를 통해 수신 된 데이터가 발신자가 보낸 것과 일치하는지 확인합니다. 데이터 무결성 오류가 감지되면 bsr은 네트워크 연결을 닫고 다시 연결하여 재 동기화를 트리거합니다. data-integrity-alg는 커널이 지원하는 보안 해시 알고리즘 중 하나로 설정 될 수 있습니다. /proc/crypto에 나열된 shash 알고리즘을 참조하십시오. 기본적으로이 메커니즘은 해제되어 있습니다. 관련된 CPU 오버 헤드로 인해 운영 환경에서는 이 옵션을 사용하지 않는 것이 좋습니다.
--fencing fencing_policy
펜싱은 두 노드가 연결이 끊어져서 모두 Primary 가 되는 상황을 방지하기위한 예방 조치입니다. 이것은 스플릿 브레인 상황 이라고도 합니다. bsr은 다음과 같은 펜싱 정책을 지원합니다.
dont-care 펜싱 조치가 수행되지 않습니다. 이것이 기본 정책입니다.
resource-only 노드가 연결이 끊긴 Primary 노드가 되면 피어를 차단하려고 합니다. 이것은 "fence-peer" 핸들러를 호출하여 수행됩니다. 핸들러는 대체 통신 경로를 통해 피어에 도달하여 'bsradm outdate minor'를 호출해야 합니다.
resource-and-stonith 노드가 연결이 끊긴 Primary 노드가 되면 모든 IO 작업을 중지하고 fence-peer 핸들러를 호출합니다. fence-peer 핸들러는 대체 통신 경로를 통해 피어에 도달하여 'bsradm outdate minor'를 호출해야 합니다. 그렇게 할 수없는 경우에는 상대방을 (전원 제어)차단해야 합니다. 상황이 해결 되자마자 IO가 재개됩니다. 펜스 피어 핸들러가 실패한 경우 잠재적으로 스플릿 브레인이 발생했다고 판단하고 수동으로 복구해야 합니다.
--ko-count number
송신 버퍼링 시 TX 노드 측의 송신 재시도 회수를 정의합니다.
--max-buffers number
수신 측 peer-request의 최대 버퍼 크기를 정의합니다. 단위는 PAGE_SIZE(대부분의 시스템에서 4KiB)입니다. 가능한 최소 설정은 32(= 128 KiB)로 하드 코딩되어 있습니다. 이 버퍼는 디스크에 쓰거나 디스크에서 읽는 동안 데이터 블록을 보유하는 데 사용됩니다. max-buffers 페이지 이상이 사용 중이면 이 풀의 추가 할당이 제한됩니다. 수신 측에서 I/O 부하를 감당할 수 없는 경우 max-buffers를 늘려야 합니다.
--max-epoch-size number
쓰기 barrier을 발행하기 전에 bsr이 발행 할 수있는 최대 쓰기 요청 수를 정의합니다. 기본값은 2048이며 최소 1과 최대 20000입니다.이 매개 변수를 10 미만의 값으로 설정하면 성능이 저하 될 수 있습니다.
--on-congestion policy,
--congestion-fill threshold,
--congestion-extents threshold
기본적으로 bsr은 TCP 송신 큐가 가득 찬 경우 대기합니다. 이럴 경우 송신 큐를 다시 사용할 수있을 때까지 응용 프로그램에서 추가 쓰기 요청을 생성 할 수 없습니다. bsr을 프록시와 함께 사용하는 경우 전송 대기열이 가득 차기 전에 bsr을 Ahead/Behind 모드로 전환 할 수있는 Pull-ahead 혼잡 정책을 사용하는 것이 좋습니다. 그런 다음 bsr은 비트 맵에 자신과 피어의 차이점을 기록하지만 더 이상 피어에 복제하지 않습니다. 충분한 버퍼 공간이 다시 사용 가능 해지면 노드는 피어와 재 동기화되고 정상 복제로 다시 전환됩니다. 이는 대기열이 가득 차더라도 응용 프로그램 I/O를 차단하지 않는 이점이 있지만 피어 노드가 원본에 비해 훨씬 더 뒤쳐 질 수 있다는 단점이 있습니다. 그리고 재 동기화하는 동안은 피어 노드가 Inconsistent 상태입니다. 사용 가능한 혼잡 정책은 blocking(기본값), disconnect, pull-ahead 입니다. congestion-fill 매개 변수는이 연결에서 복제 중인 데이터가 허용되는 양을 정의합니다. 기본값은 0(혼잡 제어 메커니즘을 사용하지 않도록 설정합니다)이며 최대 1TB입니다. congestion-extents 매개 변수는 Ahead/Behind 모드로 전환하기 전에 활성화 될 수있는 비트 맵 범위의 수를 정의합니다. congestion-extents 매개 변수는 al-extents 보다 작은 값으로 설정 한 경우에만 유효합니다.
--ping-int interval
피어에 대한 TCP/IP 연결이 1 초 이상 유휴 상태 인 경우 bsr은 ping 패킷을 보내 실패한 피어 또는 네트워크 연결이 빨리 감지 되도록 합니다. 기본값은 3초이며 최소 1과 최대 120 초입니다. 단위는 초입니다.
--ping-timeout timeout
ping 패킷에 대한 회신 시간 초과를 정의합니다. 피어가 ping 시간 초과 내에 응답하지 않으면 bsr이 연결을 닫고 다시 연결하려고 시도합니다. 기본값은 3초이며 최소 0.1 초와 최대 3 초입니다. 단위는 10분의 1초입니다.
--protocol name
복제 연결에 지정된 프로토콜을 정의합니다. 지원되는 프로토콜은 다음과 같습니다.
A 로컬 디스크 및 TCP/IP 전송 버퍼에 복사한 즉시 로컬 I/O 를 완료합니다.
B 로컬 디스크에 기록하고 피어에서 복제 데이터를 수신하는 즉시 ACK 를 반환합니다. 로컬에서 ACK 를 수신하면 I/O 를 완료 합니다.
C 로컬 디스크에 기록하고 피어에서 복제 데이터를 디스크에 기록한 후 쓰기 ACK 를 반환합니다. 로컬에서 쓰기 ACK 를 수신하면 I/O 를 완료합니다.
--rcvbuf-size size
TCP/IP 수신 버퍼의 크기를 구성합니다. 값이 0(기본값)이면 버퍼 크기가 동적으로 조정됩니다. 이 매개 변수는 일반적으로 설정하지 않아도 되지만 최대 10MiB의 값으로 설정할 수 있습니다. 기본 단위는 바이트이며 윈도우즈에선 지원하지 않습니다.
--sndbuf-size size
송신 작업자 쓰레드에서 할당하는 TX 버퍼의 크기를 설정합니다. 최대 1TB 까지 설정할 수 있습니다.
--tcp-cork
기본적으로 bsr은 tcp-cork 옵션을 사용하여 커널이 작은 메시지를 작게 보내지 못하게 않도록 억제 합니다. 이로 인해 네트워크 상에서 패킷의 상의 패킷 크기가 커집니다. 이 최적화로 일부 네트워크 스택의 성능이 저하 될 수 있으며 패킷을 모으는 시간 동안의 지연이 발생합니다. tcp-cork 매개 변수를 사용하여 이 최적화를 해제 할 수 있습니다.
--timeout time
네트워크를 통한 응답 시간 초과를 정의합니다. 피어 노드가 지정된 시간 초과 내에 예상 응답을 보내지 않으면 응답이없는 것으로 간주하고 TCP/IP 연결을 닫습니다. 시간 초과 값은 connect-int보다 낮아야 하고 ping-int보다 작아야 합니다. 기본값은 5초이고 10분의 1초로 단위로 지정됩니다.
--use-rle
use-rle 는 run length encoding 을 사용해야 하는지 결정합니다. 클러스터 노드의 각 복제 된 장치에는 각 피어 장치에 대한 별도의 비트 맵이 있습니다. 비트 맵은 로컬 장치와 피어 장치의 차이점을 추적하는 데 사용됩니다. 클러스터 상태에 따라 장치의 비트 맵, 피어 장치의 비트 맵 또는 두 비트 맵에서 디스크 범위가 피어와 다른 것으로 표시 될 수 있습니다. 두 클러스터 노드가 연결되면 서로의 비트 맵을 교환하고 각각 로컬 및 피어 비트 맵의 합집합을 계산하여 전체 차이를 결정합니다. 매우 큰 장치의 경우 비트맵이 비교적 크기 때문에 일반적으로 run length encoding을 사용하여 압축률을 높이고 이를 통해 비트 맵 전송에 필요한 시간과 대역폭을 절약 할 수 있습니다. 기본적으로 활성화 되어 있습니다.
--verify-alg hash-algorithm
온라인 검증 (bsradm verify)은 디스크 블록 (즉, 해시 값)의 체크섬을 계산하고 비교하여 서로 다른지를 감지합니다. verify-alg 매개 변수는 이러한 체크섬에 사용할 알고리즘을 결정합니다. 온라인 검증을 사용하기 전에 커널이 지원하는 보안 해시 알고리즘 중 하나로 설정해야합니다. /proc/ crypto에 나열된 shash 알고리즘을 참조하십시오. 운영 부하가 적은 시점에 정기적으로(예 : 한 달에 한 번) 온라인 확인을 예약하는 것이 좋습니다.
...
bsrsetup events2 {resource | all}
구성된 모든 bsr 객체의 BSR 개체의 현재 상태와 상태의 모든 변경 사항을 표시합니다. 출력은 이벤트의 종류로 시작합니다. 기존의 객체가 생성, 파괴 또는 변경 될 경우, 이벤트 핸들러가 호출되거나 리턴되는 등의 이벤트 유형이 있습니다. 그 다음은 이벤트가 적용되는
각 줄은 옵션 출력형식에 따라 표기하고 이벤트가 다음 줄에서 계속되면 별표가 표시됩니다. 각 줄은 이벤트의 종류(기존 개체가 있는 경우 존재, 개체가 생성, 삭제 또는 변경된 경우 생성, 삭제, 변경, 이벤트 핸들러가 호출되거나 반환된 경우 호출 또는 응답), 리소스, 장치, 연결, 피어 장치, helper 객체를 기술합니다. 나머지는 개체를 식별하고 개체의 상태를 표시합니다-장치, 도우미 또는 현재 상태가 완전히 덤프 되었음을 나타내는 대시(-) 등 이벤트가 적용되는 개체를 나타냅니다. 다음의 사용 가능한 옵션이 있습니다.
--now 현재 상태를 보고 한 후 종료합니다. 기본값은 지속적으로 상태 변경을 보는 것입니다.
--statistics 출력에 통계를 포함 시킵니다 상세한 정보를 출력합니다.
...
--timestamp (--t) 발생 시간을 출력 합니다.
--diff(-d) 상태 변경 시 이전 상태를 출력합니다.
--sync(-S) 동기화 이벤트를 출력합니다.
--json json 형식으로 출력합니다.
bsrsetup get-gi resource peer_node_id volume
...
--overwrite-data-of-peer 이 옵션은 --force option의 alias 입니다.
--force 장치에 최신 데이터가 있다고 보장되지 않더라도 리소스를 기본 Primary 리소스로 설정합니다. 이 옵션은 새로 작성된 클러스터의 노드 중 하나를 Primary 노드로 바꾸거나 재해에서 수동으로 복구 할 때 사용됩니다. 이는 스플릿 브레인 시나리오로 이어질 수 있습니다. 또한 Inconsistent한 장치를 최신 장치로 강제 승격 할 때는 최소한 무결성 검사(예: 파일 시스템 검사)를 미리 하는 것이 좋습니다. bsr은 일반적으로 클러스터에서 하나의 노드 만 Primary 역할을 수행 할 수 있도록 합니다. 이를 통해 bsr은 노드의 자원에서 장치에 대한 액세스를 제한할 수 있습니다.
...
bsrcon command {argument...}
DESCRIPTION
bsr 의 네트워크, 로그, 볼륨, 핸들러 등 과 관련한 설정을 합니다.
COMMANDS
/nodelayedack [ip|guid]/delayedack_enable [ip|guid]/m [letter] : mount/get_log [ProviderName]/minlog_lv dbg [Level : 0~7]/write_log [ProviderName] "[LogData]"/handler_use [0,1]/bsrfsflt_status/info/statusget_log_info
로그 정보를 출력합니다.
Code Block |
---|
# bsrcon /get_log_info
Current log level.
system-lv : err(3)
debug-lv : info(6)
The maximum size of cli log file is 5M.
Number of log files that can be saved.
bsradm : 2
bsrsetup : 2
bsrmeta : 2
The maximum size of driver log file is 48M or 100000 log count.
Number of log files that can be saved.
bsrdriver : 15
Output category during debug log.
category : VOLUME IO IO_ERROR BITMAP LRU REQUEST PEER_REQUEST RESYNC_OV REPLICATION CONNECTION UUID TWOPC THREAD SEND_BUFFER STATE SOCKET DRIVER NETLINK GENL PROTOCOL MEMORY LOG ETC
Logging status command to the CLI log : disable (0) |
/maxlogfile_cnt [LogFileMaxCount : 0 ~ 1000]
백업할 커널 로그파일의 최대 저장 개수를 지정합니다. 기본값은 15입니다.
/climaxlogfile_cnt [adm, setup, meta] [LogFileMaxCount : 0 ~ 255]
백업할 CLI 로그파일의 최대 저장 개수를 지정합니다. 기본값은 2 입니다.
/minlog_lv [sys, dbg] [Level : 0~7] level info, emerg(0) alert(1) criti(2) err(3) warning(4) notice(5) info(6) debug(7)
로그 수준을 지정합니다. 기본값은 시스템(이벤트) 로그는 err, 디버그 로그는 info 입니다.
/minlog_lv feature [flag : 0,1,2,4] level info, none(0) oos(1) latency(2) verify(4)
용도별 로그의 활성화를 지정합니다. 디버깅 용도입니다.
/set_log_path [log file path]
로그 저장 경로를 변경합니다.
/handler_use [0,1]
bsr 의 핸들러를 비활성화 하거나 활성화 합니다. 기본값은 비활성화 입니다.
/nodelayedack [ip|guid]
TCP/IP 의 지연된 ACK 동작을 비활성화 합니다. 윈도우즈 전용입니다.
bsr 설치 과정에서 현재 리소스의 복제 네트워크 어댑터에 대해 자동 수행되므로 구성 절차에서 배제되지만, 네트워크 어댑터가 교체되어 새로운 복제 인터페이스로 재구성 할 경우 이 명령어를 필수적으로 다시 수행해야 합니다.
/delayedack_enable [ip|guid]
TCP/IP 의 지연된 ACK 동작을 활성화 합니다. 윈도우즈 전용입니다.
/release_vol [letter]
윈도우즈 볼륨을 컨트롤하는 볼륨락을 완전히 해제하는 명령입니다. 리소스를 삭제하는 최종 단계에서 반드시 수행해야 하는 명령이며 윈도우즈 전용입니다.
이 명령을 수행할 경우 리소스를 반드시 재구성하고 전체 동기화를 다시 수행해야 합니다. bsr 1.7 이후 부터 해당 명령을 수행할 경우 메타디스크를 자동으로 wipe-md 처리 합니다.
/bsrlock_use
볼륨의 락을 임시로 활성화하거나 비활성화 할 수 있는 디버깅용도의 명령입니다. 윈도우즈 전용입니다.
/bsrlock_status
볼륨의 락 상태를 볼 수 있는 명령입니다. 윈도우즈 전용입니다.
/info
볼륨의 파티션, 마운트 포인트 등 관련 정보를 출력합니다. 윈도우즈 전용입니다.
/force_panic
강제 메모리 덤프를 수집합니다.