Skip to end of metadata
Go to start of metadata

You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 9 Next »

bsradm

bsradm [options...] [-- [ backend-options...]] {command} {context...}

DESCRIPTION

The bsradm utility is used to manage bsr based on configuration files. This command overrides the "bsrsetup" and "bsrmeta" utilities by converting high-level commands that control kernel modules and manipulate metadata on disk into one or more low-level commands. Works on one or more resources, devices, connections, or peer devices, depending on the command. Specify resources by name, and the all keyword refers to all resources.

The following command context is defined.

device

Device. Specify as a minor number (minor-minornumber, e.g. minor-0) or as a resource volume number (resource/volume). If you specify only resources, the command repeats for all devices in that context.

connection

Connection. Specify as resource: connection-name. If you specify only a resource, the command repeats for all connections in that context.

peer_device

Peer device. Specify Resource:connection name/volume number (resource: connection-name/volume). If you specify only resources, devices, and connections, the command repeats for all peer devices in that context.

bsradm knows most of the options in bsrsetup and passes all double dash options or no double dash options to the specified low-level utility.

OPTIONS

-d, --dry-run

Displays commands to execute without actually executing, such as bsradm -d up <resource>. This can be a useful way to learn how to use bsrsetup and bsrmeta.

-c, --config-file file

Alternative configuration files can be used. By default, bsradm uses the first one of the following: /etc/bsr-90.conf, ./etc/bsr-84.conf, /etc/bsr-83.conf, /etc/bsr-82.conf, /etc/bsr-08.conf, /etc/bsr.conf.

-t, --config-to-test file

Additional configuration files are available. This option can only be used with the dump and sh-nop commands.

-s, --bsrsetup file

Specifies the full path to the bsrsetup. If this option is omitted, bsradm looks first in the same path and then in the PATH path.

-m, --bsrmeta file

Specifies the full path to the bsrmeta. If this option is omitted, bsradm looks first in the same path and then in the PATH path.

-S, --stacked

Deprecated.

COMMANDS

adjust { resource}

Adjust the kernel module's configuration to match the configuration file. The result should be the same when stopping and restarting all resources ('bsradm up all' followed by 'bsradm up all'). The Adjust command may interpret configuration changes incorrectly in some cases. For safety, see what the command will do (using the --dry-run option) before running the actual command.

adjust-with-progress { resource}

Same as adjust, but provides additional information on the progress of the command.

apply-al { device}

Apply the activity log of the specified device.

attach { device}

Attach the lower-level devices as replicated devices.

connect {connection}

Activate an existing connection to the peer. Connections must be made first with the new-peer command and one or more paths with the new-path command.

create-md {device}

Initialize the device's metadata. This is required before connecting the clone device for the first time.

cstate {connection}

Displays the current connection status.

detach {device}

Detach the lower device of the replicated device.

disconnect {connection}

Remove the connection to the peer host.

disk-options {device}

Change the disk options of the attached device.

down {resource}

This command stops all volumes, connections, and the resource itself.

dstate {device}

Prints the current disk status of the lower device.

dump {resource}

Parse the configuration file and print it to stdout.

dump-md {device}

Dumps the device's metadata in text format. Bitmaps and activity logs are also included.

get-gi {peer_device}

Outputs the generatation identifiers(GI) for a device on a specific connection. Use bsrsetup for attached devices and bsrmeta for detached devices.

hidden-commands

Displays all commands that are not explicitly documented.

invalidate {peer_device}

Synchronize the device's local data with the peer's data.

invalidate-remote {peer_device}

Synchronize data from peer devices to devices on the local node.

net-options {connection}

Change the net options of an existing connection.

new-current-uuid {device}

Create a new current UUID.

outdate {device}

Set the data of the child device to outdated.

pause-sync {peer_device}

Set the local pause flag to stop resynchronization between local and peer devices.

primary {resource}

Change the role of the node in the resource to primary.

resize {device}

Resize the lower device of the replica on all nodes. This is done by combining check-resize and resize low-level commands.

resource-options {resource}

Change resource options for an existing resource.

resume-sync {peer_device}

Clear the local sync pause flag so that resynchronization resumes.

role {resource}

Print the current role of the resource.

secondary {resource}

Change the role of the resource to Secondary. This command will fail on Linux if the resource's replicated device is in use. On Windows, it is demoted whether or not the device is used.

show-gi {peer_device}

Displays the data generation identifier of the device on a specific connection. Also, the output is explained in detail.

up {resource}

Start the resource in the following procedure.

  • Apply activity log of all volumes: bsrmeta apply-al

  • Create resource: bsrsetup new-resource

  • Create a replicated device: bsrsetup new-device, bsrsetup new-minor

  • Attach the lower device: bsrsetup attach

  • Connect to all peers: bsrsetup connect

verify {peer_device}

Start, stop, or specify verification for specific parts of online verification.

wait-connect {[device] | [connection] | [resource]}

Wait for devices on the peer, all devices on the connection, all devices on all peers to be verified.

wait-sync {[device] | [connection] | [resource]}

Wait for the device to connect and the final resync operation to complete. Also available at the connection and resource level

wipe-md {device}

Clears the device's bsr metadata.

forget-peer {connection}

Removes references to unconnected peers completely from metadata.

bsrsetup

bsrsetup command {argument...} [option...]

DESCRIPTION

The bsrsetup utility configures the bsr kernel module and displays the current configuration. Users typically interact with the bsradm utility, which provides a higher level interface to bsr than bsrsetup. (See bsradm's --dry-run option to see how to use bsrsetup in bsradm.) Some option arguments have a default scale applied when specifying a regular number (eg, Kilo). These default scales can be overridden using a suffix (eg Mega for M). Common suffixes K = 2^10 = 1024, M = 1024K and G = 1024M are supported.

COMMANDS

bsrsetup attach minor lower_dev meta_data_dev meta_data_index,

bsrsetup disk-options minor

The attach command attaches a lower-level device to an existing replicated device. The disk-options command changes the disk options of the attached child device. All commands All Targets the clone device created by bsrsetup new-minor and specifies it as the minor number of the replicated device. lower_dev is the name of the child device. meta_data_dev is the name of the device that contains the metadata, it can be the same as lower_dev. meta_data_index is the number of index metadata or the internal keyword for internal metadata or the flexible keyword for variable-size external metadata. The available options are:

  • --al-extents extents

    • bsr manages active and recently rewritten areas based on recent disk write operations. When write I/O occurs, the active area can be written to disk immediately, but the inactive disk area must be activated first, so metadata write is required here. This active disk area is called activity log. If you save the metadata write to the activity log, but recover the failed node, you will need to resynchronize over the entire activity log. Therefore, the size of the activity log is a major factor in how long it will take to resynchronize after the primary crash and how quickly the consistency of the clone disk is achieved. Activity log consists of several 4 MiB unit segments. The al-extents parameter determines the number of segments that can be active simultaneously. The default for al-extents is 6001, with a minimum of 7 and a maximum of 65536. Depending on how you generated the device metadata, the maximum valid value may be smaller.

    • The maximum effective value is 919 * (available on-disk activity log ring buffer area / 4kB -1), up to 6433 (including 25 GiB or more data) in the default 32KB ring buffer. It's recommended to keep the size of the activity log within an amount where the backend storage and replication links can be resynchronized in about 5 minutes. Changing the size of al-extents requires a resource down.

  • --al-updates {yes | no}

    • Setting this parameter to no enables the activity log to be turned off completely. Writing speeds up because less metadata writes are required, but the entire device must be resynchronized upon recovery of the failed primary node. The default value of al-updates is yes.

--disk-barrier, --disk-flushes, --disk-drain bsr에는 쓰기 요청의 순서를 처리하는 세 가지 방법이 있습니다.

  • disk-flushes

    • After writing I / O to disk, force flush to write all data to disk. Depending on the platform or drive vendor, the implementation of flush may be different. In the old method, it was used as a technique to bypass the disk cache called 'force unit access', but recently, it is basically implemented in a way that writes the contents of the disk cache to disk to ensure disk write. This option is enabled by default.

  • disk-barrier

    • Use this option to ensure that requests are written to disk in the correct order. The barrier ensures that all requests submitted before the barrier are all requested to disk prior to requests subsequently submitted. This is implemented using 'tagged command queuing' of SCSI devices and 'native command queuing' of SATA devices. Only some devices and device stacks support this method. The device mapper (LVM) only supports barriers in some configurations. Using this option on systems that do not support disk-barrier can result in data loss or corruption. This option was supported by older Linux kernels, but kernels after linux-2.6.36 (or 2.6.32 RHEL6) can no longer detect if disk-barrier is supported. This option is off by default and must be explicitly enabled.

  • disk-drain

    • Wait for the request queue to "drain" (that is, until the request is complete) before submitting a write request. To use this method, requests must be stable on disk until the request is completed. Previously, this option was enabled by default, but it is not the default option at this time.

Of these three methods, bsr uses the first method enabled and supported by the backup storage device. If you turn off all three options, bsr submits the request without worrying about write dependencies. On a cluster node in another environment, write requests can be reordered according to the I / O stack and submitted in a different order. This can result in data loss or corruption. Therefore, we recommend that you do not turn off all three methods of controlling the write order.

A general guideline for configuring write ordering is to use disk-barrier or disk-flush when using a regular disk (or a regular disk array) with a volatile write cache. Disk-drain is suitable for storage with no cache or with a battery-backed write cache.

  • --disk-timeout

    • If the I/O request fails to complete within the disk time defined for the lower device that stores the data, bsr treats it as a failure. In this case, the lower device is detached, and the disk status of the device will be diskless. If bsr is connected to one or more peers, the failed request is forwarded to one of them. This option is critical and can lead to a kernel panic. Aborting the request and forcing the disk to be removed is an action for a completely blocked and stopped local backup device that no longer completes the request and returns no errors. In this situation, usually a hard reset and failover is the only way. The default value of disk-timeout is 0, which indicates an infinite timeout. Timeouts are specified in 0.1 second increments.

  • --md-flushes

    • Enables disk flush and disk barrier on metadata devices. This option is enabled by default.

  • on-io-error handler

    • Configure how bsr responds to I/O errors on low-level devices. The following policies are defined.

      • passthrough If an error is returned from the lower device, the block layer is written as OOS and the error is passed to the upper layer. The error block is usually retried I / O by the upper layer, and if it succeeds at the time of retry, the OOS will be resolved naturally, otherwise the OOS will be recorded and left. This is the default for bsr.

      • call-local-io-error local-io-error Call the handler.

      • detach Detach the low-level device and switch to diskless state. In diskless state, I/O cannot be performed and failover is required immediately.

  • resync-after minor

    • Defines a device to resynchronize only after another specified device has been synchronized. By default, no synchronization order is defined between devices, and all devices are resynchronized in parallel. Depending on the sub-device configuration, available network and disk bandwidth, the entire re-synchronization process can be slow, so you can use this option to form a chain or tree of dependencies between devices.

bsrsetup peer-device-options resource peer_node_id volume

The following options affect the peer device.

  • --c-delay-target delay_target, 

  • --c-fill-target fill_target, 

  • --c-max-rate max_rate, 

  • --c-plan-ahead plan_time

    • Dynamically control the speed of resynchronization. This mechanism can be used by setting the c-plan-ahead parameter to a positive value. The maximum bandwidth is limited by the c-max-rate parameter. The c-plan-ahead parameter defines how quickly bsr adapts to changes in the resynchronization rate. It should be set to at least 5 times the network round-trip time (RTT). When c-fill-target is defined, it tries to fill the buffer with a defined amount of data along the data path, and has a defined delay if c-delay-target is defined. The common value range for c-fill-target for "normal" data paths is 4K to 100K. If you use drx, we recommend using c-delay-target instead of c-fill-target. The c-delay-target parameter is used when the c-fill-target parameter is undefined or set to 0. The c-delay-target parameter should be set to at least 5 times the network round trip time. The c-max-rate option should be set to either the available bandwidth or the available disk bandwidth between the bsr host and the system hosting drx. The default values ​​for these parameters are: c-plan-ahead = 20 (in 0.1 second increments), c-fill-target = 0 (in sector increments), c-delay-target = 1 (in 0.1 second increments) and c-max-rate = 102400 (KiB/s unit).

  • --c-min-rate min_rate

    • The primary and synchronization source nodes must schedule application I/O requests and synchronization requests. The c-min-rate parameter limits the amount of bandwidth available for resynchronization I/O. The rest of the bandwidth is used for replication of application I/O. If the c-min-rate value is 0, it means there is no limit to the resynchronization I/O bandwidth. This can significantly slow down application I/O. Use the value of 1 (1 KiB / s) for the lowest resynchronization rate. The default value of c-min-rate is 250 in KiB/s.

  • --resync-rate rate

    • Defines the bandwidth available for resynchronization. bsr allows general application I/O even during resynchronization. If resynchronization takes up too much bandwidth, application I/O can be very slow and this parameter can be avoided. This option only works if the dynamic resync controller is disabled.

bsrsetup check-resize minor

Remembers the current size of the specified replicated lower devices. Used by bsradm. Size information is stored in the /var/lib/bsr/bsr-minor-minor.lkbd file.

bsrsetup new-peer resource peer_node_id,

bsrsetup net-options resource peer_node_id

The new-peer command creates a connection within the resource. Resources must be created with bsrsetup new-resource. The net-options command changes the network options of an existing connection. Before activating a connection with the connect command, you must add at least one path with the new-path command. The available options are:

  • --after-sb-0pri policy

    • Defines how to respond when a split brain scenario is detected and neither of the two nodes plays the Primary role. The split brain is always determined between two nodes and detects when two nodes are connected. The policies defined are:

      • disconnect Simply disconnect.

      • discard-younger-primary,

      • discard-older-primary Discard the node that became primary lately(discard-younger-primary) or the node that became primary first(discard-older-primary). If both nodes have become Primary independently, the discard-least-changes policy is used.

      • discard-zero-changes If data is written on only one node, resynchronization is performed based on this node. If both nodes have written data, they disconnect.

      • discard-least-changes Synchronize based on the node that wrote more data.

      • discard-node-nodename Always discard named nodes.

  • --after-sb-1pri policy

    • Define what to do if a split brain is detected with one primary node and one secondary node. (The split brain decision is always one of the two nodes because it detects a split brain scenario when two nodes are connected.) The policies defined are:

      • disconnect Simply disconnect.

      • consensus If a victim node can be selected, it is automatically resolved. Otherwise, it works like disconnect.

      • discard-secondary Discard the secondary node.

  • --after-sb-2pri policy

    • Define how to react when a split brain scenario is detected and both nodes act as primary. (The split brain decision is always one of the two nodes because it detects a split brain scenario when two nodes are connected.) The policy defined is: 2 For primary split brain, only manual recovery via disconnect is available.

      • disconnect Simply disconnect.

  • --connect-int time

    • As soon as a connection between two nodes is configured with bsrsetup connect, the connection is attempted to be established. If this fails, bsr waits for connect-int seconds and repeats. The default value of connect-int is 3 seconds.

  • --csums-alg hash-algorithm

    • Typically, when two nodes are resynchronized, the synchronization target requests out-of-sync data from the synchronization source, and the synchronization source sends the data.

      In many usage patterns, many of the blocks are actually the same. When the --csums-alg algorithm is specified, when requesting unsynchronized data, the synchronization target also sends a hash of the data currently held. The synchronization source compares this hash to its own data. If the hashes are different, new data is sent to the synchronization target and if the hashes are the same, the data is the same. This reduces the required network bandwidth, but increases CPU utilization and increases SyncTarget's read I/O. csums-alg can be set to one of the secure hash algorithms supported by the kernel. See the shash algorithm listed in /proc/crypto. By default, csums-alg is not set.

  • --data-integrity-alg alg

    • bsr은 일반적으로 TCP/IP 프로토콜에 내장 된 데이터 무결성 검사에 의존하지만, 데이터 무결성 알고리즘이 구성된 경우 이 알고리즘을 사용하여 네트워크를 통해 수신 된 데이터가 발신자가 보낸 것과 일치하는지 확인합니다. 데이터 무결성 오류가 감지되면 bsr은 네트워크 연결을 닫고 다시 연결하여 재 동기화를 트리거합니다. data-integrity-alg는 커널이 지원하는 보안 해시 알고리즘 중 하나로 설정 될 수 있습니다. /proc/crypto에 나열된 shash 알고리즘을 참조하십시오. 기본적으로이 메커니즘은 해제되어 있습니다. 관련된 CPU 오버 헤드로 인해 운영 환경에서는 이 옵션을 사용하지 않는 것이 좋습니다.

  • --fencing fencing_policy

    • 펜싱은 두 노드가 연결이 끊어져서 모두 Primary 가 되는 상황을 방지하기위한 예방 조치입니다. 이것은 스플릿 브레인 상황 이라고도 합니다. bsr은 다음과 같은 펜싱 정책을 지원합니다.

      • dont-care 펜싱 조치가 수행되지 않습니다. 이것이 기본 정책입니다.

      • resource-only 노드가 연결이 끊긴 Primary 노드가 되면 피어를 차단하려고 합니다. 이것은 "fence-peer" 핸들러를 호출하여 수행됩니다. 핸들러는 대체 통신 경로를 통해 피어에 도달하여 'bsradm outdate minor'를 호출해야 합니다.

      • resource-and-stonith 노드가 연결이 끊긴 Primary 노드가 되면 모든 IO 작업을 중지하고 fence-peer 핸들러를 호출합니다. fence-peer 핸들러는 대체 통신 경로를 통해 피어에 도달하여 'bsradm outdate minor'를 호출해야 합니다. 그렇게 할 수없는 경우에는 상대방을 (전원 제어)차단해야 합니다. 상황이 해결 되자마자 IO가 재개됩니다. 펜스 피어 핸들러가 실패한 경우 잠재적으로 스플릿 브레인이 발생했다고 판단하고 수동으로 복구해야 합니다.

  • --ko-count number

    • 송신 버퍼링 시 TX 노드 측의 송신 재시도 회수를 정의합니다.

  • --max-buffers number

    • 수신 측 peer-request의 최대 버퍼 크기를 정의합니다. 단위는 PAGE_SIZE(대부분의 시스템에서 4KiB)입니다. 가능한 최소 설정은 32(= 128 KiB)로 하드 코딩되어 있습니다. 이 버퍼는 디스크에 쓰거나 디스크에서 읽는 동안 데이터 블록을 보유하는 데 사용됩니다. max-buffers 페이지 이상이 사용 중이면 이 풀의 추가 할당이 제한됩니다. 수신 측에서 I/O 부하를 감당할 수 없는 경우 max-buffers를 늘려야 합니다.

  • --max-epoch-size number

    • 쓰기 barrier을 발행하기 전에 bsr이 발행 할 수있는 최대 쓰기 요청 수를 정의합니다. 기본값은 2048이며 최소 1과 최대 20000입니다.이 매개 변수를 10 미만의 값으로 설정하면 성능이 저하 될 수 있습니다.

  • --on-congestion policy, 

  • --congestion-fill threshold, 

  • --congestion-extents threshold

    • 기본적으로 bsr은 TCP 송신 큐가 가득 찬 경우 대기합니다. 이럴 경우 송신 큐를 다시 사용할 수있을 때까지 응용 프로그램에서 추가 쓰기 요청을 생성 할 수 없습니다. bsr을 프록시와 함께 사용하는 경우 전송 대기열이 가득 차기 전에 bsr을 Ahead/Behind 모드로 전환 할 수있는 Pull-ahead 혼잡 정책을 사용하는 것이 좋습니다. 그런 다음 bsr은 비트 맵에 자신과 피어의 차이점을 기록하지만 더 이상 피어에 복제하지 않습니다. 충분한 버퍼 공간이 다시 사용 가능 해지면 노드는 피어와 재 동기화되고 정상 복제로 다시 전환됩니다. 이는 대기열이 가득 차더라도 응용 프로그램 I/O를 차단하지 않는 이점이 있지만 피어 노드가 원본에 비해 훨씬 더 뒤쳐 질 수 있다는 단점이 있습니다. 그리고 재 동기화하는 동안은 피어 노드가 Inconsistent 상태입니다. 사용 가능한 혼잡 정책은 blocking(기본값), disconnect, pull-ahead 입니다. congestion-fill 매개 변수는이 연결에서 복제 중인 데이터가 허용되는 양을 정의합니다. 기본값은 0(혼잡 제어 메커니즘을 사용하지 않도록 설정합니다)이며 최대 1TB입니다. congestion-extents 매개 변수는 Ahead/Behind 모드로 전환하기 전에 활성화 될 수있는 비트 맵 범위의 수를 정의합니다. congestion-extents 매개 변수는 al-extents 보다 작은 값으로 설정 한 경우에만 유효합니다.

  • --ping-int interval

    • 피어에 대한 TCP/IP 연결이 1 초 이상 유휴 상태 인 경우 bsr은 ping 패킷을 보내 실패한 피어 또는 네트워크 연결이 빨리 감지 되도록 합니다. 기본값은 3초이며 최소 1과 최대 120 초입니다. 단위는 초입니다.

  • --ping-timeout timeout

    • ping 패킷에 대한 회신 시간 초과를 정의합니다. 피어가 ping 시간 초과 내에 응답하지 않으면 bsr이 연결을 닫고 다시 연결하려고 시도합니다. 기본값은 3초이며 최소 0.1 초와 최대 3 초입니다. 단위는 10분의 1초입니다.

  • --protocol name

    • 복제 연결에 지정된 프로토콜을 정의합니다. 지원되는 프로토콜은 다음과 같습니다.

      • A 로컬 디스크 및 TCP/IP 전송 버퍼에 복사한 즉시 로컬 I/O 를 완료합니다.

      • B 로컬 디스크에 기록하고 피어에서 복제 데이터를 수신하는 즉시 ACK 를 반환합니다. 로컬에서 ACK 를 수신하면 I/O 를 완료 합니다.

      • C 로컬 디스크에 기록하고 피어에서 복제 데이터를 디스크에 기록한 후 쓰기 ACK 를 반환합니다. 로컬에서 쓰기 ACK 를 수신하면 I/O 를 완료합니다.

  • --rcvbuf-size size

    • TCP/IP 수신 버퍼의 크기를 구성합니다. 값이 0(기본값)이면 버퍼 크기가 동적으로 조정됩니다. 이 매개 변수는 일반적으로 설정하지 않아도 되지만 최대 10MiB의 값으로 설정할 수 있습니다. 기본 단위는 바이트이며 윈도우즈에선 지원하지 않습니다.

  • --sndbuf-size size

    • 송신 작업자 쓰레드에서 할당하는 TX 버퍼의 크기를 설정합니다. 최대 1TB 까지 설정할 수 있습니다.

  • --tcp-cork

    • 기본적으로 bsr은 tcp-cork 옵션을 사용하여 커널이 작은 메시지를 보내지 못하게 합니다. 이로 인해 네트워크 상에서 패킷의 크기가 커집니다. 이 최적화로 일부 네트워크 스택의 성능이 저하 될 수 있으며 패킷을 모으는 시간 동안의 지연이 발생합니다. tcp-cork 매개 변수를 사용하여 이 최적화를 해제 할 수 있습니다.

  • --timeout time

    • 네트워크를 통한 응답 시간 초과를 정의합니다. 피어 노드가 지정된 시간 초과 내에 예상 응답을 보내지 않으면 응답이없는 것으로 간주하고 TCP/IP 연결을 닫습니다. 시간 초과 값은 connect-int보다 낮아야 하고 ping-int보다 작아야 합니다. 기본값은 5초이고 10분의 1초로 단위로 지정됩니다.

  • --use-rle

    • use-rle 는 run length encoding 을 사용해야 하는지 결정합니다. 클러스터 노드의 각 복제 된 장치에는 각 피어 장치에 대한 별도의 비트 맵이 있습니다. 비트 맵은 로컬 장치와 피어 장치의 차이점을 추적하는 데 사용됩니다. 클러스터 상태에 따라 장치의 비트 맵, 피어 장치의 비트 맵 또는 두 비트 맵에서 디스크 범위가 피어와 다른 것으로 표시 될 수 있습니다. 두 클러스터 노드가 연결되면 서로의 비트 맵을 교환하고 각각 로컬 및 피어 비트 맵의 합집합을 계산하여 전체 차이를 결정합니다. 매우 큰 장치의 경우 비트맵이 비교적 크기 때문에 일반적으로 run length encoding을 사용하여 압축률을 높이고 이를 통해 비트 맵 전송에 필요한 시간과 대역폭을 절약 할 수 있습니다. 기본적으로 활성화 되어 있습니다.

  • --verify-alg hash-algorithm

    • 온라인 검증 (bsradm verify)은 디스크 블록 (즉, 해시 값)의 체크섬을 계산하고 비교하여 서로 다른지를 감지합니다. verify-alg 매개 변수는 이러한 체크섬에 사용할 알고리즘을 결정합니다. 온라인 검증을 사용하기 전에 커널이 지원하는 보안 해시 알고리즘 중 하나로 설정해야합니다. /proc/ crypto에 나열된 shash 알고리즘을 참조하십시오. 운영 부하가 적은 시점에 정기적으로(예 : 한 달에 한 번) 온라인 확인을 예약하는 것이 좋습니다.

bsrsetup new-path resource peer_node_id local-addr remote-addr

new-path 명령은 연결 내에 경로를 만듭니다. 연결은 bsrsetup new-peer로 생성 되어야 합니다. local-addr 및 remote-addr는 [address-family:] address[:port] 형식의 로컬 및 원격 프로토콜, 네트워크 주소 및 포트를 기술해야 합니다. ipv4, ipv6가 지원됩니다. 주소 패밀리를 지정하지 않으면 "ipv4"로 가정됩니다. ipv6을 제외한 모든 주소 계열의 경우 주소는 IPv4 주소 표기법 (예 : 1.2.3.4)을 사용합니다. ipv6의 경우 주소는 괄호로 묶고 IPv6 주소 표기법을 사용합니다 (예 : [fd01 : 2345 : 6789 : abcd :: 1]). 포트의 기본값은 7788입니다.

bsrsetup connect resource peer_node_id

connect 명령은 연결을 활성화합니다. 즉, bsr 드라이버는 연결 경로의 모든 로컬 주소를 바인딩하고 수신합니다. 하나 이상의 연결 경로를 설정하려고 시도합니다. 사용 가능한 옵션은 다음과 같습니다.

  • --tentative

    • 실제로 연결을 하거나 재 동기화를 하지 않고 피어에 대한 연결을 설정할 수 있는지 그리고 재 동기화가 필요한지(및 어느 방향으로 할지) 결정합니다. 시스템 로그를 확인하여 --tentative 옵션 없이 bsr이 수행 할 작업을 미리 확인할 수 있습니다.

  • --discard-my-data

    • 로컬 데이터를 버리고 최신 데이터를 가진 피어와 다시 동기화합니다. 스플릿 브레인 상황에서 수동으로 복구하려면 이 옵션을 사용하십시오.

bsrsetup del-peer resource peer_node_id

del-peer 명령은 리소스에서 연결을 제거합니다.

bsrsetup del-path resource peer_node_id local-addr remote-addr

del-path 명령은 연결에서 경로를 제거합니다. 그러나 이미 연결된 connection 을 유지해야 할 경우 이 명령은 실패합니다. 모든 경로를 제거하려면 먼저 연결을 끊어야 합니다.

bsrsetup cstate resource peer_node_id

연결의 현재 상태를 표시합니다. 연결은 피어의 node-id로 식별됩니다.

bsrsetup del-minor minor

복제 장치를 제거합니다. 이 후 더이상 하위 장치는 적재되어 있지 않을 것 입니다.

bsrsetup del-resource resource

리소스를 제거합니다. 이를 위해 모든 볼륨과 연결을 먼저 제거해야합니다(bsrsetup del-minor, bsrsetup disconnect). 또는 bsrsetup down 을 사용하여 모든 볼륨,연결과 함께 리소스를 제거 할 수 있습니다.

bsrsetup detach minor

복제 장치에서 하위 장치를 분리합니다. 사용 가능한 옵션은 다음과 같습니다.

  • --force 분리를 강제로 수행하고 즉시 반환합니다. 이렇게 하면 보류중인 모든 I/O가 완료 될 때까지 하위 장치를 실패 상태로 만든 다음 장치를 분리합니다. 하위 장치에 아직 제출되지 않은 I/O(예: 장치의 I/O가 일시 중단 되었기 때문에)는 실패한 것으로 간주됩니다.

bsrsetup disconnect resource peer_node_id

피어 호스트에 대한 연결을 제거합니다. 연결은 피어의 node-id로 식별됩니다.

bsrsetup down {resource | all}

모든 볼륨, 연결 및 리소스 자체를 제거하여 리소스를 중지합니다.

bsrsetup dstate minor

하위 장치의 현재 디스크 상태를 표시합니다.

bsrsetup events2 {resource | all}

구성된 모든 bsr 객체의 현재 상태와 상태의 모든 변경 사항을 표시합니다. 출력은 이벤트의 종류로 시작합니다. 기존의 객체가 생성, 파괴 또는 변경 될 경우, 이벤트 핸들러가 호출되거나 리턴되는 등의 이벤트 유형이 있습니다. 그 다음은 이벤트가 적용되는 리소스, 장치, 연결, 피어 장치, helper 객체를 기술합니다. 나머지는 개체를 식별하고 개체의 상태를 표시합니다. 다음의 사용 가능한 옵션이 있습니다.

  • --now 현재 상태를 보고 한 후 종료합니다. 기본값은 지속적으로 상태 변경을 보는 것입니다.

  • --statistics 출력에 통계를 포함 시킵니다.

bsrsetup get-gi resource peer_node_id volume

특정 연결에서 장치의 데이터 생성 식별자를 표시합니다. 장치는 볼륨 번호로 식별되고 연결은 엔드 포인트로 식별됩니다. "bsrsetup connect"명령을 참조하십시오. 출력은 현재 UUID, 비트 맵 UUID 및 플래그 세트로 구성된 처음 두 개의 히스토리 UUIDS로 구성됩니다. 현재 UUID 및 히스토리 UUID는 장치마다 다릅니다. 비트 맵 UUID 및 플래그는 피어 장치마다 다릅니다. 이 명령은 처음 두 개의 히스토리 UUID 만 표시합니다. bsr은 내부적으로 가능한 각 피어 장치마다 하나의 히스토리 UUID를 유지합니다.

bsrsetup invalidate minor

장치의 로컬 데이터를 피어의 데이터로 동기화 합니다. 피어의 파일시스템에서 사용하는 모든 공간이 동기화되지 않은 것으로 표시되고 지정된 로컬 데이터로 재 동기화 합니다.

bsrsetup invalidate-remote resource peer_node_id volume

피어의 데이터를 로컬 데이터로 동기화 합니다. 로컬의 파일시스템에서 사용하는 모든 공간이 동기화되지 않은 것으로 표시되고 지정된 피어 데이터로 재 동기화 합니다.

bsrsetup new-current-uuid minor

새로운 현재 UUID를 생성하고 다른 모든 UUID 값을 회전시킵니다. 사용 가능한 옵션은 다음과 같습니다.

  • --clear-bitmap

    • 새로운 현재 UUID를 생성하고 동기화 비트맵을 지웁니다. 비트맵 GI를 제거하여 초기 동기화를 건너뛰는 데 사용할 수 있습니다. 이 방식은 이제 막 생성된 메타 데이터에서 만 작동합니다.

bsrsetup new-minor resource minor volume

리소스 내에 새로운 복제 장치를 만듭니다. 이 명령은 복제 장치(기본적으로 /dev/bsr minor)에 대한 블록 장치 inode를 만듭니다. 볼륨 번호는 리소스 내의 장치를 식별합니다.

bsrsetup new-resource resource node_id,

bsrsetup resource-options resource

new-resource 명령은 새로운 리소스를 만듭니다. resource-options 명령은 생성된 리소스의 리소스 옵션을 변경합니다. 사용 가능한 옵션은 다음과 같습니다.

  • --auto-promote bool-value

    • bsr 에선 지원하지 않습니다.

  • --cpu-mask cpu-mask

    • bsr 에선 지원하지 않습니다.

  • --on-no-data-accessible policy

    • 요청 된 데이터를 로컬에 접근할 수 없는 경우(예 : 모든 디스크에 장애가 발생한 경우) I/O 요청을 처리하는 방법을 결정합니다. bsr 에선 지원하지 않습니다.

  • --peer-ack-window value

    • 각 노드와 각 장치에서 bsr은 각 피어 장치에 대한 로컬 데이터와 원격 데이터의 차이점에 대한 비트 맵을 유지합니다. 예를 들어, 단일 장치가 있는 3노드 설정(노드 A, B, C)에서 모든 노드는 각 피어에 대해 하나의 비트 맵을 유지합니다. 노드가 쓰기 요청을 받으면 쓰기 노드에 대한 비트 맵을 업데이트하는 방법을 알고 있지만 다른 노드들 간의 비트맵을 업데이트하는 방법은 알지 못합니다. 이 예제에서 쓰기 요청이 노드 A에서 B와 C로 전파 될 때 노드 B와 C는 노드 A와 동일한 데이터를 가지고 있지만 둘 다 동일한 데이터를 가지고 있는지 여부는 알지 못합니다. 이에 대한 해결책으로, 쓰기 노드는 때때로 peer-ack 패킷을 피어로 보내 서로에게 어떤 상태인지 알려줍니다. peer-ack-window 매개 변수는 peer-ack 패킷을 보내기 전에 Primary 노드가 전송할 수 있는 데이터의 양을 지정합니다. 값이 낮으면 네트워크 트래픽이 증가합니다. 값이 크면 네트워크 트래픽은 줄어들지 만 Secondary 노드의 메모리 소비는 증가하고 Primary 노드 장애 후 Secondary 노드 간의 재 동기화 시간이 길어집니다. (참고 : peer-ack 패킷은 다른 이유로 인해 전송 될 수도 있습니다 (예 : 멤버쉽 변경 또는 “peer-ack-delay 타이머"의 만료). peer-ack-window의 기본값은 2MiB이며, 기본 단위는 섹터임).

  • --peer-ack-delay expiry-time

    • 마지막으로 완료된 쓰기 요청 후에 만기 시간 동안 새로운 쓰기 요청이 발행되지 않으면 peer-ack 패킷이 전송됩니다. 타이머가 만료되기 전에 새로운 쓰기 요청이 발행되면 타이머는 만료 시간으로 재설정됩니다. (참고 : 멤버십 변경 또는 "peer-ack-window"옵션과 같은 다른 이유로 peer-ack 패킷이 전송 될 수도 있습니다) 이 매개 변수는 원격 노드의 재 동기화 동작에 영향을 줄 수 있습니다. 피어 노드는 AL 익스텐트에서 잠금을 해제하기 위해 peer-ack 을 받을 때까지 기다려야합니다. 피어 간의 재 동기화 작업이 이러한 잠금을 기다려야 할 수도 있습니다. peer-ack-delay의 기본값은 100 밀리 초이며 기본 단위는 밀리 초입니다.

bsrsetup outdate minor

하위 장치의 데이터를 outdated 로 표시합니다. 펜싱에 사용되며 향후 장치가 Primary 리소스가 되는 것을 방지합니다.

bsrsetup pause-sync resource peer_node_id volume

로컬 일시 정지 플래그를 설정하여 로컬 장치와 피어 장치 간의 재 동기화를 중지 합니다. 재 동기화는 연결의 양쪽에있는 일시 정지 플래그가 지워진 경우에만 재개 할 수 있습니다.

bsrsetup primary resource

리소스에서 노드의 역할을 primary로 변경합니다. 이를 통해 이 리소스의 복제 장치를 쓰기 위해 마운트하거나 열 수 있습니다. 사용 가능한 옵션:

  • --overwrite-data-of-peer 이 옵션은 --force option의 alias 입니다.

  • --force 장치에 최신 데이터가 있다고 보장되지 않더라도 리소스를 기본 리소스로 설정합니다. 이 옵션은 새로 작성된 클러스터의 노드 중 하나를 Primary 노드로 바꾸거나 재해에서 수동으로 복구 할 때 사용됩니다. 이는 스플릿 브레인 시나리오로 이어질 수 있습니다. 또한 Inconsistent한 장치를 최신 장치로 강제 승격 할 때는 최소한 무결성 검사(예: 파일 시스템 검사)를 미리 하는 것이 좋습니다. bsr은 일반적으로 클러스터에서 하나의 노드 만 Primary 역할을 수행 할 수 있도록 합니다. 이를 통해 bsr은 노드의 자원에서 장치에 대한 액세스를 제한할 수 있습니다.

bsrsetup resize minor

모든 노드에서 복제 된 장치의 하위 장치 크기를 다시 조정합니다. 이 명령은 모든 노드의 하위 수준 장치가 커져서 복제 된 장치의 크기를 조정 한 후에 호출합니다. 사용 가능한 옵션은 다음과 같습니다.

  • --assume-peer-has-space

    • 현재 피어 장치 중 일부가 연결되지 않은 경우에도 장치 크기를 조정합니다. bsr은 다음에 연결할 때 피어 장치의 크기를 조정하려고합니다. 너무 작은 피어 장치에 대한 연결은 거부합니다 .

  • --size val

    • 이 옵션을 사용하면 bsr 장치의 사용 가능한 크기를 온라인으로 줄일 수 있습니다. 해당 작업으로 인해 장치의 파일 시스템이 잘리지 않도록하는 것은 사용자의 책임입니다.

  • --al-stripes val 

    • 이 옵션은 activity log의 온라인 레이아웃을 변경하는 데 사용될 수 있습니다. 내부 메타 데이터의 경우 사용자가 볼 수있는 크기를 동시에 줄이거나(크기를 조절하지 않음) 백업 장치의 사용 가능한 공간을 늘릴 수 있습니다.

bsrsetup resume-io minor

복제 장치에서 I/O를 재개 합니다.

bsrsetup resume-sync resource peer_node_id volume

로컬 동기화 일시 정지 플래그를 지워서 재 동기화가 재개 되도록 합니다.

bsrsetup role resource

리소스의 현재 역할을 보여줍니다.

bsrsetup secondary resource

리소스에서 노드의 역할을 secondary로 변경합니다. 리눅스의 경우 복제장치가 사용 중이면 명령이 실패합니다. 윈도우즈에선 사용 여부에 관계 없이 Secodary 로 강등합니다.

bsrsetup show {resource | all}

리소스 또는 모든 자원의 현재 구성 설정을 표시합니다. 사용 가능한 옵션은 다음과 같습니다.

  • --show-defaults 모든 구성 매개 변수 및 기본값이있는 구성 매개 변수를 표시합니다. 일반적으로 기본값을 가진 매개 변수는 표시되지 않습니다.

bsrsetup show-gi resource peer_node_id volume

특정 연결에서 장치의 데이터 생성 식별자를 표시하고 출력을 설명합니다. 설명만 빼면 "bsrsetup get-gi"명령과 동일합니다.

bsrsetup state

bsrsetup role의 alias입니다. 더 이상 사용되지 않습니다.

bsrsetup status {resource | all}

리소스 또는 모든 리소스의 상태를 표시합니다. 출력은 구성된 각 자원에 대해 하나의 단락으로 구성됩니다. 각 단락에는 각 리소스에 대해 한 줄, 각 장치에 대해 한 줄, 각 연결에 대해 한 줄이 있습니다. 장치 및 연결 라인이 들여 쓰기 됩니다. 연결 라인 다음에는 각 피어 장치 마다 한 개의 라인이 있습니다. 이 라인들은 연결 라인에 들여 쓰기 됩니다. 긴 라인은 터미널 너비로 wrapping 되어 있으며 라인이 어떻게 결합되어 있는지 표시하기 위해 들여 쓰기 됩니다. 사용 가능한 옵션은 다음과 같습니다.

  • --verbose 출력에 추가 정보를 포함합니다.(중복되거나 관련이 없는 경우에도)

  • --statistics 통계 정보를 포함하여 출력합니다.

  • --color={always | auto | never} 출력물에 색상을 표시합니다. --color = auto를 사용하면 bsrsetup은 표준 출력이 터미널에 연결된 경우에만 색상을 표시합니다.

bsrsetup suspend-io minor

복제 장치에서 I/O를 일시 중단하는 명령으로 bsr 에선 이 명령을 지원하지 않습니다.

bsrsetup verify resource peer_node_id volume

온라인 정합성 검사를 시작하거나 장치의 특정 부분을 확인할 경우 변경하거나 검사를 중지 합니다. 명령은 지정된 피어가 연결되어 있어야 합니다. 온라인 검사는 로컬 및 피어 노드의 각 디스크 블록을 비교합니다. 노드 간에 다른 블록은 OOS로 기록되지만 자동으로 다시 동기화되지는 않습니다. 동기화 하려면 리소스의 연결을 끊었다가 다시 연결해야합니다. bbsrsetup status --statistics의 출력에서 진행 상황을 모니터링 할 수 있습니다. 사용 가능한 옵션:

  • --start position

    • 온라인 검사를 시작할 위치를 정의하십시오. 온라인 검사가 이미 진행중인 경우 이 매개 변수는 무시됩니다. 시작 매개 변수가 지정되지 않은 경우 온라인 검사는 이전에 중단 됐었다면 중단 된 위치 이후로 시작되고, 시작된 적이 없었다면 처음부터 시작합니다. 디스크의 위치는 기본적으로 디스크 섹터 (512 바이트)로 지정됩니다.

  • --stop position

    • 온라인 검사를 중지 할 위치를 정의합니다. 온라인 확인이 이미 진행중인 경우 활성 온라인 확인 프로세스의 중지 위치가 변경됩니다. 온라인 검사를 중지하려면 이 옵션을 사용하십시오. 디스크의 위치는 기본적으로 디스크 섹터 (512 바이트)로 지정됩니다.

bsrsetup wait-connect-volume resource peer_node_id volume,

bsrsetup wait-connect-connection resource peer_node_id,

bsrsetup wait-connect-resource resource,

bsrsetup wait-sync-volume resource peer_node_id volume,

bsrsetup wait-sync-connection resource peer_node_id,

bsrsetup wait-sync-resource resource

wait-connect-* 명령은 피어의 장치가 나타날 때까지 기다립니다. wait-sync-* 명령은 피어의 장치가 최신 상태가 될 때까지 기다립니다. bsr 에선 잘 사용하지 않는 명령으로 사용을 권장하지 않습니다.

bsrsetup forget-peer resource peer_node_id

forget-peer 명령은 메타 데이터에서 피어 노드의 모든 흔적을 제거합니다. 메타 데이터에서 비트맵 슬롯을 비우고 지금까지 본 적이 없는 노드가 연결될 경우 추가 비트맵 슬롯 할당에 사용할 수 있습니다. 이 명령을 사용하려면 연결을 해제해야 합니다. 피어가 나중에 다시 연결하는 경우 비트맵 기반 재 동기화가 전체 동기화로 바뀝니다.

bsrmeta

bsrmeta [--force] [--ignore-sanity-checks] { device} {v06 minor | v07  meta_dev index | v08 meta_dev index | v09  meta_dev index} { command} [cmd args...]

DESCRIPTION

bsrmeta 유틸리티는 bsr의 온 디스크 메타 데이터를 생성, 표시 및 수정하는 데 사용됩니다. 사용자는 일반적으로 bsrarm보다 bsr에 더 높은 수준의 인터페이스를 제공하는 bsradm 유틸리티와 상호 작용합니다. (bsradm의 사용 방법은 bsramm의 dry-run 옵션을 참조하십시오.)이 유틸리티는 현재 커널에서 사용하지 않는 장치에서만 사용할 수 있습니다. 첫 번째 인수 (device)는 볼륨과 연결된 bsr 장치를 지정하거나 해당 볼륨과 연결된 장치가없는 경우 "-"를 지정합니다. bsr 장치가 지정된 경우 bsr 유틸리티는 bsr 장치에 현재 활성 볼륨의 메타 데이터가 손상되는 것을 방지하기 위해 먼저 연결된 볼륨이 있는지 확인합니다.두 번째 인수는 사용할 메타 데이터 버전 (v06, v07, v08, v09)을 지정합니다. 대부분의 메타 데이터 버전에서 세 번째 인수 (meta_dev)는 메타 데이터가 포함 된 장치를 지정합니다. 이 인수는 장치와 동일 할 수 있습니다. 네 번째 인수 (index)는 키워드 internal(내부 메타 데이터의 경우), flex-internal variable (가변 크기의 메타 데이터의 경우 v07, v07은 기본적으로 고정 크기의 내부 메타 데이터), flex-external (가변 크기의 경우) 중 하나 일 수 있습니다. 외부 메타 데이터 또는 숫자 matadata 인덱스(고정 크기 외부 메타 데이터의 경우) bsr.conf의 메타 디스크 매개 변수를 참조하십시오.

OPTIONS

--force

bsrmeta가 요청할 모든 질문에 대한 대답으로 yes로 가정하고 수행합니다.

--ignore-sanity-checks

일반적으로 bsrmeta는 메타 데이터 장치에 쓰기 전에 일부 결함 검사를 수행합니다. 예를 들어, 장치에 파일 시스템이 포함되어있는 경우 파일 시스템이 손상되지 않도록 보호하기 위해 메타 쓰기를 거부합니다. 이 결함 검사를 무시하려면 이 옵션을 사용하십시오.

COMMANDS

create-md [--peer-max-bio-size=val] (metadata versions v06, v07, and v08),

create-md {number-of-bitmap-slots} [--peer-max-bio-size=val] [ --al-stripes=val] [--al-stripe-size-kB= val] (metadata version v09)

메타 데이터를 초기화합니다. 이것은 bsr 리소스를 attach하기 전에 필요합니다. bsrmeta가 장치에서 이전 버전의 bsr 메타 데이터를 찾으면 형식을 변환해야하는지 묻습니다. bsradm은 장치에 대한 bsrmeta의 create-md 명령을 호출 할 때 비트맵 슬롯 수 인수를 리소스의 피어 수로 설정합니다. 추가 비트맵 슬롯을 예약하려면 (향후에 더 많은 피어를 추가 할 수 있도록) 대신 bbsrmeta를 호출하십시오. 피어에 처음 연결되기 전에 장치를 사용하는 경우 bsr은 피어가 기본적으로 4KiB 요청만 처리 할 수 ​​있다고 가정합니다. "peer-max-bio-size"옵션을 사용하면 보다 낙관적인 값을 설정할 수 있습니다. 이 장치가 연결될 bsr 버전이 알려진 경우 이를 사용하십시오. 6433개 이상의 activity log 범위를 사용하거나 stripe RAID 위에 구성하고 싶다면 스트라이프 수 (--al-stripes, 기본값 1) 및 스트라이프 크기 (--al-stripe- size-kB, 기본값 32)를 지정해야 합니다. 더 큰 선형 온 디스크 링 버퍼를 사용하려면 스트라이프 수를 1로 유지하고 크기 만 늘리십시오.

get-gi [--node-id=id]

특정 연결에서 장치의 데이터 생성 식별자를 표시합니다. bsr 에선 여러개의 피어를 지원합니다. node-id 옵션을 사용하여 표시할 피어의 데이터 생성 식별자를 정의하십시오.

show-gi [--node-id=id]

get-gi와 유사하지만 설명 정보가 있습니다.

dump-md

비트맵 및 activity log를 포함하여 장치의 메타 데이터를 텍스트 형식으로 덤프합니다.

outdate

하위 장치의 데이터를 outdated 로 표시 합니다.

dstate

하위 장치의 현재 디스크 상태를 표시 합니다.

check-resize

하위 장치의 장치 크기와 마지막으로 알려진 장치 크기를 확인합니다((/var/lib/bsr/bsr-minor-minor.lkbd by bsrsetup check-resize로 저장). 내부 메타 데이터의 경우 하위 수준 장치의 크기가 변경되고 이전 위치에서 메타 데이터를 찾을 수있는 경우 블록 장치 끝에서 새 위치로 메타 데이터를 이동하십시오.

apply-al

지정된 장치의 activity log를 적용합니다. 커널에 의해 장치가 다시 attach 되기 전에 필요합니다.

EXPERT COMMANDS

bsrmeta 유틸리티는 메타 데이터를 미세하게 조정하는 데 사용될 수 있습니다. 이로 인해 메타 데이터가 손상되거나 데이터가 자동으로 손상 될 수 있습니다. 주의해서 사용 하십시오.

set-gi gi [--node-id=id] 

생성 식별자를 설정합니다. bsr은 여러 피어를 지원하고 get-gi 출력에서와 동일한 구문으로 기술하여 설정합니다. --node-id 옵션을 사용하여 설정할 피어의 데이터 생성 식별자를 정의할 수 있습니다.

restore-md dump_file

장치의 메타 데이터를 dump_file의 내용으로 바꿉니다. 덤프 파일 형식은 dump-md 명령의 출력에 의해 정의됩니다.

bsrcon

bsrcon command {argument...}

DESCRIPTION

COMMANDS

/nodelayedack [ip|guid]


/delayedack_enable [ip|guid]


/m [letter] : mount


/get_log [ProviderName]


/minlog_lv dbg [Level : 0~7]


/write_log [ProviderName] "[LogData]"


/handler_use [0,1]


/bsrfsflt_status


/info


/status

  • No labels