주의 사항

bsr 은 drbd 와 같이 설치해 운용할 경우 시스템 자원 사용에 대한 충돌이 발생합니다. 시스템에 drbd가 기존에 설치 되어 있었다면 이를 제거해야 합니다.

랜카드 교체

bsr 설치 이후 네트워크 랜카드의 교체가 있을 경우 bsrcon /nodelayedack <resource> 명령을 사용하여 수동으로 Disable TCP Delayed ACK 의 내용을 다시 적용해야 합니다. 이를 하지 않을 경우 성능 저하가 발생할 수 있습니다.

[root@bsr-01 x86_64]# rpm -ivh bsr-utils-1.6-A3.el7.x86_64.rpm

[root@bsr-01 bsr]# rpm -ivh kmod-bsr-1.6_3.10.0_957-A3.el7.x86_64.rpm

#mokutil --import /etc/pki/mantech/bsr_signing_key_pub.der

input password:

input password again:

# modprobe bsr

# lsmod |grep bsr

bsr                 52113408  0

libcrc32c              16384  4 nf_conntrack,nf_nat,bsr,xfs

[root@bsr-01 bsr]# modinfo bsr
filename: /lib/modules/3.10.0-957.el7.x86_64/extra/bsr/bsr.ko
license: GPL
alias: block-major-147-*
license: GPL
version: 1.6-A3
description: bsr - Block Sync and Replication v1.6-A3
author: Man Technology Inc. bsr@mantech.co.kr
retpoline: Y
rhelversion: 7.6
srcversion: F4B39BD44212C22841949F8
depends: libcrc32c
vermagic: 3.10.0-957.el7.x86_64 SMP mod_unload modversions
signer: Man Technology Inc.: BSR Secure Boot Key
sig_key: D6:97:B5:89:F6:BC:A4:D5:28:02:25:57:4E:55:51:9F:F0:8F:EC:74
sig_hashalgo: sha256
parm: minor_count:Approximate number of bsr devices (1-255) (uint)
parm: disable_sendpage:bool
parm: allow_oos:DONT USE! (bool)
parm: debug_fast_sync:bool
parm: enable_faults:int
parm: fault_rate:int
parm: fault_count:int
parm: fault_devs:int
parm: two_phase_commit_fail:int
parm: usermode_helper:string

[root@bsr-01 x86_64]# rpm -ivh /root/rpmbuild/RPMS/x86_64/bsr-utils-1.6.0-PREALPHA3.el6.x86_64.rpm

시큐어부트와 관련하여 커널 모듈 적재에 실패할 경우 /wiki/spaces/B/pages/1634173020 문서를 참고하여 시큐어부트 코드서명 과정을 단계 별로 진행해 보세요.

resource r0 {
        ...
        on hostname {
          options {
                svc-auto-up yes;
          }
        }
        ...
}

bsradm down all

systemctl stop bsr

rpm -e kmod-bsr

rpm -e bsr-utils

[root@bsr-01 bsr]# rpm -Uvh bsr-utils-1.6-A4.el7.x86_64.rpm

[root@bsr-01 bsr]# rpm -Uvh kmod-bsr-1.6_3.10.0_957-A4.el7.x86_64.rpm

root@ubuntu:/home/mantech# apt-get install git build-essential debhelper dkms docbook-xsl help2man python-all python-dbus python-gobject dh-systemd flex autoconf automake

root@ubuntu:/home/mantech# dpkg -i bsr-utils_1.6-A3_amd64.deb

root@ubuntu:/home/mantech# dpkg -i bsr-dkms_1.6-A3_all.deb

root@ubuntu:/home/mantech# apt-get -f -y install

Enroll MOK → Countinue → Yes → 암호 입력 → Reboot

# modprobe bsr

# lsmod |grep bsr

bsr                 52113408  0

libcrc32c              16384  4 nf_conntrack,nf_nat,bsr,xfs

[root@bsr-01 bsr]# modinfo bsr
filename: /lib/modules/3.10.0-957.el7.x86_64/extra/bsr/bsr.ko
license: GPL
alias: block-major-147-*
license: GPL
version: 1.6-A3
description: bsr - Block Sync and Replication v1.6-A3
author: Man Technology Inc. bsr@mantech.co.kr
retpoline: Y
rhelversion: 7.6
srcversion: F4B39BD44212C22841949F8
depends: libcrc32c
vermagic: 3.10.0-957.el7.x86_64 SMP mod_unload modversions
signer: Man Technology Inc.: BSR Secure Boot Key
sig_key: D6:97:B5:89:F6:BC:A4:D5:28:02:25:57:4E:55:51:9F:F0:8F:EC:74
sig_hashalgo: sha256
parm: minor_count:Approximate number of bsr devices (1-255) (uint)
parm: disable_sendpage:bool
parm: allow_oos:DONT USE! (bool)
parm: debug_fast_sync:bool
parm: enable_faults:int
parm: fault_rate:int
parm: fault_count:int
parm: fault_devs:int
parm: two_phase_commit_fail:int
parm: usermode_helper:string

[root@bsr-01 x86_64]# bsradm -V
BSRADM_BUILDTAG=GIT-hash:\ 35649dbca524e37a7a8fcddb199db17efb8b7aba\ build\ by\ root@bsrc76,\ 2020-08-25\ 13:46:17
BSRADM_API_VERSION=2
BSR_KERNEL_VERSION_CODE=0x000000
BSR_KERNEL_VERSION=0.0.0
BSRADM_VERSION_CODE=0x000000
BSRADM_VERSION=1.6-A3

시큐어부트와 관련하여 커널 모듈 적재에 실패할 경우 /wiki/spaces/B/pages/3596976727 문서를 참고하여 시큐어부트 코드서명 과정을 단계 별로 진행해 보세요.

systemctl enable bsr

systemctl start bsr

resource r0 {
        ...
        on hostname {
          options {
                svc-auto-up yes;
          }
        }
        ...
}

bsradm down all

systemctl stop bsr

dpkg -r bsr-dkms

dpkg -r bsr-utils

root@ubuntu:/home/mantech# dpkg -i bsr-utils_1.6-A4_amd64.deb

root@ubuntu:/home/mantech# dpkg -i bsr-dkms_1.6-A4_all.deb

# rpm -ivh bsr-utils-1.6.5.1_sles12-sp4_20230621151754.rpm

# rpm -ivh bsr-kmp-default-1.6.5.1_sles12-sp4_4.12.14-94.41_20230621151754.rpm

zypper 명령 사용 시 Signature verification failed 가 발생할 수 있으며, ignore 를 선택하고 설치를 진행합니다.

# zypper install bsr-kmp-default-1.6.5.1_sles12-sp4_4.12.14-94.41_20230621151754.rpm

…
bsr-kmp-default-1.6.5.1_sles12-sp4_4.12.14-94.41_20230621151754.rpm:
Package is not signed!

bsr-kmp-default-1.6.5.1_k4.12.14_94.41-1.x86_64 (Plain RPM files cache): Signature verification failed [6-File is unsigned]
Abort, retry, ignore? [a/r/i] (a): i

#mokutil --import /etc/pki/mantech/bsr_signing_key_pub.der

input password:

input password again:

# modprobe bsr

# lsmod |grep bsr

bsr                 52113408  0

libcrc32c              16384  4 nf_conntrack,nf_nat,bsr,xfs

SUSE 에서는 supported 플래그가 없는 모듈 로드를 제한하고 있기 때문에 기본적으로 bsr 모듈 로드에 실패합니다.

# modprobe bsr

modprobe: ERROR: module 'bsr' is unsupported
modprobe: ERROR: Use --allow-unsupported or set allow_unsupported_modules 1 in
modprobe: ERROR: /etc/modprobe.d/10-unsupported-modules.conf
modprobe: ERROR: could not insert 'bsr': Operation not permitted

unsupported 모듈 로드를 허용하기 위해서 modprobe 수행 시 --allow-unsupported 옵션을 사용합니다.

# modprobe bsr --allow-unsupported

시큐어부트와 관련하여 커널 모듈 적재에 실패할 경우 Kernel Module Packages Manual을 참고하여 시큐어부트 코드서명 과정을 단계 별로 진행해 보세요.

systemctl enable bsr

systemctl start bsr

resource r0 {
        ...
        on hostname {
          options {
                svc-auto-up yes;
          }
        }
        ...
}

bsradm down all

systemctl stop bsr

rpm -e bsr-kmp-default

rpm -e bsr-utils

# rpm -ivh bsr-utils-1.6.5.1_sles12-sp4_20230621151754.rpm

# rpm -ivh bsr-kmp-default-1.6.5.1_sles12-sp4_4.12.14-94.41_20230621151754.rpm