টেকসই হোস্ট করা, F/OSS পরিচালিত
অবজেক্ট স্টোরেজ, রেডিস, প্রমিথিউস
হেটজনার, ওভিএইচ এবং লিজওয়েবে
**tl;dr - Hetzner's ডেডিকেটেড হার্ডওয়্যার (Ubuntu 20.04 - âÂÂFocalâÂÂ) ব্যবহারের জন্য আমার উত্তরযোগ্য-চালিত ZFS ইনস্টল স্ক্রিপ্টের লাইন বাই লাইন ব্যাখ্যা এটি নিখুঁত/ন্যূনতম নয়, তবে এটি আমার জন্য কাজ করে৷
কিছুক্ষণ আগে আমি সংযুক্ত এইচডিডি এবং এসএসডিগুলিকে ঝগড়া করার জন্য হেটজনারে হোস্ট করা আমার সমস্ত বেয়ার মেটাল ডেডিকেটেড হার্ডওয়্যারে জেডএফএস ব্যবহার শুরু করেছি। স্পেসে অনেক পছন্দ আছে (স্ট্যান্ডার্ড এলভিএম,
mdraid
btrfs, ইত্যাদি), কিন্তু আমি এটির ফিউরসেট এবং এর্গোনমিক্সের জন্য ZFS বেছে নিয়েছি।
আমি কেন তা নিয়ে কাউকে বিরক্ত করব না, তবে নেভিগেট করার জন্য যে জিনিসগুলি দরকার ছিল তার মধ্যে একটি হল উবুন্টু 20.04 (হেটজনারে সমর্থিত অপারেটিং সিস্টেমগুলির মধ্যে একটি) ZFS-এর নতুন সংস্করণগুলি কীভাবে ইনস্টল করা যায়। আমার সিস্টেমে জেডএফএস সেট আপ করার সময় আমি কিছু সমস্যার সম্মুখীন হয়েছি (বিশেষত পোস্ট-ইনস্টল) তাই আমি কীভাবে এটি করেছি তার একটি ওয়াকথ্রু দিতে চেয়েছিলাম।
এই পোস্টটি আমার উত্তরযোগ্য স্ক্রিপ্টগুলির একটি স্তবক-বাই-স্তর ব্যাখ্যা যা ZFS ইনস্টল করে।
ZFS (অথবা কোনো ফাইলসিস্টেম) পরিবর্তন করার উপযুক্ত কিনা তা জানার আগে, আপনি সম্ভবত RTFM করতে চান। জেডএফএস-এর প্রচুর ইনস রয়েছে এবং আমি অবশ্যই এটিতে বিশেষজ্ঞ নই, তবে কীভাবে এবং কেন, সেইসাথে পরিভাষা এবং এমনকি প্রকল্পের ইতিহাস জানা খুবই গুরুত্বপূর্ণ।
আপনাকে শুরু করার জন্য কয়েকটি লিঙ্ক:
ZFS এর সাথে (যা সম্ভবত এখানে সবচেয়ে অজানা পরিমাণ) আপনি সম্ভবত উবুন্টু এবং সাধারণ সিস্টেম প্রশাসনের সাথে পরিচিত হতে চান। এটি কভার করার জন্য একটি বড় এলাকা ছেড়েছে তবে এখানে কয়েকটি লিঙ্ক রয়েছে:
এটি প্রায় বলার অপেক্ষা রাখে না কিন্তু আপনি যদি এই মুহুর্তে লিনাক্স সিস্টেম প্রশাসনের সাথে খুব বেশি পরিচিত না হন তবে আপনার সম্ভবত এটি করার চেষ্টা করা উচিত নয়৷
আমি ব্যক্তিগতভাবে আমার ডিস্কগুলিকে কিছুটা কাস্টম কনফিগারেশনে রাখতে পছন্দ করি - আমার কাছে RAID1 (মিররিং) সেটআপ রয়েছে
mdraid, প্রতিটি ডিস্কের পার্টিশন সহ যা আমি পরিচালনা করতে ZFS কে দিতে পারি। আদর্শভাবে, ZFS কে দেওয়ার জন্য আমার কাছে সম্পূর্ণ ডিস্ক আছে কিন্তু পার্টিশনগুলিও কাজ করে।
ওএস সেটআপ (
installimage) যার মধ্যে ডিস্ক সেটআপ রয়েছে Hetznerà ¢Â এর রেসকিউ মোড থেকে চালিত হয় এবং নিচের মত একটি ফাইল দিয়ে নির্দেশিত হতে পারে:
# ড্রাইভ ডিক্লেয়ারেশন ড্রাইভ0 /dev/nvme0n1 DRIVE1 /dev/nvme1n1 ড্রাইভ1 /dev/nvme1n1 # সফ্টওয়্যার RAID সক্রিয় করুন (OS ডিস্কের জন্য) SWRAID 1 SWRAIDLEVEL 1 # বুটলোডার (সাধারণত গ্রাব) বুটলোডার পার্টনাম পার্টিশন কনফিগারেশন PART swap swap 32G PART /boot ext4 1G PART / ext4 128G # এই শেষ ভাগ তৈরি করা হবে (মোছা& পরে ZFS হিসাবে পুনরায় তৈরি করা হয়েছে) PART /root-disk-remaining ext4 all # আপনি Hetzner তাদের নেটওয়ার্ক শেয়ার IMAGE /root/.oldroot/nfs/images/Ubuntu-2004-focal-64-minimal.tar অ্যাক্সেস করে যে ছবিগুলি ব্যবহার করেন তা নির্দিষ্ট করতে পারেন। gz
এটি স্পষ্টতই বেশ Hetzner-নির্দিষ্ট, কিন্তু ZFS ব্যবহার করার জন্য পার্টিশন/ড্রাইভ উপলব্ধ করার জন্য আপনার নিজের সিস্টেমে যা করতে হবে তা করুন।
zfsutils-linuxand
zfs-zed
উত্তরযোগ্য YAML-এ পদক্ষেপটি এইরকম দেখায়:
- নাম: সমস্ত zfs-সম্পর্কিত আপস্ট্রিম প্যাকেজ ধরে রাখুন ansible.builtin.shell: | apt-mark হোল্ড zfsutils-linux apt-mark হোল্ড zfs-zed
এই পোস্টের লেখার সংস্করণ হিসাবে
উবুন্টু ফোকালের zfs-linux হল 0.8.3। যেহেতু এখানে আমাদের লক্ষ্য হল একটি নতুন সংস্করণ ইনস্টল করা এবং ব্যবহার করা, তাই আমরা নিশ্চিত করতে চাই যে কোনো একটি
apt আপডেটগুলি আমাদের ইনস্টল করা সংস্করণটিকে পুরানো সংস্করণের সাথে প্রতিস্থাপন করে না।
আমরা এখানে থাকাকালীন, প্যাকেজগুলিকেও পরিস্কার করা যাক৷
- নাম: ইনস্টল করা থাকলে জেডএফএস আপস্ট্রিম (উবুন্টু) প্যাকেজগুলি পরিষ্কার করুন ignore_errors: হ্যাঁ ansible.builtin.command: | apt purge --অনুমতি-পরিবর্তন-হোল্ড-প্যাকেজ zfsutils-linux zfs-zed
আপনি ডক্স পড়তে পারেন
কি দেখতে apt
purge এটি অপসারণের মতোই কিন্তু উপস্থিত থাকলে কনফিগারেশন ফাইলগুলিকেও সরিয়ে দেয়৷
আপনি OpenZFS এর জন্য নির্ভরতা ইনস্টল করতে পারেন:
- নাম: ZFS ansible.builtin.apt তৈরির জন্য প্রয়োজনীয়তা ইনস্টল করুন: নাম:packagesupdate_cache: হ্যাঁ রাজ্য: বর্তমান vars: প্যাকেজগুলি: - বিল্ড-অত্যাবশ্যক - autoconf - automake - libtool - gawk - alien - fakeroot - dkms - libblkid-dev - uuid -dev - libudev-dev - libssl-dev - zlib1g-dev - libaio-dev - libattr1-dev - libelf-dev # নীচের লাইনটি `uname -r` এর আউটপুট কল করে, উদাহরণস্বরূপ "5.16.5-arch1- 1"আমার arch সিস্টেমের জন্য # তাই লাইনটি "linux-headers-5.16.5-arch1-1"এর মতো কিছু সমাধান করবে (অবশ্যই উবুন্টুতে বৈধ নয়, তবে একটি উদাহরণ হিসাবে) - linux-headers uname_r.stdout }} - python3 - python3-dev - python3-setuptools - python3-cffi - libffi-dev - python3-প্যাকেজিং - git - libcurl4-openssl-dev
কিছু নির্ভরতা থাকতে পারে যেগুলি কঠোরভাবে প্রয়োজনীয় নয় কিন্তু প্রায় সবগুলিরই প্রয়োজন হওয়া উচিত৷
/opt/zfs
এখানে ZFS:
- নাম: তৈরি করুন /opt/zfs ansible.builtin.file: পথ: /opt/zfs রাজ্য: ডিরেক্টরি
আপনি যদি ZFS ডাউনলোড করতে চান:
- নাম: zfs ansible.builtin.get_url ডাউনলোড করুন: url: "httpsgithub.com/openzfs/zfs/releases/download/zfs _zfs_version zfs _zfs_version tar.gz"চেকসাম:_zfs_tarball_sha256/zfs_stum/zfsm56/zfs_txm/zfs_56/de .gz"এখানে প্রতিস্থাপন
{{ _zfs_version }} (
2.1.1। আপনি নিজেও ডাউনলোড করতে চাইবেন এবং ব্যবহারের জন্য একটি চেকসাম সংগ্রহ/জেনারেট করতে চাইবেন৷ ইন্টারনেট থেকে এমন কিছু ডাউনলোড করবেন না যা চেকসাম ছাড়া পরিবর্তন করার কথা নয়!
{{ হল উত্তরযোগ্য টেমপ্লেটিং সিনট্যাক্স) হল
এবং আপনি যদি কম্পিউটার থেকে অনুলিপি করতে চান যেখানে Ansible চলছে (এটি আমি করি):
- নাম: zfs প্যাকেজ অনুলিপি করুন (দর সীমা এড়িয়ে চলুন) ansible.builtin.copy: src: files/zfs/zfs _zfs_version tar.gz"মোড: 0755 dest: "/opt/zfs/zfs _zfs_version tar.gz"আপনি যেভাবে উৎসটি পেতে চান তা নির্বিশেষে আপনাকে অবশ্যই এটি আনজিপ করতে হবে:
- নাম: zfs কোড আনজিপ করুন ansible.builtin.unarchive: src: "/opt/zfs/zfs _zfs_version tar.gz"dest: "/opt/zfs"remote_src: হ্যাঁ
নির্মাণ প্রক্রিয়া শুরু করতে:
- নাম: সেটআপ এবং বিল্ড ZFS ansible.builtin.shell: | ./autogen../configure ক্লিন মেক -j args: chdir: "/opt/zfs/zfs _zfs_version
আপনি যদি উত্স থেকে জিনিসগুলি তৈরি করার সাথে পরিচিত হন তবে বিভিন্ন প্রকল্প এই সাধারণ টুলসেটটি ব্যবহার করে (এর কিছু রূপ
স্ক্রিপ্ট তৈরি, অটোজেন এবং কনফিগার করুন)। আপনি যেমন আশা করতে পারেন এতে কিছুটা সময় লাগতে পারে তাই কিছুটা সময় দিন।
ZFS নির্মাণের পর
- নাম: ZFS ইনস্টল করুন ansible.builtin.shell: | install args তৈরি করুন: chdir: "/opt/zfs/zfs _zfs_version
সাধারণত আপনি মনে করেন যে আমরা *এখানেই* সম্পন্ন করেছি, কিন্তু এই পোস্টটি বিদ্যমান কারণ এটি করা সাধারণত যথেষ্ট নয়! চলুন এগিয়ে টিপুন।
প্রথমে ZFS মডিউল আনলোড করতে বাধ্য করুন যদি তারা চলমান থাকে:
- নাম: ZFS মডিউল(ss) আনলোড করার জন্য ansible.builtin.shell: | ./scripts/zfs.-u args: chdir: "/opt/zfs/zfs _zfs_version
যখন এটি ঘটছে তখন কোনও কাজের চাপ * না * চালানো আদর্শ হবে, যেমন আপনি আশা করতে পারেন।
মডিউলগুলি আনলোড করার সময়, আমরা কিছু সাহায্যকারী ইনস্টল করতে পারি:
- নাম: পোস্ট-ইনস্টল ZFS সাহায্যকারী ansible.builtin.shell: | ./scripts/zfs-helpers.-i args: chdir: "/opt/zfs/zfs _zfs_version
সাহায্যকারীগুলি ইনস্টল করার পরে, ZFS মডিউলটি পুনরায় লোড করা যাক:
- নাম: ZFS মডিউলের ফোর্স রিলোড ansible.builtin.shell: | ./scripts/zfs.args: chdir: "/opt/zfs/zfs _zfs_version
আমি সেই বিল্ডিংটি খুঁজে পেয়েছি এবং ব্যবহার করে
deb মডিউল (প্যাকেজ ইনস্টলেশনের জন্য ডেবিয়ান দ্বারা ব্যবহৃত ফর্ম্যাট) ইনস্টলেশনটি আটকে রাখতে এবং উবুন্টু প্যাকেজ ডিফল্ট দ্বারা প্রতিস্থাপিত না হতে সাহায্য করেছে।
প্রথমে সোর্স কোড থেকে ZFS deb প্যাকেজ তৈরি করুন:
- নাম: ZFS deb প্যাকেজ তৈরি করুন ansible.builtin.shell: | deb args তৈরি করুন: chdir: "/opt/zfs/zfs _zfs_version
এবং তারপর এটি ইনস্টল করুন
- নাম: ZFS deb প্যাকেজ ইনস্টল করুন ansible.builtin.shell: | হ্যাঁ | dpkg -i --force-overwrite deb apt install -f -y deb args: chdir: "/opt/zfs/zfs _zfs_version
তাত্ত্বিকভাবে এই পদক্ষেপটি *প্রয়োজনীয় হওয়া উচিত নয় (বা একা ব্যবহার করা উচিত), কারণ আমরা ইতিমধ্যে একটি ইনস্টল প্রক্রিয়া চালিয়েছি, কিন্তু আমি খুঁজে পেয়েছি যে একটি বা অন্যটি করার সময় Iâ Âd এমন পরিস্থিতিতে আছে যেখানে পুনরায় চালু হলে ZFS-এর একটি পুরানো সংস্করণ ব্যবহার করার অনুরোধ জানানো হবে (যদিও
apt purge) â বিশেষ করে কার্নেল স্তরে।
modprobe
আপনি অবিলম্বে ইনস্টল করা ZFS মডিউল সক্ষম করতে চান, ব্যবহার করুন
modprobe:
- নাম: Modprobe zfs মডিউল ব্লক: - নাম: zfs কার্নেল মডিউল community.general.modprobe ইনস্টল করুন: নাম: zfs অবস্থা: বর্তমান
ZFS ইনস্টল করার অর্থ হল একটি কার্নেল মডিউল ইনস্টল করা, কিন্তু যেহেতু আমরা এটিকে ডাইনামিক কার্নেল মডিউল সমর্থনের মাধ্যমে পুরোপুরি বেক করতে পারিনি, তাই আমাদের স্থানীয়ভাবে ইনস্টল করা কার্নেল মডিউলগুলি ব্যবহার করার জন্য সক্ষম করতে হবে:
- নাম: নিশ্চিত করুন যে অতিরিক্তটি সামনে রয়েছে ansible.builtin.lineinfile: path: /etc/modules-load.d/modules.conf regexp: '^search'লাইন: "অতিরিক্ত আপডেট উবুন্টু বিল্ট-ইন অনুসন্ধান করুন"অবস্থা: বর্তমান
এটি কি নিশ্চিত করে যে ফাইলটি কার্নেল মডিউল অনুসন্ধান পাথ পরিচালনা করে
/etc/modules-load.d/modules.conf এর মধ্যে একটি লাইন আছে যা আছে
অনুসন্ধান অতিরিক্ত আপডেট নির্দিষ্ট. সাধারণত কমপক্ষে একটি লাইন থাকে যা দিয়ে শুরু হয়
অনুসন্ধান করুন, এবং আমরা কি করতে চাই তা নিশ্চিত করুন
অতিরিক্ত মডিউল অবস্থানগুলি প্রক্রিয়ার প্রথম দিকে অনুসন্ধান করা হয়।
আমরা DKMS সাবসিস্টেমের মাধ্যমে ইনস্টল করতে চাই:
- নাম: dkms install zfs ansible.builtin.shell: | dkms install zfs _zfs_version }} args: chdir: "/opt/zfs/zfs _zfs_version
এই মুহুর্তে, আপনি বর্তমান সক্রিয় ZFS সংস্করণটি পরীক্ষা করতে সক্ষম হবেন এবং এটি আপনাকে এইরকম কিছু দেখাতে হবে:
root@machine01 ~ # zfs সংস্করণ zfs-2.1.1-1 zfs-kmod-2.1.1-1
কয়েকটি সিস্টেমডি ইউনিট রয়েছে (যেমন ডিজিটাল মহাসাগরে কিছু দুর্দান্ত নথি রয়েছে) যা তৈরি করা হয়েছে তবে ZFS ব্যবহারের জন্য সক্ষম করা দরকার:
- নাম: নিশ্চিত করুন যে zfs-সম্পর্কিত সিস্টেমড ইউনিট সক্রিয় আছে ব্লক: - ansible.builtin.systemd: name:itemstate: start enabled: yes loop: - zfs-import-cache.service - zfs-import.target - zfs-mount.service - zfs-share.service - zfs-zed.service - zfs-volume-wait.service - zfs.target
যে ভেরিয়েবলগুলি লুপ করা হচ্ছে তা চলমান
systemd start and
systemd enable .
The security-minded reader at home is no doubt cringing into the atmosphere by now, but making sure my kernel upgrades are manual is the only way IâÂÂve found to ensure that the installed version of ZFS was not disabled/unexpectedly altered/broken by kernel upgrades:
- name: Hold all kernel upgrades to prevent custom built ZFS from doing fallback ansible.builtin.shell: | apt-mark hold linux-headers-generic apt-mark hold linux-image-generic apt-mark hold {{ uname_r.stdout }} # you'll need that `uname -r` output again here
I personally prefer to hold back any kernel upgrades and instead perform them at machine setup rather than during operation. DKMS *should* ensure that with the building of any new kernel the ZFS code is rebuilt but itâÂÂs been flaky in the past so I find it hard to trust.
Along with all the kernel changes weâÂÂve made so far (good and questionable), one thing weâÂÂll want to do is add the configuration necessary to ensure the kernel module is loaded:
- name: Ensure zfs kernel module comes up with next restart tags: [ "zfs:post-install:config" ] block: - name: Add zfs module load file ansible.builtin.template: src: templates/kernel-modules/zfs.conf.j2 dest: /etc/modules-load.d/zfs.conf owner: root group: root mode: 0644
Now that we have ZFS installed (restart once to check IâÂÂm going to leave the rest of the cluster setup to you. There are a *lot* of ways to use ZFS and setup zpools (RAID0/1/5/Z
Actually using ZFS properly is out of scope (I can only hope IâÂÂve covered *installing* it properly, at least), but please refer to the usual manuals there to set up your ZFS pool and storage requirements. Trying to cover even the basics of how to setup ZFS for your drives once itâÂÂs been installed is certainly a lot of reading so weâÂÂll leave it there for today.
This is the part where you âÂÂdraw the rest of the owlâ (sorry).
txg_timeout
While experimenting with some write modes for Postgres on ZFS, I looked into an optimization modes that involved reducing the
txg_timeout from itâÂÂs default of 5 seconds to 1 second. While I wonâÂÂt get into the tradeoffs implied by that move (please read my post on Postgres + ZFS), here is the setup that IâÂÂve used for modifying
txg_timeout per-machine (some machines might use the optimization some might not):
- name: Add systemd unit to support txg timeout customization tags: [ "zfs:post-install:config" ] block: - name: Set current ZFS txg_timeout (to 1) ansible.builtin.shell: | echo 1 > /sys/module/zfs/parameters/zfs_txg_timeout - name: install zfs-config-txg-timeout service ansible.builtin.template: src: templates/zfs-config-txg-timeout.service.j2 dest: /etc/systemd/system/zfs-config-txg-timeout.service owner: root group: root mode: 0644 - name: start & enable zfs-config-txg-timeout service ansible.builtin.systemd: name: zfs-config-txg-timeout.service state: started enabled: yes daemon_reload: yes
The template that goes with that looks like this:
[Unit] Description=Set ZFS txg_timeout After=zfs.target ConditionPathIsDirectory=/sys/module/zfs [Service] Type=oneshot RemainAfterExit=yes ExecStart=/usr/bin/bash -c 'echo {{ _zfs_txg_timeout_seconds | default(zfs_txg_timeout_seconds) }} > /sys/module/zfs/parameters/zfs_txg_timeout' # Not needed since we want it to always be whatever the setting is # ExecStop=/usr/bin/bash -c 'echo {{ _zfs_txg_timeout_seconds | default(zfs_txg_timeout_seconds) }} > /sys/module/zfs/parameters/zfs_txg_timeout' [Install] WantedBy=multi-user.target
Obviously youâÂÂll want to define
{{ _zfs_txg_timeout_seconds }} and the
zfs_txg_timeout_seconds. In general, this will make sure that the
txg_timeout is set to what you want it to be upon startup after ZFS has started.
WasnâÂÂt that easy? If youâÂÂre answering no, it wasnâÂÂt easy for me to figure out either! I spent a lot of time wondering why DKMS wasnâÂÂt working properly (which is why the hack of preventing kernel upgrades is still included) and dealing with other issues. The OpenZFS documentation is pretty great but seems to be missing a guide somewhat like this, so hopefully this post will save people some time going forward when trying to experiment with new ZFS setups on Hetzner.
Another thing IâÂÂm hoping for with this post is to be corrected â if you see something glaringly wrong in my setup, please reach out.
The more people can use low cost infrastructure providers like Hetzner, the more cool software we get and the more interesting/innovative products can be built. To that end IâÂÂm working on NimbusWS (IâÂÂm behind on this but should launch by end of Q1 2022) â if youâÂÂre interested please sign up for the service and kick the tires (free tier usage will be available).
