सतत रूप से होस्ट किया गया, प्रबंधित F/OSS
ऑब्जेक्ट स्टोरेज, रेडिस, प्रोमेथियस
हेट्ज़नर, ओवीएच और लीज़वेब पर
**tl;dr - Hetznerã¢ÂÂs समर्पित हार्डवेयर (Ubuntu 20.04 - âÂÂFocalâÂÂ) â पर उपयोग के लिए मेरे ansible- संचालित ZFS इंस्टॉल स्क्रिप्ट की लाइन द्वारा लाइन स्पष्टीकरण  यह पूर्ण/न्यूनतम नहीं है, लेकिन यह मेरे लिए काम करता है
कुछ समय पहले मैंने संलग्न HDDs और SSDs को छेड़ने के लिए Hetzner पर होस्ट किए गए अपने सभी नंगे धातु समर्पित हार्डवेयर पर ZFS का उपयोग करना शुरू कर दिया था। स्थान में बहुत सारे विकल्प हैं (मानक LVM,
युक्ति mdraid
btrfs, आदि), लेकिन मैंने ZFS को इसके फीवरसेट और एर्गोनॉमिक्स के लिए चुना।
मैं क्यों के साथ किसी को भी बोर नहीं करूंगा, लेकिन मुझे नेविगेट करने के लिए आवश्यक चीजों में से एक यह था कि उबंटू 20.04 (हेट्ज़नर में समर्थित ऑपरेटिंग सिस्टमों में से एक) पर ZFS के नए संस्करण कैसे स्थापित करें। मुझे अपने सिस्टम पर ZFS सेट करते समय कुछ मुद्दों (विशेष रूप से पोस्ट-इंस्टॉल) का सामना करना पड़ा, इसलिए मैं यह कैसे करना चाहता था, इसका एक पूर्वाभ्यास देना चाहता था।
यह पोस्ट ZFS स्थापित करने वाली मेरी Ansible लिपियों की एक छंद-दर-छंद व्याख्या है।
इससे पहले कि आप जानते हैं कि क्या ZFS (या कोई फ़ाइल सिस्टम) स्विच करने लायक है, आप शायद RTFM करना चाहते हैं। ZFS में बहुत सारी जानकारी है और मैं निश्चित रूप से इसमें विशेषज्ञ नहीं हूं, लेकिन कैसे और क्यों, साथ ही साथ शब्दावली और यहां तक कि परियोजना का इतिहास भी जानना बहुत महत्वपूर्ण है।
आरंभ करने के लिए कुछ लिंक:
ZFS के साथ (जो संभवतः यहां सबसे अज्ञात मात्रा है) आप शायद उबंटू और सामान्य सिस्टम प्रशासन से परिचित होना चाहते हैं। इसने कवर करने के लिए एक बड़ा क्षेत्र छोड़ दिया है लेकिन यहां कुछ लिंक दिए गए हैं:
यह लगभग बिना कहे चला जाता है, लेकिन यदि आप इस बिंदु पर लिनक्स सिस्टम प्रशासन से बहुत परिचित नहीं हैं, तो आपको शायद यह प्रयास नहीं करना चाहिए।
मैं व्यक्तिगत रूप से अपने डिस्क को कुछ हद तक कस्टम कॉन्फ़िगरेशन में चुनना चाहता हूं, मेरे पास RAID1 (मिररिंग) सेटअप है
mdraid, प्रत्येक डिस्क पर विभाजन के साथ जिसे मैं प्रबंधित करने के लिए ZFS को दे सकता हूं। आदर्श रूप से, मेरे पास ZFS को देने के लिए संपूर्ण डिस्क हैं लेकिन विभाजन भी काम करता है।
ओएस सेटअप (
installimage) जिसमें डिस्क सेटअप शामिल है, Hetznerà एक  के बचाव मोड से चलाया जाता है और इसे निम्न फ़ाइल के साथ निर्देशित किया जा सकता है:
# इंस्टॉलिमेज DRIVE0 /dev/nvme0n1 DRIVE1 /dev/nvme1n1 द्वारा उपयोग की जाने वाली ड्राइव घोषणाएं # सॉफ़्टवेयर RAID सक्षम करें (OS डिस्क के लिए) SWRAID 1 SWRAIDLEVEL 1 # बूटलोडर (आमतौर पर ग्रब) BOOTLOADER ग्रब # मशीन होस्टेम HOSTNAME मशीन01 # विभाजन कॉन्फ़िगरेशन भाग स्वैप स्वैप 32G भाग / बूट ext4 1G भाग / ext4 128G # यह अंतिम विभाजन बनाया जाएगा (मिटा दिया गया& बाद में ZFS के रूप में फिर से बनाया गया) PART /root-disk-remaining ext4 all # आप छवियों को निर्दिष्ट कर सकते हैं जो Hetzner अपने नेटवर्क शेयर IMAGE /root/.oldroot/nfs/images/Ubuntu-2004-focal-64-minimal.tar तक पहुंचकर उपयोग करता है। gz
यह स्पष्ट रूप से काफी हेट्ज़नर-विशिष्ट है, लेकिन ZFS के उपयोग के लिए विभाजन/ड्राइव उपलब्ध कराने के लिए आपको अपने सिस्टम पर जो कुछ भी करने की आवश्यकता है, वह करें।
zfsutils-linuxand
zfs-जेड
Ansible YAML में कदम इस तरह दिखता है:
- नाम: सभी zfs-संबंधित अपस्ट्रीम पैकेजों को होल्ड करें ansible.builtin.shell: | apt-mark होल्ड zfsutils-linux apt-mark होल्ड zfs-zed
इस पोस्ट के लेखन के रूप में का संस्करण
उबंटू फोकल में zfs-linux 0.8.3 है। चूंकि यहां हमारा लक्ष्य एक नए संस्करण को स्थापित करना और उसका उपयोग करते रहना है, इसलिए हम यह सुनिश्चित करना चाहते हैं कि कोई भी
उपयुक्त अद्यतन हमारे स्थापित संस्करण को पुराने संस्करण से प्रतिस्थापित नहीं करते हैं।
जबकि हम यहां हैं, आइए पैकेजों को भी शुद्ध करें।
- नाम: पर्ज ZFS अपस्ट्रीम (उबंटू) पैकेज अगर इंस्टॉल किया गया है तो अनदेखा करें: हाँ ansible.builtin.command: | apt purge --allow-चेंज-हेल्ड-पैकेज zfsutils-linux zfs-zed
आप डॉक्स पर पढ़ सकते हैं
क्या देखने के लिए उपयुक्त
पर्ज Ã एक Â यह हटाने के समान है लेकिन मौजूद होने पर कॉन्फ़िगरेशन फ़ाइलों को भी हटा देता है।
आप OpenZFS के लिए निर्भरताएँ स्थापित कर सकते हैं जैसे:
- नाम: ZFS ansible.builtin.apt के निर्माण के लिए आवश्यकताएँ स्थापित करें: नाम: पैकेजअपडेट_कैश: हाँ स्थिति: वर्तमान संस्करण: पैकेज: - बिल्ड-एसेंशियल - ऑटोकॉन्फ़ - ऑटोमेक - लिबटूल - गॉक - एलियन - फेकरूट - डीकेएमएस - लिबब्लकिड-देव - यूयूआईडी -देव - libudev-देव - libssl-देव - zlib1g-देव - libaio-देव - libattr1-देव - libelf-देव # नीचे दी गई रेखा 'अनाम -आर'के आउटपुट के लिए कॉल करती है, उदाहरण के लिए "5.16.5-arch1- 1"मेरे आर्च सिस्टम के लिए # इसलिए लाइन "linux-headers-5.16.5-arch1-1"जैसी किसी चीज़ का समाधान करेगी (निश्चित रूप से Ubuntu पर मान्य नहीं है, लेकिन एक उदाहरण के रूप में) - linux-headers uname_r.stdout }} - python3 - python3-देव - python3-setuptools - python3-cffi - libffi-देव - python3-पैकेजिंग - git - libcurl4-openssl-देव
कुछ निर्भरताएँ हो सकती हैं जो कड़ाई से आवश्यक नहीं हैं, लेकिन लगभग सभी की आवश्यकता होनी चाहिए।
/opt/zfs
यहाँ ZFS है:
- नाम: बनाएँ /opt/zfs ansible.builtin.file: पथ: /opt/zfs स्थिति: निर्देशिका
यदि आप ZFS डाउनलोड करना चाहते हैं:
- नाम: डाउनलोड zfs ansible.builtin.get_url: url: "httpsgithub.com/openzfs/zfs/releases/download/zfs _zfs_version zfs _zfs_version tar.gz"checksum:_zfs_tarball_sha256_checksummode: 0755 dest: "/opt/zfs/zfs _zfs_version tar .gz"यहाँ प्रतिस्थापन
{{ _zfs_संस्करण}} (
2.1.1। आप स्वयं भी डाउनलोड करना चाहेंगे और उपयोग करने के लिए एक चेकसम एकत्र/उत्पन्न करना चाहेंगे। कभी भी इंटरनेट से ऐसी सामग्री डाउनलोड न करें जिसे चेकसम के बिना बदलना नहीं चाहिए!
{{अन्सिबल टेम्प्लेटिंग सिंटैक्स है) है
और अगर आप इसे उस कंप्यूटर से कॉपी करना चाहते हैं जहां Ansible चल रहा है (मैं यही करता हूं):
- नाम: कॉपी zfs पैकेज (दर सीमा से बचें) ansible.builtin.copy: src: files/zfs/zfs _zfs_version tar.gz"मोड: 0755 dest: "/opt/zfs/zfs _zfs_version tar.gz"भले ही आप स्रोत प्राप्त करने के लिए कैसे चुनते हैं, आपको निश्चित रूप से इसे अनज़िप करने की आवश्यकता होगी:
- नाम: अनज़िप zfs कोड ansible.builtin.unarchive: src: "/opt/zfs/zfs _zfs_version tar.gz"dest: "/opt/zfs"Remote_src: हाँ
निर्माण प्रक्रिया शुरू करने के लिए:
- नाम: सेटअप और ZFS ansible.builtin.shell बनाएँ: | ./autogen../configure मेक क्लीन मेक -j args: chdir: "/opt/zfs/zfs _zfs_version
यदि आप स्रोत से चीजों के निर्माण से परिचित हैं, तो विभिन्न परियोजनाएं इस सामान्य टूलसेट का उपयोग करती हैं (कुछ संस्करण
स्क्रिप्ट बनाएं, ऑटोजेन और कॉन्फ़िगर करें)। जैसा कि आप उम्मीद कर सकते हैं कि इसमें कुछ समय लग सकता है इसलिए इसे कुछ समय दें।
ZFS के निर्माण के बाद
- नाम: ZFS ansible.builtin.shell स्थापित करें: | इंस्टाल आर्ग्स बनाएं: chdir: "/opt/zfs/zfs _zfs_version
आम तौर पर आपको लगता है कि हम * यहीं * कर लेंगे, लेकिन यह पोस्ट मौजूद है क्योंकि ऐसा करना आम तौर पर पर्याप्त नहीं है! चलो आगे प्रेस करते हैं।
यदि वे चल रहे हैं तो पहले ZFS मॉड्यूल को अनलोड करें:
- नाम: ZFS मॉड्यूल (ss) ansible.builtin.shell का फोर्स अनलोड: | ./scripts/zfs.-u तर्क: chdir: "/opt/zfs/zfs _zfs_version
जब ऐसा हो रहा हो, जैसा कि आप उम्मीद कर सकते हैं, किसी भी कार्यभार को *नहीं* चलाना आदर्श होगा।
जबकि मॉड्यूल अनलोड हैं, हम कुछ सहायकों को इंस्टाल कर सकते हैं:
- नाम: पोस्ट-इंस्टॉल ZFS हेल्पर्स ansible.builtin.shell: | ./scripts/zfs-helpers.-i तर्क: chdir: "/opt/zfs/zfs _zfs_version
सहायक स्थापित होने के बाद, आइए ZFS मॉड्यूल को फिर से लोड करें:
- नाम: ZFS मॉड्यूल का फोर्स रीलोड ansible.builtin.shell: | ./scripts/zfs.args: chdir: "/opt/zfs/zfs _zfs_version
मैंने पाया है कि निर्माण और उपयोग करना
deb मॉड्यूल (पैकेज स्थापना के लिए डेबियन द्वारा उपयोग किया जाने वाला प्रारूप) ने संस्थापन को बनाए रखने में मदद की और उबंटू पैकेज डिफॉल्ट्स द्वारा प्रतिस्थापित नहीं किया गया।
पहले सोर्स कोड से ZFS डिबेट पैकेज बनाएं:
- नाम: ZFS डिबेट पैकेज बनाएं ansible.builtin.shell: | देब आर्ग करें: chdir: "/opt/zfs/zfs _zfs_version
और फिर इसे इंस्टॉल करें
- नाम: ZFS डिबेट पैकेज स्थापित करें ansible.builtin.shell: | हाँ | dpkg -i --force-overwrite deb apt install -f -y deb args: chdir: "/opt/zfs/zfs _zfs_version
सैद्धांतिक रूप से यह कदम आवश्यक नहीं होना चाहिए (या अकेले इस्तेमाल किया जाना चाहिए), क्योंकि हम पहले से ही एक इंस्टॉल प्रक्रिया चला चुके हैं, लेकिन मैंने पाया है कि एक या दूसरे को करते समय मैं Âd में ऐसी स्थितियाँ होंगी जहाँ पुनरारंभ करना ZFS के पुराने संस्करण का उपयोग करने के लिए संकेत देगा (बावजूद
apt purge) विशेष रूप से कर्नेल स्तर पर।
modprobe
यदि आप तुरंत स्थापित किए गए ZFS मॉड्यूल को सक्षम करना चाहते हैं, तो इसका उपयोग करें
मोडप्रोब:
- नाम: Modprobe zfs मॉड्यूल ब्लॉक: - नाम: zfs कर्नेल मॉड्यूल समुदाय स्थापित करें। सामान्य.modprobe: नाम: zfs स्थिति: वर्तमान
ZFS को स्थापित करने का अर्थ है कर्नेल मॉड्यूल स्थापित करना, लेकिन चूंकि हमने इसे डायनामिक कर्नेल मॉड्यूल समर्थन के माध्यम से पूरी तरह से बेक नहीं किया है, इसलिए हमें स्थानीय रूप से स्थापित कर्नेल मॉड्यूल का उपयोग करने के लिए सक्षम करने की आवश्यकता है:
- नाम: सुनिश्चित करें कि अतिरिक्त सामने है ansible.builtin.lineinfile: पथ: /etc/modules-load.d/modules.conf regexp: '^ search'लाइन: "अतिरिक्त अपडेट ubuntu अंतर्निहित खोजें"स्थिति: वर्तमान
यह क्या करता है यह सुनिश्चित करता है कि फ़ाइल जो कर्नेल मॉड्यूल खोज पथ का प्रबंधन करती है
/etc/modules-load.d/modules.conf में एक लाइन है जो है
निर्दिष्ट अतिरिक्त अपडेट खोजें। आम तौर पर कम से कम एक पंक्ति होती है जो इससे शुरू होती है
खोजें, और हम जो करना चाहते हैं वह सुनिश्चित करें
अतिरिक्त मॉड्यूल स्थानों को प्रक्रिया में जल्दी खोजा जाता है।
हम DKMS सबसिस्टम के माध्यम से स्थापित करना चाहेंगे:
- नाम: dkms zfs ansible.builtin.shell स्थापित करें: | dkms स्थापित zfs _zfs_version}} तर्क: chdir: "/opt/zfs/zfs _zfs_version
इस बिंदु पर, आपको वर्तमान सक्रिय ZFS संस्करण की जांच करने में सक्षम होना चाहिए, और यह आपको कुछ इस तरह दिखाएगा:
root@machine01 ~ # zfs संस्करण zfs-2.1.1-1 zfs-kmod-2.1.1-1
कुछ SystemD इकाइयाँ हैं (हमेशा की तरह डिजिटल महासागर में कुछ बेहतरीन डॉक्स हैं) जो बनाए गए हैं लेकिन ZFS के उपयोग के लिए सक्षम होने की आवश्यकता है:
- नाम: सुनिश्चित करें कि zfs-संबंधित सिस्टमड इकाइयां सक्षम ब्लॉक हैं: - ansible.builtin.systemd: नाम: आइटमस्टेट: प्रारंभ सक्षम: हाँ लूप: - zfs-import-cache.service - zfs-import.target - zfs-Mount.service - zfs-share.service - zfs-zed.service - zfs-मात्रा-प्रतीक्षा.सेवा - zfs.target
लूप किए जा रहे चर चलने के समान हैं
systemd start and
systemd enable .
The security-minded reader at home is no doubt cringing into the atmosphere by now, but making sure my kernel upgrades are manual is the only way IâÂÂve found to ensure that the installed version of ZFS was not disabled/unexpectedly altered/broken by kernel upgrades:
- name: Hold all kernel upgrades to prevent custom built ZFS from doing fallback ansible.builtin.shell: | apt-mark hold linux-headers-generic apt-mark hold linux-image-generic apt-mark hold {{ uname_r.stdout }} # you'll need that `uname -r` output again here
I personally prefer to hold back any kernel upgrades and instead perform them at machine setup rather than during operation. DKMS *should* ensure that with the building of any new kernel the ZFS code is rebuilt but itâÂÂs been flaky in the past so I find it hard to trust.
Along with all the kernel changes weâÂÂve made so far (good and questionable), one thing weâÂÂll want to do is add the configuration necessary to ensure the kernel module is loaded:
- name: Ensure zfs kernel module comes up with next restart tags: [ "zfs:post-install:config" ] block: - name: Add zfs module load file ansible.builtin.template: src: templates/kernel-modules/zfs.conf.j2 dest: /etc/modules-load.d/zfs.conf owner: root group: root mode: 0644
Now that we have ZFS installed (restart once to check IâÂÂm going to leave the rest of the cluster setup to you. There are a *lot* of ways to use ZFS and setup zpools (RAID0/1/5/Z
Actually using ZFS properly is out of scope (I can only hope IâÂÂve covered *installing* it properly, at least), but please refer to the usual manuals there to set up your ZFS pool and storage requirements. Trying to cover even the basics of how to setup ZFS for your drives once itâÂÂs been installed is certainly a lot of reading so weâÂÂll leave it there for today.
This is the part where you âÂÂdraw the rest of the owlâ (sorry).
txg_timeout
While experimenting with some write modes for Postgres on ZFS, I looked into an optimization modes that involved reducing the
txg_timeout from itâÂÂs default of 5 seconds to 1 second. While I wonâÂÂt get into the tradeoffs implied by that move (please read my post on Postgres + ZFS), here is the setup that IâÂÂve used for modifying
txg_timeout per-machine (some machines might use the optimization some might not):
- name: Add systemd unit to support txg timeout customization tags: [ "zfs:post-install:config" ] block: - name: Set current ZFS txg_timeout (to 1) ansible.builtin.shell: | echo 1 > /sys/module/zfs/parameters/zfs_txg_timeout - name: install zfs-config-txg-timeout service ansible.builtin.template: src: templates/zfs-config-txg-timeout.service.j2 dest: /etc/systemd/system/zfs-config-txg-timeout.service owner: root group: root mode: 0644 - name: start & enable zfs-config-txg-timeout service ansible.builtin.systemd: name: zfs-config-txg-timeout.service state: started enabled: yes daemon_reload: yes
The template that goes with that looks like this:
[Unit] Description=Set ZFS txg_timeout After=zfs.target ConditionPathIsDirectory=/sys/module/zfs [Service] Type=oneshot RemainAfterExit=yes ExecStart=/usr/bin/bash -c 'echo {{ _zfs_txg_timeout_seconds | default(zfs_txg_timeout_seconds) }} > /sys/module/zfs/parameters/zfs_txg_timeout' # Not needed since we want it to always be whatever the setting is # ExecStop=/usr/bin/bash -c 'echo {{ _zfs_txg_timeout_seconds | default(zfs_txg_timeout_seconds) }} > /sys/module/zfs/parameters/zfs_txg_timeout' [Install] WantedBy=multi-user.target
Obviously youâÂÂll want to define
{{ _zfs_txg_timeout_seconds }} and the
zfs_txg_timeout_seconds. In general, this will make sure that the
txg_timeout is set to what you want it to be upon startup after ZFS has started.
WasnâÂÂt that easy? If youâÂÂre answering no, it wasnâÂÂt easy for me to figure out either! I spent a lot of time wondering why DKMS wasnâÂÂt working properly (which is why the hack of preventing kernel upgrades is still included) and dealing with other issues. The OpenZFS documentation is pretty great but seems to be missing a guide somewhat like this, so hopefully this post will save people some time going forward when trying to experiment with new ZFS setups on Hetzner.
Another thing IâÂÂm hoping for with this post is to be corrected â if you see something glaringly wrong in my setup, please reach out.
The more people can use low cost infrastructure providers like Hetzner, the more cool software we get and the more interesting/innovative products can be built. To that end IâÂÂm working on NimbusWS (IâÂÂm behind on this but should launch by end of Q1 2022) â if youâÂÂre interested please sign up for the service and kick the tires (free tier usage will be available).
