วิธีตั้งค่า DM-Multipath บน SLES 15: คู่มือภาคปฏิบัติ

เลือกสแต็กมัลติพาธที่เหมาะสมก่อน

ใน SUSE Linux Enterprise Server 15 นั้น Device Mapper Multipath (DM-Multipath) เป็นตัวเลือกมาตรฐานสำหรับหน่วยเก็บข้อมูล SCSI และ DASD ที่นำเสนอผ่านหลายเส้นทาง โดยจะรวมเส้นทางที่ตรงกันเข้ากับอุปกรณ์บล็อกเชิงตรรกะเดียว ตรวจสอบสถานะของเส้นทาง และสามารถสลับการทำงานระหว่างกลุ่มเส้นทางได้ มันช่วยปกป้องการเชื่อมต่อกับวอลุ่มเก็บข้อมูล แต่ไม่ได้ป้องกันความเสียหายของวอลุ่ม การสูญเสียข้อมูลของคอนโทรลเลอร์ หรือความเสียหายของระบบไฟล์

NVMe ใช้ค่าเริ่มต้นที่แตกต่างออกไป: SLES 15 เปิดใช้งานการทำ multipathing ของ NVMe ในเคอร์เนลโดยตรง สำหรับ NVMe over Fabrics โปรดตรวจสอบให้แน่ใจว่าการทำ multipathing ของ NVMe โดยตรงเป็น stack ที่ต้องการสำหรับ subsystems ของคุณก่อนที่จะทำตามขั้นตอน DM-Multipath SUSE แนะนำให้ใช้การทำ multipathing ของ NVMe โดยตรง และระบุว่าไม่แนะนำให้ใช้ DM-Multipath สำหรับ NVMe โปรดดูคู่มือ multipath ของ SLES 15 SP7และคู่มือNVMe over Fabrics ของ SUSE

ก่อนที่คุณจะเปลี่ยนโฮสต์

• ตรวจสอบให้แน่ใจว่าอุปกรณ์จัดเก็บข้อมูล, HBA หรือระบบขนส่งเครือข่าย และเวอร์ชัน SLES รองรับการใช้งานร่วมกัน ปฏิบัติตามการตั้งค่ามัลติพาธของ Linux ตามที่ผู้ผลิตอุปกรณ์จัดเก็บข้อมูลกำหนดไว้ หากการตั้งค่าแตกต่างจากค่าเริ่มต้นทั่วไป
• ให้ผู้ดูแลระบบจัดเก็บข้อมูลนำเสนอ LUN ให้กับโฮสต์ผ่านเครือข่ายที่กำหนดไว้ และยืนยันการกำหนดโซนและการซ่อน LUN
• บันทึกโครงสร้างการบูตและการจัดเก็บข้อมูลปัจจุบัน ตรวจสอบว่าระบบไฟล์รูท สวอป หรือวอลุ่มทางกายภาพ LVM อยู่บนที่เก็บข้อมูล SAN หรือไม่
• ห้ามทำการเมานต์ ฟอร์แมต เพิ่มไปยัง LVM หรือเขียนข้อมูลลงในอุปกรณ์พาธแต่ละตัวโดยตรง ต้องใช้ LUN เดียวกันผ่านแผนที่มัลติพาธเท่านั้น การใช้พาธแบบดิบพร้อมกันอาจทำให้ข้อมูลเสียหายได้
• ควรจัดเตรียมการเข้าถึงคอนโซลหรือการเข้าถึงนอกแบนด์ก่อนที่จะเปลี่ยนแปลงการกำหนดค่าการบูต SAN ความไม่ตรงกันระหว่างระบบที่กำลังทำงานอยู่กับ initramfs อาจทำให้โฮสต์เข้าสู่โหมดฉุกเฉินได้

1. ตรวจสอบว่า Linux มองเห็นเส้นทางจัดเก็บข้อมูลแล้ว

ขั้นแรก ตรวจสอบให้แน่ใจว่า HBA หรือ iSCSI transport ได้ล็อกอินแล้ว และ SLES มองเห็นอุปกรณ์บล็อกที่คาดหวังไว้ สำหรับอุปกรณ์จัดเก็บข้อมูล SCSI ให้ตรวจสอบอุปกรณ์และตัวระบุของอุปกรณ์เหล่านั้น:

sudo lsblk -o NAME,TYPE,SIZE,MODEL,SERIAL

การตรวจสอบนี้จะยืนยันว่าอุปกรณ์บล็อกขนาด LUN ที่คาดไว้ปรากฏให้เห็นหรือไม่ ในขั้นตอนนี้ อย่าคิดว่าชื่ออุปกรณ์ที่แยกจากกันจะหมายถึงวอลุ่มจัดเก็บข้อมูลที่แยกจากกัน ขั้นตอนต่อไปคือการตรวจสอบ WWID และจัดกลุ่มเส้นทางที่ตรงกัน

หากไม่พบเส้นทางที่คาดหวัง ให้หยุดที่นี่และแก้ไขปัญหาการค้นหาก่อน ตรวจสอบการมองเห็น HBA เซสชัน iSCSI หรือการเข้าสู่ระบบ Fibre Channel การกำหนดโซน SAN การซ่อน LUN และขั้นตอนการสแกนใหม่ของผู้จำหน่ายอุปกรณ์จัดเก็บข้อมูล Multipath ไม่สามารถสร้างเส้นทางที่เลเยอร์การขนส่งไม่ได้เปิดเผยได้

2. ติดตั้งและเริ่มต้นบริการมัลติพาธ

ติดตั้งแพ็คเกจ SUSE หากยังไม่มีอยู่ จากนั้นเปิดใช้งาน daemon เพื่อให้มีการสร้างแผนที่เมื่อบูตเครื่อง:

sudo zypper install multipath-tools
sudo systemctl enable --now multipathd
sudo systemctl status multipathd

แพ็คเกจ นี้multipath-toolsมีเครื่องมือบรรทัดคำสั่ง multipath และmultipathdบริการให้ใช้งาน SUSE แนะนำให้เปิดใช้งานและเรียกใช้บริการนี้บนระบบที่มีฮาร์ดแวร์ multipath การพึ่งพาการเปิดใช้งานซ็อกเก็ต systemd เพียงอย่างเดียวอาจทำให้แผนที่ไม่ได้ตั้งค่าระหว่างการบูต เมื่อ daemon ทำงานแล้ว ให้เปรียบเทียบ WWID และข้อมูลประจำตัวของเส้นทาง:

sudo multipathd show paths format "%i %d %w %s"
sudo multipath -ll

เส้นทางไปยัง LUN เดียวกันจะต้องรายงาน WWID เดียวกัน WWID ที่แตกต่างกันแสดงถึงอุปกรณ์ที่แตกต่างกัน และไม่ควรนำมารวมกันในแผนที่เดียวกัน

สำหรับอาร์เรย์จำนวนมาก การตั้งค่าเริ่มต้นของฮาร์ดแวร์ที่ติดตั้งมานั้นเพียงพอแล้ว ไม่จำเป็นต้องสร้างไฟล์การกำหนดค่าขนาดใหญ่เพียงเพื่อเปิดใช้งานมัลติพาธ

3. เพิ่มเฉพาะการตั้งค่าที่จำเป็นเท่านั้น

ใช้/etc/multipath.confเฉพาะเมื่อคุณมีความต้องการที่ชัดเจน เช่น ชื่อเรียกแทนที่เป็นมิตรและเสถียร หรือการตั้งค่าที่ผู้จำหน่ายกำหนด เครื่องมือ multipath ระบุเส้นทางด้วย WWID; ชื่อเรียกแทนแผนที่คือชื่อที่กำหนดค่าได้แยกต่างหาก สามารถกำหนดค่าชื่อเรียกแทนต่ออุปกรณ์ได้ดังนี้:

multipaths {
    multipath {
        wwid 3600EXAMPLE_REPLACE_WITH_THE_REAL_WWID
        alias appdata01
    }
}

แทนที่ WWID ตัวอย่างด้วยตัวระบุที่ถูกต้องซึ่งรายงานสำหรับ LUN นั้น อย่าคัดลอกตัวยึดตำแหน่งหรือสร้างกฎของผู้จำหน่าย/ผลิตภัณฑ์ขึ้นเอง SUSE แนะนำให้รักษาการกำหนดค่าให้น้อยที่สุด และผู้จำหน่ายอุปกรณ์จัดเก็บข้อมูลควรจัดหาการปรับแต่งเฉพาะสำหรับอาร์เรย์นั้นๆ คุณสมบัติของอุปกรณ์ในตัวอาจมีความสำคัญเหนือกว่าค่าทั่วไปในdefaultsส่วนนี้ ดังนั้นค่าเริ่มต้นทั่วไปอาจไม่เปลี่ยนแปลงพฤติกรรมของอาร์เรย์ใดๆ

หากคุณต้องการเทมเพลตอ้างอิงฉบับเต็ม เอกสารของ SUSE มีวิธีmultipath -Tการสร้างเทมเพลตนั้น ตัวอย่างเช่น เชลล์ root สามารถบันทึกเทมเพลตได้ด้วยคำสั่ง `docker run` sudo sh -c 'multipath -T > /etc/multipath.conf'เทมเพลตนั้นมีคำสั่งมากมาย โปรดตรวจสอบและเก็บเฉพาะการตั้งค่าที่คุณต้องการจัดการเท่านั้น

4. ทดสอบและใช้งานการตั้งค่า

ก่อนที่จะเปลี่ยนแปลงแผนที่แบบเรียลไทม์ โปรดขอให้ Multipath แสดงโทโพโลยีที่จะเกิดขึ้นด้วยการตั้งค่าที่เสนอ:

sudo multipath -d -v2

ตรวจสอบ WWID และการจัดกลุ่มเส้นทางก่อนดำเนินการต่อ การทดลองนี้แสดงแผนผังที่เสนอ แต่ไม่ได้แสดงแผนผังทั้งหมดที่อาจถูกลบหรือล้างออก หากโปรแกรมดีมอนทำงานอยู่แล้ว ให้ใช้การกำหนดค่าผ่านโปรแกรมดีมอนแทนการใช้คำสั่ง multipath แบบสแตนด์อโลนเพื่อใช้การตั้งค่าใหม่:

sudo multipathd reconfigure

จากนั้นตรวจสอบผลลัพธ์แบบเรียลไทม์ด้วยsudo multipath -llหรือsudo multipathd show topologyคู่มือของ SUSE ระบุว่ามุมมองเหล่านี้โดยปกติจะแสดงโครงสร้างเดียวกัน โดยมุมมองหนึ่งแสดงสถานะของเคอร์เนล และอีกมุมมองหนึ่งแสดงสถานะของเดมอน

5. รักษาความสอดคล้องของ initramfs

หลังจากเปลี่ยนแปลง/etc/multipath.confWWID หรือไฟล์การผูกข้อมูล การกำหนดค่าที่เกี่ยวข้อง หรือกฎ udev ที่ส่งผลต่อการระบุอุปกรณ์แล้ว ให้สร้าง initramfs ใหม่:

sudo dracut -f

SUSE กำหนดให้ระบบที่บูตและ initramfs ต้องทำงานสอดคล้องกันในเรื่องการใช้งานมัลติพาธ โดยเฉพาะอย่างยิ่งเมื่อระบบไฟล์รูทอยู่บนอุปกรณ์ SAN ที่รองรับมัลติพาธ ก่อนที่จะรีบูตโฮสต์ที่บูตจาก SAN ให้ตรวจสอบว่าแผนที่ที่ต้องการนั้นมองเห็นได้ และการกำหนดค่ารวมถึงการรองรับพื้นที่จัดเก็บข้อมูลที่จำเป็น หากทำการสร้าง initramfs ใหม่จากสภาพแวดล้อมการกู้คืน หรือหลังจากบูตโดยปิดใช้งานมัลติพาธ ให้ปฏิบัติตาม ขั้นตอน dracut --add multipathที่ SUSE กำหนดไว้อย่างชัดเจน --omit multipathแทนที่จะสันนิษฐานว่าการตรวจจับอัตโนมัติจะตรงกับการบูตปกติ

6. ตรวจสอบแผนที่ก่อนใช้งาน

แผนผังเส้นทางที่ใช้งานได้ปกติควรแสดง WWID ที่คาดหวัง รหัสผู้ผลิต/ผลิตภัณฑ์ กลุ่มเส้นทาง และเส้นทางแต่ละเส้น ในคอลัมน์สถานะเส้นทางactiveจะแสดงสถานะเส้นทางเคอร์เนลreadyจะแสดงเส้นทางมัลติพาธที่ใช้งานได้ปกติ และrunningจะแสดงสถานะอุปกรณ์ SCSI อาร์เรย์ที่มีคอนโทรลเลอร์แบบแอคทีฟ/พาสซีฟอาจแสดงเส้นทางพาสซีฟเป็นghost; ให้ตีความสถานะนั้นโดยใช้นโยบายเส้นทางของอาร์เรย์แทนที่จะถือว่าเป็นข้อผิดพลาดโดยอัตโนมัติ

ใช้แผนที่แบบหลายเส้นทางหรือการอ้างอิงแบบถาวรตามรหัสในการกำหนดค่าพื้นที่จัดเก็บข้อมูลในภายหลัง อย่าจัดเก็บระบบไฟล์ LVM หรือข้อมูลแอปพลิเคชันไว้ใน/dev/sdXเส้นทางเดียว การอ้างอิงที่เสถียรสามารถอิงตาม WWID ของแผนที่/dev/mapperหรือลิงก์ที่เกี่ยวข้อง/dev/disk/by-id/dm-uuid-mpath-WWIDได้ หลีกเลี่ยงการสันนิษฐานว่าชื่อแทน เช่นmpathaจะยังคงถูกกำหนดไว้เว้นแต่คุณจะกำหนดค่าไว้โดยเจตนา

คู่มืออ้างอิงฉบับย่อ

การแก้ไขปัญหาเมื่อแผนที่หายไปหรือทำงานผิดปกติ

• ไม่พบเส้นทางใดๆ:โปรดยืนยันการเข้าสู่ระบบการขนส่ง การค้นหา HBA การกำหนดโซน การซ่อน LUN และการค้นหาอุปกรณ์เคอร์เนลก่อนแก้ไขกฎมัลติพาธ
• LUN จะปรากฏเป็นดิสก์แยกกัน:ให้เปรียบเทียบ WWID หากแตกต่างกัน ให้ตรวจสอบว่าที่เก็บข้อมูลได้แสดง LUN เดียวกันตามที่ต้องการผ่านแต่ละเส้นทางหรือไม่ หากตรงกันแต่ไม่ปรากฏแผนที่ ให้ตรวจสอบสถานะของเดมอนและนโยบายการเลือกอุปกรณ์
• เส้นทางหนึ่งอาจมีปัญหาหรือออฟไลน์:ตรวจสอบสายเคเบิลหรือโครงสร้างเครือข่าย พอร์ต HBA พอร์ตสวิตช์ ตัวควบคุมเป้าหมาย และบันทึกเหตุการณ์ของอาร์เรย์ อย่าปรับแต่งตัวจับเวลาการตรวจสอบหรือตัวจับเวลาความล้มเหลวโดยไม่ได้รับคำแนะนำจากผู้จำหน่ายอุปกรณ์จัดเก็บข้อมูล
• หลังจากเปลี่ยนการบูต ระบบจะเข้าสู่โหมดฉุกเฉิน:ตรวจสอบการเลือกมัลติพาธที่ไม่สอดคล้องกันและการอ้างอิงอุปกรณ์ จากนั้นใช้ขั้นตอนการกู้คืนของ SUSE สำหรับอุปกรณ์รูทและ initramfs
• การทำงานของ I/O หยุดชะงักเมื่อทุกเส้นทางล้มเหลว:การเขียนข้อมูลที่อยู่ในคิวอาจทำให้แอปพลิเคชันต้องรอ ควรพิจารณานโยบายการจัดคิวเป็นการตัดสินใจเชิงปฏิบัติการร่วมกับเจ้าของพื้นที่จัดเก็บข้อมูลและแอปพลิเคชัน การเปลี่ยนแปลงนโยบายนี้อาจทำให้การเขียนข้อมูลที่รออยู่กลายเป็นการรายงานข้อผิดพลาด I/O ได้

อย่าทดสอบการสลับระบบสำรองโดยการตัดการเชื่อมต่อเส้นทางการผลิตโดยไม่มีแผนการบำรุงรักษาและขั้นตอนที่ได้รับการอนุมัติจากผู้จำหน่าย ยืนยันการกู้คืนผ่านการตรวจสอบที่ได้รับการสนับสนุนและช่วงเวลาทดสอบที่ควบคุมได้ สำหรับค่าเริ่มต้นเฉพาะอาร์เรย์และขั้นตอนการกู้คืน ให้ใช้เอกสารปัจจุบันของผู้จำหน่ายฮาร์ดแวร์ควบคู่ไปกับเอกสารอ้างอิงการกำหนดค่า การตรวจสอบ และการแก้ไขปัญหาแบบมัลติพาธของ SUSE