Slurm Node Hariç Tutma Yapılandırması ile Küme Verimliliğini Artırın
Yüksek performanslı bilgi işlem (HPC) kümelerinde kaynak yönetimi, iş yüklerinin verimli bir şekilde yürütülmesi için kritik öneme sahiptir. Slurm gibi iş zamanlayıcıları, bu kaynakları yönetmede önemli bir rol oynar. Ancak, donanım arızaları, bakım gereksinimleri veya özel iş yükü gereksinimleri nedeniyle belirli hesaplama düğümlerinin (node’ların) zaman zaman kullanımdan kaldırılması gerekebilir. İşte bu noktada Slurm’un node hariç tutma yapılandırması devreye girer. Bu özellik, yöneticilere belirli node’ları geçici veya kalıcı olarak kullanımdan kaldırma esnekliği sağlar, böylece kümenin geri kalanı kesintisiz çalışmaya devam eder. Bu makalede, Slurm node hariç tutma yapılandırmasının inceliklerini derinlemesine inceleyeceğiz ve küme verimliliğinizi nasıl optimize edebileceğinizi göstereceğiz.
Node Hariç Tutmanın Temelleri
Node Durumlarını Anlamak
Slurm, node’ların durumunu takip etmek için çeşitli durum kodları kullanır. “ALLOCATED”, “IDLE”, “DOWN” ve “DRAINED” gibi durumlar, bir node’un kullanılabilirliğini ve iş yükü durumunu yansıtır. Slurm node hariç tutma, “DOWN” veya “DRAINED” durumlarını kullanarak node’ları iş yüklerinden korur. “DOWN” durumu, node’un tamamen kullanılamaması durumunda kullanılırken, “DRAINED” durumu, node üzerinde çalışan mevcut işlerin tamamlanmasına izin verir, ancak yeni işlerin atanmasını engeller.
Node durumlarını anlamak, doğru hariç tutma stratejisi uygulamak için çok önemlidir. Yanlış durum seçimi, beklenmeyen kesintilere veya kaynak israfına yol açabilir. Bu nedenle, her durum kodunun anlamını ve etkisini bilmek gerekir.
Node’ların durumunu kontrol etmek için “sinfo” komutu kullanılabilir. Bu komut, her node’un durumunu, kullanılabilir kaynaklarını ve diğer ilgili bilgileri listeler.
Hariç Tutma Komutları
Slurm node hariç tutma işlemi, “scontrol” komutu kullanılarak gerçekleştirilir. “scontrol update nodename=nodeismi state=DRAIN” komutu, belirtilen node’u tahliye moduna alır. Benzer şekilde, “scontrol update nodename=nodeismi state=DOWN” komutu, node’u tamamen devre dışı bırakır. Bu komutlar, belirli node’ları hızlı ve etkili bir şekilde hariç tutmak için kullanılabilir.
Hariç tutulan node’ları tekrar kullanıma almak için “state=RESUME” seçeneği kullanılır. Bu, node’un normal çalışma durumuna dönmesini sağlar ve yeni işlerin atanmasına izin verir.
Slurm node hariç tutma, küme yöneticilerine node’lar üzerinde ince ayar kontrolü sağlar. Bu kontrol, planlı bakım, donanım yükseltmeleri ve diğer operasyonel görevler için kritik öneme sahiptir.
Slurm Yapılandırma Dosyası ile Kalıcı Hariç Tutma
slurm.conf Dosyasını Düzenleme
Slurm node hariç tutma, slurm.conf yapılandırma dosyası aracılığıyla da kalıcı olarak yapılandırılabilir. Bu dosyada, “SuspendExcNodes” parametresi kullanılarak hariç tutulacak node’lar belirtilebilir. Bu parametre, virgülle ayrılmış bir node listesi alır ve bu node’ları Slurm başlatıldığında otomatik olarak hariç tutar.
slurm.conf dosyasını düzenlerken dikkatli olunmalıdır. Yanlış yapılandırma, kümenin kararsızlığına veya beklenmeyen davranışlara yol açabilir. Değişiklikleri uygulamadan önce dosyanın yedeğini almak her zaman iyi bir uygulamadır.
Kalıcı hariç tutma, uzun vadeli bakım veya kalıcı donanım arızaları gibi durumlar için ideal bir çözümdür.
SuspendExcNodes Parametresi
SuspendExcNodes parametresi, slurm.conf dosyasında hangi node’ların hariç tutulacağını belirler. Bu parametre, node adlarını, aralıklarını veya joker karakterleri kullanarak esnek bir şekilde node seçimine olanak tanır. Örneğin, “node00[1-5]” ifadesi, node001 ile node005 arasındaki node’ları hariç tutar.
SuspendExcNodes parametresini kullanarak, belirli node’ları kolayca ve kalıcı olarak hariç tutabilirsiniz. Bu, küme kaynaklarını optimize etmek ve iş yüklerini sağlıklı node’larda çalıştırmak için önemlidir.
Değişiklikleri yaptıktan sonra, slurmctld hizmetini yeniden başlatarak yeni yapılandırmanın etkinleştirildiğinden emin olun.
Node Özellikleri ile Dinamik Hariç Tutma
Node Özelliklerini Tanımlama
Slurm, node’lara özellikler atamanıza olanak tanır. Bu özellikler, node’ların donanım özelliklerini veya kullanılabilirlik durumlarını yansıtmak için kullanılabilir. Örneğin, “gpu” özelliği, GPU’ya sahip node’ları işaretlemek için kullanılabilir. “maintenance” özelliği ise bakım gerektiren node’ları belirlemek için kullanılabilir.
Node özellikleri, iş gönderiminde belirli kaynak gereksinimlerini belirtmek için kullanılabilir. Bu, işlerin doğru donanıma sahip node’larda çalıştırılmasını sağlar.
Node özellikleri, “scontrol update nodename=nodeismi Feature=değer” komutu ile atanabilir.
Özelliklere Dayalı Hariç Tutma
Slurm, node özelliklerine dayalı olarak dinamik hariç tutma yapmanıza olanak tanır. Bu, belirli bir özelliğe sahip tüm node’ları kolayca hariç tutmak için kullanılabilir. Örneğin, “maintenance” özelliğine sahip tüm node’ları hariç tutarak, bakım çalışmalarını etkilenmeden gerçekleştirebilirsiniz.
Özelliklere dayalı hariç tutma, esnek ve dinamik bir kaynak yönetimi sağlar. Node’ların durumunu ve özelliklerini izleyerek, küme kaynaklarını optimize edebilir ve iş yüklerini en uygun node’larda çalıştırabilirsiniz.
Bu özellik, iş yüklerinin belirli donanım gereksinimlerini karşılayan node’larda çalıştırılmasını sağlar, böylece performans ve verimlilik artırılır.
Hariç Tutulan Node’ların İzlenmesi
sinfo Komutu
Slurm node hariç tutma işlemi sonrasında, hariç tutulan node’ları izlemek önemlidir. “sinfo” komutu, tüm node’ların durumunu ve özelliklerini listeler. Bu komut, hangi node’ların hariç tutulduğunu ve neden hariç tutulduğunu hızlı bir şekilde görmenizi sağlar.
“sinfo” komutu, çeşitli filtreleme seçenekleri sunar. Bu seçenekler, belirli node’ları veya özellikleri listelemek için kullanılabilir. Örneğin, “sinfo -N nodeismi” komutu, belirtilen node hakkında detaylı bilgi sağlar.
Düzenli olarak “sinfo” komutunu kullanarak, küme kaynaklarınızın durumunu takip edebilir ve olası sorunları önleyebilirsiniz.
squeue Komutu
Hariç tutulan node’ların iş kuyruğu üzerindeki etkisini anlamak için “squeue” komutu kullanılabilir. Bu komut, bekleyen ve çalışan tüm işleri listeler. Hariç tutulan node’larda bekleyen işler, başka uygun node’lar bulunana kadar çalıştırılamaz.
“squeue” komutu, işlerin durumunu, kaynak gereksinimlerini ve diğer ilgili bilgileri görüntüler. Bu bilgiler, iş kuyruğunu yönetmek ve kaynak kullanımını optimize etmek için kullanılabilir.
Slurm node hariç tutma işlemi, iş kuyruğunu etkileyebileceğinden, “squeue” komutunu kullanarak işlerin durumunu izlemek önemlidir.
Sonuç
Slurm’un node hariç tutma özellikleri, küme yöneticilerine esneklik ve kontrol sağlar. Donan