PD-info;W ramach Usługi "Przetwórz na superkomputerze" dostępne są dedykowane zasoby pamięci dyskowej, zwane Przestrzenią Dyskową, na długoterminowe przechowywanie danych. W ramach PD, użytkownicy mogą przechowywać swoje dane oraz bezpośrednio dzielić je z innymi użytkownikami danej usługi.
Na superkomputerze, każda Usługa "Przetwórz na superkomputerze" posiada jeden dedykowany katalog w Przestrzeni Dyskowej, zwany katalogiem PD. Wszyscy użytkownicy danej usługi mogą korzystać z jej katalogu PD.
Dostęp do katalogów PD jest możliwy poprzez zalogownie się na superkomputer, np. za pomocą protokołu ssh lub poprzez bezpośrednie skopiowanie danych za pomocą protokołu scp (adres serwera ui.wcss.pl). Ścieżka do katalogu PD jest unikalna dla każdej z usług i po zalogowaniu na superkomputer może być wyświetlona za pomocą komendy PD-info.
Przykładowo, po skończonych obliczeniach użytkownik może przenieść swoje wyniki do katalogu PD (taką operację można zlecić również w skrypcie wsadowym sbatch), a inny użytkownik będzie mógł je bezpośrednio odczytać.
Katalogi PD znajdują się w jednym z dedykowanych systemów plików Lustre. Zasady korzystania z systemu plików Lustre dla Przestrzeni Dyskowej znadują się na stronie System plików Lustre.
Katalog PD nie służy jako tymczasowa przestrzeń do wykonywania obliczeń!
Na pliki tymczasowe przeznaczony jest dedykowany katalogTMPDIR = /lustre/tmp/slurm/$SLURM_JOB_ID, który jest tworzony wyłącznie na czas trwania danego zadania (zobacz sekcję Tymczasowa przestrzeń dyskowa na obliczenia).
PD-info;/home/$USER;* Dla usług, w przypadku których we wniosku nie sprecyzowano ilośći pamięci dyskowej na katalog Przestrzeni Dyskowej oraz dla wszystkich usług rozpoczętych przed październikiem 2023 (tj. wprowadzeniem nowej wersji platformy E-SCIENCE.PL).
Po zalogowaniu na superkomputer, podstawowe informacje na temat dostępnych katalogów PD można uzyskać za pomocą komendy PD-info:
$ PD-info
----------------------------------------------------------------
1) SERVICE NAME: "xxx"
SERVICE ID: "hpc-xxx-xxxxxxxxx"
QUOTA: 200.0 GB
USED: 69.6 kB
PD DIRECTORY: /lustre/pd01/hpc-xxx-xxxxxxxxx
LUSTRE PROJID: 229
LUSTRE FS: /lustre/pd01
----------------------------------------------------------------
2) SERVICE NAME: "xxx"
SERVICE ID: "hpc-xxx-xxxxxxxxx"
QUOTA: 200.0 GB
USED: 60.4 kB
PD DIRECTORY: /lustre/pd01/hpc-xxx-xxxxxxxxx
LUSTRE PROJID: 24
LUSTRE FS: /lustre/pd01
gdzie
SERVICE NAME - nazwa usługi;SERVICE ID - identyfikator usługi, na podstawie którego tworzone są katalogi PD;QUOTA - całkowita ilość pamięci dyskowej katalogu PD, podana w jednostkach kB, MB, GB, TB;USED - obecnie zużyta ilość pamięci dyskowej katalogu PD, podana w jednostkach kB, MB, GB, TB;PD PATH - bezwzględna ścieżka do katalogu PD;LUSTRE PROJID - unikalny numer tzw. projektu stosowany wyłącznie przez system plików Lustre, za pomocą którego system plików Lustre prowadzi klasyfikację plików. Za pomocą podanego numeru LUSTRE PROJID można np. wyświetlić więcej informacji na temat limitów dyskowych za pomocą komendy lfs quota -p <LUSTRE PROJID>;Ścieżki do katalogów PD są tworzone na podstawie identyfikatora usługi przypisanego podczas wnioskowania o nową usługę, przykładowo hpc-login-xxxxxxxxxxx. Identyfikatory można sprawdzić na platformie https://users.e-science.pl w zakładce Usługi.
Użytkownik superkomputera może przynależeć do kilku Usług "Przetwórz na superkomputerze" posiadających odrębne katalogi Przestrzeni Dyskowej. Z tego powodu nie istnieje jedna domyślna ścieżka do katalogu PD na wzór zmiennej katalogu domowego $HOME.
Katalogi PD są dostępne z poziomu superkomputera na następujących maszynach:
- serwer dostępowy (
ui.wcss.pl);- węzły obliczeniowe - możliwe jest bezpośrednie przenoszenie plików pomiędzy katalogiem domowym użytkownika (
$HOME) lub katalogiem tymczasowym przyznanym dla konkretnego zadania obliczeniowego ($TMPDIR) oraz katalogiem na PD;
Ilość wykorzystanej pamięci dyskowej katalogu PD można sprawdzić za pomocą polecenia PD-info lub bezpośrednio za pomocą komendy lfs quota (dedykowanej systemowi plików Lustre, na którym znajdują się katalogi PD):
$ lfs quota -p <LUSTRE PROJID> <FS_PATH>
gdzie
<LUSTRE PROJID> - unikalny ID projektu w systemie Lustre, który można uzyskać za pomocą komendy PD-info;<FS_PATH> - ścieżka do zamontowanego systemu plików Lustre, na którym znajduje się dany katalog PD: /lustre/pd01 lub /lustre/pd02;Polecenie
lfs quotaużywa podstawy przedrostków w systemie binarnym, tzn. k=2^10, M=2^20, G=2^30 oraz T=2^40, a nie dziesiętnym , tzn. k=10^3, M=10^6, G=10^9 oraz T=10^12.
W celu ułatwienia dostępu do katalogu PD, możliwe jest utworzenie symbolicznego linku do katalogu PD za pomocą komendy ln:
Przykładowo:
$ ln -s /lustre/pd01/hpc-xxx-xxxxxxxxxxx ~/przestrzen_dyskowa-hpc-xxx
$ ls -l ~/przestrzen_dyskowa-hpc-xxx
lrwxrwxrwx 1 xxx kdm 34 Jan 17 11:03 ~/przestrzen_dyskowa-hpc-xxx -> /lustre/pd01/hpc-xxx-xxxxxxxxxxx
W powyższym przykładzie utworzono symboliczny link-katalog ~/przestrzen_dyskowa-hpc-xxx, który będzie prowadził bezpośrednio do katalogu /lustre/pd01/hpc-xxx-xxxxxxxxxxx. Dzięki temu w prosty sposób można przejść do katalogu PD za pomocą komendy cd lub przenieść pliki za pomocą komendy cp:
$ cp file ~/przestrzen_dyskowa-hpc-xxx
W przypadku posiadania dostępu do kilku katalogów PD (gdy przynależy się do kilku Usług "Przetwórz na superkomputerze"), możliwe jest utworzenie kilku osobnych linków symbolicznych.
Wykonanie komendy cd do katalogu, który jest symbolicznym linkiem do innego katalogu, wykona tę operację poprawnie, jednakże dla użytkownika wciąż będzie podana informacja, że znajduje się w katalogu domowym ~/przestrzen_dyskowa-hpc-xxx, a nie systemie plików Lustre. Wynika to ze specyfikacji komendy cd, która domyślnie respektuje logiczne ścieżki katalogów (a nie fizycze). Aby bezpośrednio przejść do fizycznego katalogu na systemie Lustre za pomocą symbolicznego linku do katalogu, należy skorzystać z komendy cd -P. W podobny sposób działa komenda pwd.
Przykładowo:
$ cd ~/przestrzen_dyskowa-hpc-xxx
$ pwd
/home/xxx/przestrzen_dyskowa-hpc-xxx
$ pwd -P
/lustre/pd01/hpc-xxx-xxxxxxxxxxx
$ cd -P ~/przestrzen_dyskowa-hpc-xxx
$ pwd
/lustre/pd01/hpc-xxx-xxxxxxxxxxx
Właściciel Usługi "Przetwórz na superkomputerze" precyzuje ilość potrzebnej pamięci dyskowej dla katalogu PD podczas składania wniosku o usługę za pośrednictwem strony https://e-science.pl. W przypadku, gdy przyznana ilość pamięci dyskowej na katalog PD okaże się niewystarczająca, Własciciel usługi może złożyć wniosek o zwiększenie zasobów, w tym pamięci dyskowej na katalog PD, za pomocą portalu https://e-science.pl.
Instrukcja składania wniosków o zwiększenie zasobów znajduje się w dokumentacji Wnioski o przedłużenie lub zwiększenie zasobów aktywnej usługi.
Składanie wniosków o nowe Usługi (i modyfikacja już istniejących) dostępne jest po przypisaniu afiliacji naukowej do konta E-SCIENCE.PL przez Właściciela Usługi (instrukcja dodawania afiliacji za pomocą portalu https://users.e-science.pl/).