Jak Szybko Kopiować Miliony Plików w Linuxie

Wyzwania związane z kopiowaniem wielu małych plików

Głównym problemem przy kopiowaniu milionów małych plików nie jest sama przepustowość dysku, lecz liczba operacji wejścia/wyjścia (IOPS) oraz narzut związany z tworzeniem i modyfikowaniem metadanych dla każdego pliku. System musi otwierać, zamykać, tworzyć wpisy w katalogach i aktualizować informacje o każdym pliku, co sumarycznie zajmuje dużo czasu.

Skuteczne narzędzia i metody

1. Rsync – wszechstronność i efektywność

rsync to jedno z najpotężniejszych narzędzi do synchronizacji i kopiowania plików w Linuxie. Choć często kojarzone z synchronizacją zdalną, doskonale sprawdza się również w lokalnym kopiowaniu, zwłaszcza gdy chcemy kopiować tylko zmienione pliki lub zachować atrybuty. Dla milionów plików, kluczowe jest użycie odpowiednich opcji:

rsync -aH --info=progress2 --no-o --no-g --no-p /sciezka/zrodlowa/ /sciezka/docelowa/

• -a: Tryb archiwizacji (zachowuje uprawnienia, właściciela, grupę, czasy, linki symboliczne).
• -H: Zachowuje twarde linki.
• --info=progress2: Wyświetla ogólny postęp transferu.
• --no-o, --no-g, --no-p: Wyłącza zachowywanie właściciela, grupy i uprawnień, co może przyspieszyć operacje, jeśli nie są one krytyczne.

rsync jest szczególnie przydatny, gdy kopiujemy pliki między różnymi systemami plików lub gdy chcemy wznowić przerwane kopiowanie.

2. Tar i Cpio – archiwizacja jako metoda kopiowania

Jedną z najszybszych metod kopiowania wielu małych plików jest spakowanie ich do jednego dużego archiwum, a następnie rozpakowanie w miejscu docelowym. Operacje na jednym dużym pliku są znacznie szybsze niż na milionach małych. Narzędzia takie jak tar i cpio są do tego idealne.

Użycie tar:

tar -cf - /sciezka/zrodlowa/ | tar -xf - -C /sciezka/docelowa/

Ta komenda tworzy archiwum tar ze wszystkich plików w katalogu źródłowym i przesyła je potokiem (|) bezpośrednio do drugiego polecenia tar, które rozpakowuje je w katalogu docelowym. Jest to bardzo efektywne, ponieważ dane nie są zapisywane na dysku jako tymczasowe archiwum.

Użycie cpio:

find /sciezka/zrodlowa -print0 | cpio -pmd0 /sciezka/docelowa

cpio jest często szybsze od tar w przypadku bardzo dużej liczby małych plików, ponieważ jest zoptymalizowane pod kątem przetwarzania strumieniowego. Opcja -print0 z find i -0 z cpio zapewnia bezpieczne przetwarzanie nazw plików zawierających spacje lub znaki specjalne.

3. Kopiowanie równoległe z xargs i parallel

W przypadku systemów z wieloma rdzeniami procesora, można wykorzystać równoległe kopiowanie plików. Narzędzia takie jak xargs (z opcją -P) lub GNU parallel pozwalają na uruchamianie wielu procesów kopiowania jednocześnie.

Użycie xargs:

find /sciezka/zrodlowa -maxdepth 1 -type f -print0 | xargs -0 -P 4 -I {} cp {} /sciezka/docelowa/

Ta komenda znajdzie pliki w katalogu źródłowym i przekaże je do xargs, który uruchomi 4 równoległe procesy cp. Opcja -maxdepth 1 ogranicza wyszukiwanie do bieżącego katalogu, aby uniknąć problemów z rekurencją.

Użycie GNU parallel:

find /sciezka/zrodlowa -maxdepth 1 -type f -print0 | parallel -0 -j 4 cp {} /sciezka/docelowa/

parallel oferuje podobną funkcjonalność, często z bardziej zaawansowanymi opcjami zarządzania zadaniami i raportowania postępu.

Porównanie metod

Wybór odpowiedniej strategii

Wybór najlepszej metody zależy od konkretnego scenariusza:

• Jeśli kopiujesz pliki po raz pierwszy i masz miliony małych plików, a szybkość jest priorytetem, rozważ użycie tar lub cpio.
• Jeśli potrzebujesz synchronizować katalogi, kopiować przyrostowo lub kopiować zdalnie, rsync jest niezastąpiony.
• Jeśli Twój serwer ma wiele rdzeni i chcesz zrównoleglić operacje na plikach, xargs lub parallel mogą znacząco pomóc.