Установка, настройка и примеры синхронизации Rsync

Rsync — инструмент, используемый для создания бэкапов и восстановления данных при возникновении внештатных аварийных ситуаций. Утилита может быть установлена на тех узлах, развертка которых происходила в ручном режиме. Например, если пользователь оплатил доступ к физическому серверу у такого провайдера, как Obit, и самостоятельно развернул виртуальную машину и другие сервисы.

Дистрибутив Rsync для Linux CentOS 8 доступен в официальном репозитории операционной системы и может быть установлен с помощью следующей команды:

  • dnf -y install rsync rsync-daemon

Это автоматически установит клиентский и серверный компоненты утилиты, включая демон-процесс Rsync, позволяющий в омниканально управлять потоком данных. 

Чтобы открыть файл конфигурации для редактирования, например, с помощью редактора nano, выполните следующую команду:

  • nano /etc/rsyncd.conf

Файл содержит следующие переменные:

  • pid файл — файл, в котором система будет хранить идентификаторы процессов демона;7
  • lock file — файл, созданный для предотвращения дублирования запусков программы Rsync;
  • log файл — журнал, используемый для записи происходящих событий;
  • path — ссылка на каталог, который необходимо синхронизировать;
  • hosts allow — белый список удаленных машин, к которым разрешено подключение;
  • hosts deny — черный список хостов, которым запрещено передавать данные;
  • list — флаги для разрешения или запрета доступа к указанному каталогу;
  • uid — логин учетной записи, используемой для синхронизации;
  • gid — группа пользователей, имеющих разрешение на выполнение резервного копирования;
  • только чтение — флаг, защищающий данные от удаления или изменения;
  • комментарий — описание конфигурации.

Дополнительную информацию можно найти в документации.

В строках uid и gid рекомендуется использовать непривилегированные учетные записи (учетные записи пользователей для специализированных задач). Такой подход упрощает контроль доступа к функционалу для сотрудника и позволяет сохранить настройки при изменении обычными пользователями. После сохранения изменений в конфигурационном файле утилита готова к запуску, для чего необходимо создать указанный каталог:

  • mkdir /tmp/share

Запустить программу можно с помощью следующей команды:

  • systemctl enable —now rsyncd

Перед использованием рекомендуется настроить политики безопасности. В противном случае при обращении утилиты к хосту может возникнуть блокировка на межсетевого экрана или службы SELinux. Этого можно добиться с помощью следующей последовательности команд:

  • setsebool -P rsync_full_access on
  • firewall-cmd —add-service=rsyncd —permanent
  • firewall-cmd -reload

Текущее состояние Rsync можно проверить с помощью следующей команды:

  • systemctl status rsyncd

Синтаксис 

Общий синтаксис для Rsync следующий:

  • rsync -options <source> <destination>.

Параметры — это показатели для запуска программы, источник –- это ресурс, который является источником для синхронизации, а место назначения — это каталог-получатель, куда будут реплицированы синхронизированные файлы и каталоги.

Список опций Rsync:

  • -v, -verbose — отображает процесс синхронизации на экране.
  • -q, -quiet — подавляет вывод сообщений об ошибках.
  • -c, -checksum — сравнивает контрольную сумму файлов вместо даты, времени и размера как индикаторов изменений файлов.
  • -a, -archive — активирует поддержку архивирования данных.
  • -r, -recursive — использует рекурсивный режим для копирования каталогов.
  • -b, -backup — обновление исходных файлов и создание резервной копии.
  • -backup-dir=<каталог> — указывает место хранения резервных копий.
  • -suffix=SUFFIX — добавляет дополнительный символ к файлам резервных копий.
  • -u, -update — пропускает файлы с более поздней датой модификации.
  • -l, -links — сохраняет символические ссылки.
  • -H, hard-links — сохраняет жесткие ссылки.
  • -p, -perms — сохраняет права доступа к файлам или каталогам.
  • -E, -исполнимость — сохраняет разрешения на выполнение для файлов.
  • -chmod=<разрешения> — изменяет разрешения на указанные после копирования объекта.
  • -o, owner — сохраняет информацию о владельце исходного файла или каталога.
  • -g, group — сохраняет информацию о владельце группы исходного файла или каталога.
  • -S, -sparse — дефрагментировать данные при копировании.
  • -n, -dry-run — тестирует только канал резервного копирования.
  • -W, -whole-file — всегда копирует файлы целиком, а не только их измененные части.
  • -delete — считает файлы, отсутствующие в источнике, старыми и удаляет их.
  • -delete-before — полностью очищает принимающий каталог перед синхронизацией.
  • -max-delete=<число файлов> — ограничивает максимальное число удаляемых файлов.
  • -max-size=<размер файла> — ограничивает максимальный размер копируемых файлов.
  • -min-size=<размер файла> — ограничивает минимальный размер копируемых файлов.
  • -z, -compress — сжимать файлы при передаче на удаленный сервер.
  • -compress-level=<число> — устанавливает уровень сжатия.
  • -exclude=<имена файлов> — передает указанные файлы без архивации.
  • -exclude-from=<имя файла> — исключает список файлов из синхронизации.
  • -include=<имена файлов> — принудительная синхронизация указанных файлов.
  • -include-from=<имя файла> — синхронизирует то, что перечислено в файле.
  • -port=<порт> — выбирает порт, используемый для подключения к удаленному хосту.
  • -progress — отображает индикатор выполнения, показывающий процент завершения.
  • -log-file=<файл> — указывает местоположение файла журнала.
  • -password-file=<file> — автоматизирует доступ к системе по паролю.
  • -list-only — эмулирует синхронизацию путем отображения имен файлов.
  • -bwlimit=<число> — ограничивает скорость передачи данных (в Кбит/с).
  • -4, ipv4 — устанавливает приоритет протокола IPv4.
  • -6, ipv6 — приоритет протокола IPv6.
  • -version — отображает текущую версию утилиты Rsync.

Примеры использования

Наиболее популярные команды — копирование файлов, синхронизация целых каталогов из источников, в том числе по каналам SSH. Пользователи активно используют отображение хода операции, ограничивают скорость передачи, чтобы не забивать канал связи.

Копирование файлов

Рассмотрим в качестве примера локальное применение утилиты Rsync. В этом случае источник и приемник (речь идет о каталогах) будут принадлежать одному диску:

  • rsync -avzhHl /path/of/source/folder /path/to/destination/folder

Если вы планируете работать с удаленным узлом, то к команде необходимо добавить логин пользователя и IP-адрес (имя узла):

  • rsync -avzhHl /path/of/source/folder root@192.168.43.10:/path/to/destination/folder.

Во втором случае необходимо предварительно настроить доступ к ключу.

Синхронизация по SSH и демон Rsync

По умолчанию программа использует протокол безопасной передачи данных SSH (Rsync over SSH). Для его активации не требуется никаких дополнительных параметров. Благодаря этой функции можно получить прямой доступ к демону Rsync без использования сторонних утилит. Пример обращения:

  • rsync -avz /tmp/share rsync://192.168.43.121:/tmp/share

Просмотр хода выполнения операции

Большие объемы данных лучше передавать с визуальным контролем прогресса. Это позволит убедиться, что все файлы и каталоги действительно были синхронизированы. Пример команды для включения Rsync Progress:

  • rsync -avzhHl —progress /path/of/source/folder

root@192.168.43.10:/path/to/destination/folder

Удаление файлов во время синхронизации

По умолчанию в каталоге назначения хранятся все файлы, ранее скопированные туда. Даже те, которые пользователь давно удалил с рабочего диска как ненужные. Поэтому рекомендуется периодически удалять ненужные данные, а не уменьшать объем резервной директории. Пример команды:

  • rsync -avzhHl —delete /path/of/source/folder

root@192.168.56.1:/path/to/destination/folder

Ограничение скорости передачи данных

Часто канал связи имеет ограниченную пропускную способность, так как используется для решения ряда других задач. Или планируется использовать в ближайшем будущем. Для этого процесс копирования снижается в приоритете путем ограничения максимальной скорости обмена данными. Команда:

  • rsync -avzhHl —bwlimit=’100′ /path/of/source/folder

root@192.168.56.1:/path/to/destination/folder

Иногда выгоднее отказаться от резервного копирования больших файлов. Такой подход актуален, если они носят в основном временный характер, когда на удаленный хост передаются только результаты просчитанных проектов. Пример команды:

  • rsync -avzhHl —max-size=’100M’ /path/of/source/folder

root@192.168.43.10:/path/to/destination/folder

Использование опций include и exclude

Процесс синхронизации проходит быстрее всего, когда пользователь создает список файлов, наиболее важных для бесперебойной работы. Остальные остаются только на исходном диске. Пример указания конкретных имен:

  • rsync -avzhHl —include=’.txt’ —exclude=» /path/of/source/folder \

root@192.168.56.1:/path/to/destination/folder