Как создать многотомный tar с загрузкой по ftp на лету?



@hoindex

Добрый день.
Есть несколько веб сайтов с папками содержащими большое кол-во фото/видео, с довольно редким обновлением.
На одном проекте папка весит 250 гигов, за неделю добавляется несколько файлов.
В остальном сайты довольно часто обновляются и дорабатываются, соответственно всё это нужно как-то бэкапить на удаленный FTP.
Гонять каждую ночь терабайты статичных данных не вариант, к тому же хранилище одно и не вывозит по каналу / скорости записи.
В качестве выхода решено делать раздельный бэкап, больших папок и всего остального.
Всё остальное весит 200-400 мегабайт и отлично бэкапится каждую ночь.

С большими папками вопрос пока до конца не решен.
Были разные идеи типа сканирования сайта на предмет новых файлов и загрузке только их, но там вылезают лишние сложности.
Решили остановиться на полном бэкапе раз в неделю, но и тут есть нюанс.
На серверах нет свободного места для хранения бэкапа, поэтому tar (без сжатия) предполагается лить сразу на FTP, но и тут вылезает нюанс – размер файла.
С файлом на 250 гигов могут возникнуть проблемы, поэтому его нужно разбивать на части по 2 гига например.
В рядовых случаях шлем бэкапы через curl

tar -c -C ./  site.com/big_folder | curl -T - -u username:password ftp://backup.ru/disk2/user/file.tar

Я с linux консолью “на вы” пробовал пристроить сюда | split -b 2048M и так и сяк всё никак не могу добиться результата.
Какой командой это побороть?

P.S.: Думал про монтирование удаленного ftp отдельным разделом, но ftp хранилище отключается днём, есть опасение что с этим могут быть проблемы.


Решения вопроса 1



@pfg21

сплит не работает с потоками, потому решением будет смонтировать фтп как файловую систему и сохранять туда нарезанные файлы.
—————
поставить syncthing на сервере и на хранилище.
в синхфинге хранилища включить версионирование.
т.к. это демон, то любое изменение файлов будет сразу сливаться в хранилище (“бекапиться” в версионировании).
кстати и в обратку файлики тоже прекрасно будут заливаться. удобно если еще синхфинг поставить на рабочую машину



6

комментариев


Ответы на вопрос 1



@Drno

rclone

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *