$Id: README 55 2014-09-05 12:29:13Z abalama $ App::MBUtiny v1.04 and later This document written in Windows-1251 charset ============================================= КОРОТКО О ПРОЕКТЕ ----------------- App::MBUtiny - готовое решение для работы с резервными копиями ваших сайтов, баз данных и просто данных на жестком диске. App::MBUtiny создан как продолжение развития двух ранних проектов - mbu и mbutiny. ВОЗМОЖНОСТИ ----------- - Резервное копирование веб-сайтов (контент) и отдельных файлов/папок - Резервное копирование небольших баз данных - Запуск внешних скриптов и команд для последуюшего резервного копирования результата их работы - Хранение резервных копий одновременно на локальных дисках, или удаленных FTP/HTTP хранилищах - Быстрая настройка путем простого редактирования конфигурационных файлов - Установка проекта средствами CPAN или в ручном режиме через make install ЗАВИСИМОСТИ ----------- Перед началом установки, Вам необходимо проверить наличие следующих пакетов, установленных в Вашей системе где будет "работать" App::MBUtiny: - gcc последней версии - perl v5.10 или выше (рекомендуется не ниже v5.12) - libwww (p5-libwww / perl-libwww) - libnet - zlib Если Вы планируете использовать коллектор, то для работы потребуется наличие WEB сервера Apache 2.2 или выше. Сервер должен быть настроен на выполнение CGI (perl) скриптов. УСТАНОВКА --------- Установка выполняется двумя путями. Первый - автоматизированный; второй - ручной. В автоматизированном режиме для установки достаточно выполнить команду: # cpan install App::MBUtiny или (для ActivePerl): # ppm install App-MBUtiny В ручном режиме Вам потребуется выполнить следующий набор операций: - Скачать дистрибутив с CPAN или официальный релиз с сайта SourceForge: https://metacpan.org/pod/App::MBUtiny http://search.cpan.org/~abalama/ https://sourceforge.net/projects/app-mbutiny/ - Разархивировать полученный архив, и перейти в извлеченную папку с помощью консоли - Находясь в извлеченной папке выполнить последовательно следующие команды: perl Makefile.PL make make test make install В процессе установки система предложит установить необходимые модули (пакеты), зависимых модулей не так много и большая часть уже установлена на Вашей системе. ИНИЦИАЛИЗАЦИЯ ------------- Процесс инициализации активирует работу приложение mbutiny (далее просто mbutiny). Это приложение является интерфейсом системной оболочки и предоставляет доступ к функциональным возможностям модуля App::MBUtiny. В процессе инициализации будут созданы необходимые директории и конфигурационные файлы. Для инициализации следует выполнить следующую команду: # mbutiny config Если Вы желаете устанавливать конфигурационные файлы в свой каталог, то следует запустить инициализатор с ключем -c DIRECTORY/mbutiny.conf: # mbutiny -c /my/config/files/mbutiny.conf config Данная инструкция "развернет" конфигурационные файлы в каталоге /my/config/files КОНФИГУРАЦИЯ ------------ Большое внимание следует уделить конфигурации. Именно правильное настроенное приложение гарантирует корректную работу всего приложения. В процессе инициализации Вам был показан на экране консоли путь, по которому располагаются конфигурационные файлы. Этот конфигурационный каталог содержит по умолчанию файлы: extra/arc.conf extra/collector.conf extra/sendmail.conf hosts/host-foo.conf.sample collector.cgi.sample mbutiny.conf Главным конфигурационным файлом является файл mbutiny.conf. Он содержит глобальные определения и определяет какие дополнительные файлы будут прочитаны и использоваться. Файл collector.cgi.sample содержит в себе пример скрипта коллектора (о нем будет сказано в разделе КОЛЛЕКТОР). Сам коллектор для своей работы использует единственный конфигурационный файл extra/collector.conf. Файл extra/arc.conf содержит определения для запуска внешних архиваторов; extra/sendmail.conf содержит определения для отправки электронной почты по умолчанию. Файл hosts/host-foo.conf.sample является своим образом образцом того, как выглядит работающий хост. Хост - это условный термин, определящий набор правил резервного копирования объявленных объектов. Файл хоста состоит из отдельных опредлений и блоков (секций). Некоторые блоки могут быть указаны в количестве более чем один, об этом будет сказано ниже. mbutiny.conf ~~~~~~~~~~~~ Как уже упоминалось выше, файл mbutiny.conf содержит глобальные определения. LogEnable on LogEnable off Директива позволяет включить или выключить логирование процессов mbutiny. По умолчанию - off LogLevel warning Директива определяет уровень отладки. Существует следующий набор уровней отладки: debug, info, notice, warning, error, crit, alert, emerg, fatal, except. По умолчанию используется значение debug Всю отладочную информацию mbutiny записывает в файл mbutiny.log системного каталога журнальных файлов, например: /var/log/mbutiny.log В случае запуска программы mbutiny с параметром -l помимо файла mbutiny.log будет записываться файл системного лога - mbutiny_debug.log. Данный файл нужен для детальной отладки работы зависимых компонентов App::MBUtiny. BUday 3 BUday определяет количество ежедневных архивов. Это количество хранимых последних ежедневных архивов BUweek 3 BUweek определяет количество еженедельных архивов. Это Количество хранимых последних еженедельных архивов. Еженедельными архивами считаются те ежедневные архивы, которые были созданы в воскресенье. BUmonth 3 BUmonth определяет количество ежемесячных архивов. Это Количество хранимых последних ежемесячных архивов. Ежемесячными архивами считаются те ежедневные архивы, которые были созданы первого числа каждого месяца. SendReport yes SendReport no Директива SendReport указывает, что после выполнения операций резервного копирования и тестирования необходимо отправить детальный отчет на адрес электронной почты, определенный в конфигурационном файле extra/sendmail.conf. По умолчанию - no SendErrorReport yes SendErrorReport no Данная директива заставляет отправлять отчеты о работе только в момент возникновения каких либо ошибок, связанным с некорректной работой процесса резервного копирования или тестирования. По умолчанию - no extra/sendmail.conf ~~~~~~~~~~~~~~~~~~~ Файл содержит блок определений ... с определеними для отправки отчета по электронной почте. Названия директив соответствуют полям протокола SMTP, за исключением следующих полей: TestMail test@example.com Директива заставляет отправлять отчет на адрес test@example.com в случае запуска приложения с ключом -t ErrorMail error@example.com Директива застравляет отправлять отчет об ошибках на адрес error@example.com в случае установленной директивы SendErrorReport yes Sendmail /usr/sbin/sendmail Flags -t Директива Sendmail определяет альтернативное SMTP приложение, отправлющее письмо. Запуск приложения проходит с ключом -t, определенного директивной Flags SMTP 192.168.0.1 SMTPuser user SMTPpass password Данные директивы определяют параметры соединения с SMTP сервером для отправки сообщения. Параметр SMTPuser и SMTPpass необязательны. ... Блок (а их может быть указано несколько) определяет файл, который следует включить в отчет extra/arc.conf ~~~~~~~~~~~~~~ Секция работы с архивами. Подробное описание см. в модуле CTK. В этой секции определяются основные настройки работы с архивами, каждое значение любого параметра обрабатывается единым механизмом обработки маски. Ключи в маске могут быть использованы следующие: Для случая извлечения файлов из арива: FILE -- Полное имя файла с путем FILENAME -- Только имя файлов архивов DIRSRC -- Каталог поиска имен файлов DIRIN -- = DIRSRC DIRDST -- Каталог для исзвлечения содержимого архивов DIROUT -- = DIRDST LIST -- Список файлов в архиве, через пробел Для случая сжатия файлов используется следеющий набор ключей: FILE -- Полное имя выходного файла архива с путем DIRSRC -- Каталог поиска имен файлов и подкаталогов для сжатия DIRIN -- = DIRSRC LIST -- Список файлов для сжатия, через пробел Для примера можно рассмотреть блок работы с архиватором tar # Начало именованной секции. Имя, как правило, это расширение файлов архива type tar # Тип архива, его версия имени ext tgz # Расширение файлов архива create tar -zcpf [FILE] [LIST] # Команда для создания архива extract tar -zxpf [FILE] [DIRDST] # Команда для извлечения файлов из архива list tar -ztf [FILE] # Команда для получения списка файлов в архиве nocompress tar -cpf [FILE] # Команда для упаковки файлов без сжатия extra/collector.conf ~~~~~~~~~~~~~~~~~~~~ Файл содержит блок определений для сервера коллектора ... Сервер коллектора подробно рассматривается в разделе КОЛЛЕКТОР. Блок ... содержит определения для соединения с БД (блок ...) и необязательную директиву DataDir. DataDir "/var/data/mbutiny" Директива содержит путь для хранения файлов резервных копий (HTTP хранилища). По умолчанию - корневой катлог сервера коллектора (DOCUMENT_ROOT) hosts/host-*.conf ~~~~~~~~~~~~~~~~~ Файлы с маской host-*.conf содержат определения дла хостов. Каждый файл host-*.conf должен определяться блоком .... Где name - уникальное имя хоста. Имя хоста принято выбирать таким образом, чтобы оно подсказывало на тот тип и группу объектов, которые подверглись резервному копированию. Помимо этого уникальность обеспечивает стабильность работы коллектора, если Вы используете его для работы. Enable yes Enable no Включение или выключение хоста. Аттрибут влияет на обработку хоста. Если атрибут установлен, то обработка хоста выполнится, иначе хост игнорируется. По умолчанию хост игнорируется. Но следует заметить, что наличие в секции ... директивы Enable обязательно! Иначе, возможны ошибки в обработке других хостов. SendReport no SendErrorReport yes Директивы управляют отправкой отчетов в рамках данного хоста. Данные для отправки берутся из внутренней секции ... или, если не указана данная внутренняя секция, из файла extra/sendmail.conf, описанного выше. ArcName zip Имя секции ... файла extra/arc.conf. По умолчанию определены архивы с именами: tar, tgz, gz, zip, bz2, rar. По умолчанию ArcName принимает значение tar - архиватор Tape ARchive (TAR) ArcMask [HOST]-[YEAR]-[MONTH]-[DAY].[EXT] Маска файлов архивов. ArcMask указывает на то, по какому формату (маске) хранить архив результативного бэкапа. Маски файлов могут иметь сложный вид, но по умолчанию используется маска вида: [HOST]-[YEAR]-[MONTH]-[DAY].[EXT] Ключи маски могут быть использованы следующие: DEFAULT -- Значение соответствующее формату [HOST]-[YEAR]-[MONTH]-[DAY].[EXT] HOST -- Имя секции хоста YEAR -- Год создания архива MONTH -- Месяц создания архива DAY -- День создания архива EXT -- Расширение файла архива TYPE -- Тип архива Настоятельно советуем выбирать маску таким образом, чтобы при строковом сравнении даты создания файлов были "выровнены" относительно дат, определенные ключами. Это условние исключит возможные проблемы при автоматическом определении последне-созданных архивов. По умолчанию в качестве разделителей полей маски используется знак тире. когда как в практике зачастую применяется следующая маска: [HOST].[YEAR][MONTH][DAY].[EXT] Но несмотря на это мы рекомендуем использовать маску по умолчанию, вида: ArcMask [DEFAULT] Параметры количеств хранимых архивов BUday, BUweek и BUmonth были описаны в файле глобальных определений mbutiny.conf. По умолчанию используются следующие предустановленные значения: BUday 3 BUweek 3 BUmonth 3 В случае, если данные директивы будут опущены, то программа mbutiny использует значения из одноименных глобальных определений. SHA1sum yes MD5sum yes По завершению операции сжатия объектов происходит подсчет контрольных сумм SHA1 и MD5. Данные сумы желательно использовать для контроля качества прохождения бэкапов и восстановления, а также при работе с коллектором. Trigger mkdir /tmp/test Trigger echo foo > /tmp/test/foo.txt Триггеры. Это команды, выполняющиеся до того как будет сформирован конечный список обрабатываемых объекстов (файлов и папок). Триггеры выполняются один за другим, но порядок их выполнения является неопределнным. Для соблюдения требуемого порядкя следует использовать сложные команды или выносить их в отдельные внешние скрипты. Trigger mysqldump -f -h mysql.host.com -u user --port=3306 --password=password \ --add-drop-table --default-character-set=utf8 \ --databases databasename > /tmp/test/databasename.sql Данный пример иллюстрирует то как можно получать объект для резервного копирования в виде дампа небольшой базы данных. Это и есть способ резервного копирования баз данных. Object /tmp/test/foo.txt Object /tmp/test/databasename.sql или Object /tmp/test Директива Object указывает, какие файлы и папки необходимо архивировать для создания резервной копии. # Отсюда берутся сами исходные файлы. Директива может быть только одна Object /usr/local/etc # Опционально. Сюда копируются объекты для дальнейшего сжатия. Директива не обязательна Target /tmp/test_exclude_sample # Относительные пути файлов и папок которые НЕ СЛЕДУЕТ кописаровать в каталог Target Exclude bar.txt Exclude baz.txt Секции эксклюзивного копирования объектов, Их может быть задано несколько. Секции позволяют копировать файлы и папки каталога указанного в директиве Object в целевой каталог определенный с поощью директивы Target. Копирование происходит всей структуры исходного каталога в целевой каталог исключая объекты, указанные во внутренних директивах Exclude. Данный способ создания объектов требует дополнительного свободного места на диске. Следует заметить, что значение директивы Target будет автоматически добавлено в список объектов что не обеспечивают триггеры. Для каждого триггера (см. описание выше) нужно указывать свой объект с помощью директивы Object, как это иллюстрируется в приведнном примере. Говоря о примере, следует прокоментировать: первым шагом создается каталог /tmp/test, затем в каталог /tmp/test пишется файл foo.txt с содержимым foo. Для того, чтобы сделать резервную копию файла /tmp/test/foo.txt необходимо указать в качестве объекта либо сам файл /tmp/test/foo.txt либо всю папку /tmp/test. Таким образом происходит связка триггеров с объектами. URI https://user:password@collector.example.com/collector.cgi #User user # Optional. See URI #Password password # Optional. See URI #TimeOut 180 Данная секция определяет коллектор. Таких секций может быть несколько в рамках данного хоста. Здесь URI - Адрес (URI) до хранилища (коллектора). Логин и пароль HTTP авторизации указывается либо в теле URI, либо отдельно, если этого требует безопасность. TimeOut - Таймаут. По умолчанию 180 секунд. FixUP off Localdir C:\\Temp\\mbutimy-local1 Localdir C:\\Temp\\mbutimy-local2 #Comment Local said blah-blah-blah for collector # Optional for collector Секция ... может быть только одна в рамках данного хоста. Секция определяет параметры локального хранилища, это хранилище не является надежным, если его точка монтирования не является внешней относительно данного аппаратного устройства (сервера, компьютера, хранилища, маршрутизатора и т.д.). Секция ... содержит следующие директивы: Localdir - папка локального хранилища. Именно в нее будут помещены результативные архивы (резервные копии). Данных директив Localdir может быть несколько, тогда произойдёт копирование бэкапа в различные локальные хранилища. FixUP - Указывает выполнять фиксацию результата работы на коллекторе. может быть значение on или off Comment - Комментарий для коллектора. Полезен для мониторинга и отладки. Настоятельно рекомендуем не оставлять данную директиву пустой. FixUP on FTPhost ftp.example.com FTPdir mbutiny/foo FTPuser user FTPpassword password Set Passive 1 Comment FTP said blah-blah-blah for collector # Optional for collector Секция ... определяет параметры удаленного FTP-хранилища. секций может быть несколько в рамках данного хоста. В этом случае выполнится работа над каждым из указанных FTP-хранилищ. Директивы секции - FTPhost, FTPdir, FTPuser и FTPpassword - определяют непосредственный коннект к FTP-хранилищу, когда как директивы FixUP и Comment аналогичны по значению секции .... Директива Set устанавливает атрибуты соединения FTP FixUP on URI https://user:password@collector.example.com/collector.cgi #User user # Optional. See URI #Password password # Optional. See URI Comment HTTP said blah-blah-blah for collector # Optional for collector #TimeOut 180 Секция ... определяет параметры удаленного HTTP-хранилища. Секций может быть несколько. В этом случае выполнится работа над каждым HTTP-хранилищем. Не следует путать с коллектором, секция ... определяет отдельный канал для "заливки" файлов, когда как коллектор регистрирует результат заливки. Хотя как правило и коллектор и хранилище HTTP находятся на одном физическом сервере. URI - Адрес до хранилища (как и коллектора). Логин и пароль HTTP авторизации указывается либо в URI либо отдельно, если это требует безопасность. FixUP - Указывает выполнять фиксацию результата работы на коллекторе. Может аналогично FTP и Local секциям принимать значения on или off. Следует учитывать, что параметры для коллектора фиксапа задаются отдельной секцией самого коллектора, т.к. файлы могут хранится на одном коллекторе а данные о статусе на другом. TimeOut - таймаут. По умолчанию 180 секунд. Следует задавать если размер бэкапа существенно большой, и файл не успевает пройти за дефолтное значение параметра. НАЧАЛО РАБОТЫ ------------- После успешной работы по установке, инициализации и настройки - переходим к запуску программы mbutiny. Для уточнений синтаксиса всегда можно воспользоваться командой: # mbutiny -h Общий синтаксис команды mbutiny таков: # mbutiny [OPTIONS] [COMMANDS [ARGS]] Существует ряд ключевых опций команды: -D DATADIR Данная опция (ключ) определяет локальную папку, в которую будут помещаться временные файлы, необходимые для формирования конечного бэкап-файла, а также для восстановленных резервных копий. По умолчанию используется системный каталог временных файлов. -c CONFFILE --config=CONFFILE Ключ заставляет программу использовать в качестве конфигурационного файла CONFFILE. По умолчанию используется системный путь к файлу mbutiny.conf. -v Ключ позволяет видеть на экране результат работы программы mbutiny. Для более детальной информации можно воспользоваться дополнительным ключом -d. Помимо опций доступен ряд команд: test [HOSTs] Команда позволяет выполнять тестирование указанных хостов. Если названия хостов опущены, то произойдёт тестирование всех хостов, определнных в соответствующих конфигурационных файлах. [backup [HOSTs]] Команда позволяет выполнить резервное копирование указанных хостов. Если названия хостов опущены, то произойдёт тестирование всех хостов, определнных в соответствующих конфигурационных файлах. следует заметить, что команда backup является командой по умолчанию для программы mbutiny. restore [HOSTs] [DATE] Команда позволяет выполннить скачиваение и разархивирование последнего созданной резервной копии для указанных хостов (или всех, если хосты не указаны). Параметр DATE задает дату, в формате YYYY.MM.DD или DD.MM.YYYY для восставноления. Если файла резервной копии для указанной даты нет, то берется ближйшая резервная копия к этой дате, но не позже указанной. По окончании работы программа выведет на экран путь, по которому можно будет получить восстановленные данные. Данную команду не рекомендуется запускать в автоматическом режиме. ПРОМЫШЛЕННОЕ ИСПОЛЬЗОВАНИЕ -------------------------- После отладки работы программы смело можно приступать к настройке программы для выполнения в автоматическом режиме. Для этого существует несколько способов и один из активно применяемый - cron. Вот таким образом может выглядеть задача по выполнению резервного копирования всех хостов: 0 2 * * * /usr/bin/mbutiny >/dev/null 2>>/var/log/mbutiny-error.log Задача говорит, что необходимо выполнить резервное копирование всех хостов строго в 2 часа ночи Следующий пример демонстрирует то, как можно "разнести" хосты по времени: 0 2 * * * /usr/bin/mbutiny backup foo >/dev/null 2>>/var/log/mbutiny-error.log 0 3 * * * /usr/bin/mbutiny backup bar >/dev/null 2>>/var/log/mbutiny-error.log 0 4 * * * /usr/bin/mbutiny backup baz >/dev/null 2>>/var/log/mbutiny-error.log Данный пример будет полезен в случае слишком большего размера сжимаемых объектов. Всю отладочную информацию об ошибках, можно наблюдать в файле /var/log/mbutiny-error.log КОЛЛЕКТОР --------- Коллектор это часть App::MBUtiny. Интерфейсом является CGI сценарий, пример которого размещен в файле collector.cgi.sample: #!/usr/bin/perl -w use strict; use WWW::MLite; my $mlite = new WWW::MLite( prefix => 'collector', name => 'Collector', module => 'App::MBUtiny::Collector', config_file => '/path/to/mbutiny/extra/collector.conf', register => ['App::MBUtiny::Collector::Root'], ); $mlite->show; Данный скрипт использует в своей работе технологию WWW::MLite, обеспечивающую связь между сервером и агентом App::MBUtiny. Взаимодействие происходит по протоколу HTTP. Помимо простого CGI сценария существует интеграция с проектом MonM. MonM анализирует, если есть установленный модуль App::MBUtiny, то он пытается построить соответвующий грид по данным коллектора. Коллектор предоставляет API. API предусматривает обмен данными исключительно в формате XML. Коллектор использует конфигурационную информацию из указанного файла, например extra/collector.conf После редактирования этого конфигурационного файла администратор должен скорректирвоать и путь до него в CGI скрипте collector.cgi указав местоположение существующего и настроенного файла, например, указать следующий путь, чаще всего используемый на операционных системах Linux: /etc/mbutiny/extra/collector.conf Установка коллектора ~~~~~~~~~~~~~~~~~~~~ Коллектор устанавливается в пять этапов: 1. Установка и инициализация App::MBUtiny по правилам, рассмотреннымм в соответствующих разделах данного документа. См. выше 2. Создание "базы данных" и таблицы mbutiny 3. Правка конфигурационного файла collector.conf 4. Создание сценария collector.cgi с указанием пути расположения конфигурационного файла collector.conf 5. Настройка прав доступа к коллектору Этап 2 предусматривает выбор подходящей реляционной БД, например, MySQL. После выбора типа СУБД необходимо создать соответствующую "пустую" БД или использовать уже имеющуюся. Важное замечание: БД должна поддерживать кодировку UTF8! После создания БД требуется создать пустую таблиwe под имненем mbutiny. Можно использовать и другое имя, но придётся прописать его в конфигурационном файле collector.conf в директиве Table секции DBI. Для создания таблички используйте DDL размещенный в заголовке файла-примера collector.conf, который был сгенерирован при инициализации App::MBUtiny. Далее необходимо выполнить операции по шагу 3 - внести изменения в конфигурационный файл, где указывается директорий для сохранения файлов коллектора и параметры соединения с созданной ранее БД. Этап 4 указывает на необходимость создания сценария collector.cgi. Для этого требуется наличие уже установленного сервера Apache с подготовленным виртуальным хостом. В указанное место на диске размещаем файл коллектора и прописываем права доступа к нему. Права доступа легко ограничить используя файл конфигурации .htaccess, который может содержать следующие инструкции, организующие файловую авторизацию HTTP: AuthName "App::MBUtiny file authorization for access to collector" AuthType Basic AuthGroupFile /var/www/mbutiny.example.com/.htgroups AuthUserFile /var/www/mbutiny.example.com/.htpasswd Require valid-user #Require username Require group collector Файлы .htgroups и .htpasswd соддержат объявления групп и пользователей, соответственно. После успешного выполнения вышесказанного следует проверить работоспособность коллектора в ручном режиме. Для этого в строку браузера нужно ввести путь до файла CGI сценария используя параметр check. Например: https://mbutiny.example.com/collector.cgi?action=check При этом в окне браузера должен отобразиться XML документ с тегом status со значением 1: 1 Более подробную информацию о формате см. в разделе API. Если ошибок не выявлено то это означает что установка и настройка коллектора выполнена успешно. Пример резервного копирования сервера коллектора ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Ниже предлагается пример того, как с помощью mbutiny выполнить резервное копирование самого коллектора на удаленное FTP хранилище и на локальный коллектор. Для примера использовалась операционная система CentOS. Все наименования хостов, логины и пароли вымышленные. Файл носит имя host-mbutiny.example.com.conf и расположен в каталоге /etc/mbutiny/hosts Enable yes SendReport no SendErrorReport yes ArcName tgz SHA1sum yes MD5sum yes # Triggers Trigger mysqldump -f -h localhost -u user --port=3306 --password=password \ --add-drop-table --default-character-set=utf8 \ --databases mbutiny > /home/mbutiny/mbutiny.sql # Objects Object /etc Object /home/mbutiny/mbutiny.sql # Collector definitions (Can be defined by several sections) URI http://user:password@mbutiny.example.com/collector.cgi Comment "(LOCAL) Configuration and databases on mbutiny.example.com" #TimeOut 180 # Local storage Localdir /home/mbutiny/local # FTP storage (Can be defined by several sections) FixUP on FTPhost 192.168.92.88 FTPdir mbutiny/mbutiny.example.com FTPuser bu FTPpassword asdfghjkl Comment "(FTP) Configuration and databases on mbutiny.example.com" # HTTP storage (Can be defined by several sections) FixUP on URI http://user:password@mbutiny.example.com/collector.cgi Comment "(HTTP) Configuration and databases on mbutiny.example.com" TimeOut 600 API --- Как уже упоминалось в разделе КОЛЛЕКТОР взаимодействие между агентом (роль которого выполняет приложение mbutiny) и сервером коллектора (далее коллектор) выполняется по протоколу HTTP используя формат обмена данных - XML. Сервер коллектора отвечает на POST запросы принимая параметры во входном XML, а отвечает выходным XML документом. Но есть одно исключение, когда ответ коллектором возвращается агенту в формате с MIME типом application/octet-stream. Этим исключением является обработчик download, заставляющий коллектор возвращать двоичные данные файла для записи на диск на стороне агента. Более подробно об этой исключительной ситуации будет рассказано в разделе download. Для осуществеления API вызова необходимо создать POST (в редких случаях GET) запрос, где первым параметром должен быть объект (имя обработчика), а вторым - XML тело запроса. Общий вид запроса выглядит примерно следующим образом: http://SITE:PORT/collector.cgi?action=ИМЯ_ОБРАБОТЧИКА&request=XML_ДОКУМЕНТ https://SITE:PORT/collector.cgi?action=ИМЯ_ОБРАБОТЧИКА&request=XML_ДОКУМЕНТ Если не указан ни один параметр, то предпологается вызов обработчика с именем default. Далее будет рассмотрен каждый обработчик детально. Формат входного документа XML, передаваемого в параметре request имеет вид: ИМЯ_ОБРАБОТЧИКА ТЕГИ_ДАННЫХ Здесь тег ... содержит имя обработчика, повторяемый параметром action. Нужно это для четкого сопостановления и во избежании ошибок стороны агента. Тег ... содержит набор данных, переданных обработчику от агента. Формат выходного документа, который генерирует сервер коллектора, имеет вид: ТЕГИ_ДАННЫХ 0.531 ТЕКСТ_ОШИБКИ ИМЯ_ОБРАБОТЧИКА 127.0.0.1 СТАТУС_ОПЕРАЦИИ Как видно из примеров, тег-оболочка для запроса носит имя request, когда как тег для ответа называется response. Тег ... говорит о том, на какой обработчик был дан ответ, или каким переназначенным обработчиком был дан ответ. Тег ... содержит набор данных, переданных агенту от обработчика. Тег ... может принимать два значения: 0 - в случае возникших ошибок; 1 - В случае если операция прошла успешно и обработчик выполнил необходимые действия без ошибок. Если возникли какие-либо ошибки, то их текст передаётся в теге .... Дополнительные теги ..., ..., ... содержат информацию прикладного значения. debug_time - время в секундах, которое понадобилось для выполнения хадачи обработчика. query_string - параметры пришедшие на вход, если они были указаны. remote_addr - IP адрес агента, вызвавшего обработчик. default ~~~~~~~ Обработчик default отвечает на неизвестные или неподдерживаемые запросы. Пример ответа обработчика default: 0.056 Неверно указан обработчик. Список доступных обработчиков доступен через операцию check default 127.0.0.1 0 Как видно из примера, агенту вернулась ошибка с текстом и статус в значении 0. При этом никаких данны передано не было. check ~~~~~ Получение состояния готовности коллектора. Обработчик возвращает состояние готовности коллектора к приему других запросов. Этот обработчик следует вызывать до выполнения каких-либо действий с коллектором. Ниже приведен негативный и позитивные результаты ответа обработчика: check 0.531 ERR: 2005; ERRSTR: Unknown MySQL server host 'mysql.example.com' (11001); STATE: HY000 check 127.0.0.1 0 check check upload fixup status list info download delete data Ok 0.125 check 127.0.0.1 1 При успешном выполнении обработчика колектор вернет в теге ... список поддерживаемых обработчиков. upload ~~~~~~ Обработчик представляет собой интерфейс для загрузки файлов резервных копий - аплоадить бэкапы. Это единственный обработчик принимающий данные в типе кодирования данных (MIME) multipart/form-data. Все остальные случаи не используют multipart/form-data для передачи данных коллектору. blah-blah-blah test1-2014-09-05.zip test1 229f51f8257e5200f5942fa210b2b4c5 ecf0cc7fb25a57025a20ba42161cd215d585f3af upload Тег ... содержит комментарий для фиксации коллектором. ... содержит имя файла передаваемое серверу. ... содержит имя хоста, выполняющего загрузку. ... и ...<.sha1> содержат контрольные суммы передаваемого файла. Эти два тега не являются обязательныеми, как и тег .... Сами данные следует передавать в POST параметре с именем data, закодированные согласно правилам кодирования multipart/form-data. 422 Uploading sucess data\test1\test1-2014-09-05.zip 0.142 upload 127.0.0.1 1 После загрузки файла резервной копии возвращается статус операции, путь записи файла на стороне коллектора и #ID заведенной записи бэкапа в БД. Помимо этого возвращается сообщение для агента в теге .... fixup ~~~~~ После аплоадинга и в случаях необходимости фиксировать состояния выполнения передачи файлов резервных копий различным хранилищам, следует вызывать обработчик fixup, передавая параметры в зависимости рода хранилища. Если коллектором и хранилищем HTTP является один и тот же сервер, то передается тег ..., содержащий ID только что загруженного файла (см. обработчик upload). Тег ... должен содержать значение статуса: 1 - загрузка прошла успешно; 0 - загрузка прошла с ошибками. Тег 1 должен передаваться со значеним 1, это заставляет коллектор не создавать новую запись в БД а использовать уже имеющуюся, созданную при загрузке. Помимо этого передаётся комментарий и сообщение в соответствующих тегах. 422 blah-blah-blah Uploading sucess: test1-2014-09-05.zip ... 1 1 fixup 422 Fixing sucess. The data successfully inserted to table of database 0.125 fixup 127.0.0.1 1 Далее слеудет рассмотреть случай обычного фиксапа, типа = 0. local said blah-blah-blah test1-2014-09-05.zip test1 229f51f8257e5200f5942fa210b2b4c5 Files successfully stored to LOCAL directoy ... ecf0cc7fb25a57025a20ba42161cd215d585f3af 131616 1 0 fixup Здесь тег ... содержит значение размера файла резервной копии, остальные поля идентичные обработчику upload и fixup для случая рассмотренного выше. list ~~~~ Обработчик позволяет получить список загруженных файлов резервных копий на HTTP хранилище по имени хоста. test1 list test1-2014-08-27.zip test1-2014-08-28.zip test1-2014-08-29.zip test1-2014-09-01.zip test1-2014-09-03.zip test1-2014-09-05.zip Spisok failov dlia khosta uspieshno poluchien 0.119 list 127.0.0.1 1 В качестве входного тега выступает ... содержащий имя хоста для которого необходимо получить список файлов. На выходе, в тегах ..., можно увидеть имена файлов резервных копий. delete ~~~~~~ Данный обработчик призван удалять файлы с хранилища HTTP и фиксировать процесс удаления. test1-2014-08-27.zip test1 delete 35 Fail uspieshno udalien 0.149 delete 127.0.0.1 1 На вход передается имя файла и имя хоста в соответствующих тегах ... и ... info ~~~~ Получение подробной информации о файле. test1-2014-09-05.zip test1 info На вход передается имя файла и имя хоста в соответствующих тегах ... и ... 428 mnsdesktop 127.0.0.1 test1 blah-blah-blah 2014-09-05 15:15:14 2014-09-05 15:15:13 229f51f8257e5200f5942fa210b2b4c5 test1-2014-09-05.zip ecf0cc7fb25a57025a20ba42161cd215d585f3af 131616 Uploading sucess ... mbutiny.localhost 127.0.0.1 1 1 0.115 info 127.0.0.1 1 В качестве возвращаемых данных выступают поля базы данных, созданных в момент установки коллектора. Их набор может быть различным. download ~~~~~~~~ Обработчик позволяет скачать файл с коллектора. Контент файла передается вместо XML ответа, как упоминалось выше, это единственный обработчик, возвращающий данные с MIME типом отличном от text/xml Ответ, получаемый от коллектора двоичный, поэтому все данные необходимо сохранять в режиме "AS IS". test1-2014-09-05.zip test1 download На вход передается имя файла и имя хоста в соответствующих тегах ... и ... status ~~~~~~ Получение состояния (среза) выполненных или невыполненных резервных копирований для ряда хостов. Этот обработчик находится на стадии разработки и будет доступен в следующих версиях проекта. Обработчик обеспечивает дополнительные функции коллектора, написанные для программы MonM. Он позволяет получить состояние (срез) выполненных бэкапов за последние сутки, или сутки, указанные в качетстве аргумента. При проверке состояния учитывается также переданное имя хоста. Если же имя хоста опущено, то произойдет анализ последних резервных копий по всем хостам коллектора. __END__