Клонирование веб-сайта [Документация VAS Experts]

Клонирование веб-сайта

Для перехода в раздел нажмите пункт меню Законный перехват, затем нажмите пункт меню Клонирование веб-сайта.

Данный раздел состоит из двух подразделов: "Сайты" и "Статистика".

Сайты

Добавить подзадачу

Чтобы добавить подзадачу на загрузку веб-сайта "Добавить подзадачу".
В раскрывшемся окне введите параметры.

Основные параметры:

1. Описание. Данное поле содержит название или описание профиля
2. Url-адрес(а). Url-адрес(а) или же список URL файлов, которые необходимо загрузить пользователю.
3. Адрес виртуального хоста. Адрес виртуального хоста, на котором будет разворачиваться клонированный сайт (URL- ссылки).
4. Адрес виртуального хоста. Адрес виртуального порта, на котором будет разворачиваться клонированный сайт (URL- ссылки).

Дополнительные параметры:
Рекурсия

  • Рекурсивная загрузка. Если пользователю необходимы все ссылки, содержащиеся на клонированном сайте, то необходимо установить флажок в данной ячейке.
  • Глубина рекурсии
  • Загружать реквизиты. Если пользователю необходимы изображения, необходимые для загрузки html-сайта, то необходимо установить флажок в данной ячейке.
  • Конвертировать ссылки. Делать ссылки локальными в загруженном HTML или CSS.
  • Делать резервную копию. Создание копии файла с расширением.org. Формат ORIG используется для обозначения исходной версии файла, сохраняющейся в качестве резервной копии после редактирования или обновления.
  • Создать зеркало сайта. Если пользователь хочет создать дубликат(копию) сайта, то необходимо установить флажок в данной ячейке. Зеркало — дубликат, копия сайта.
  • Не подниматься. Не подниматься в родительский каталог.
Входные данные

  • Продолжить загрузку. Если во время загрузки файлов операция была прервана, то можно возобновить загрузку с места прерывания, установив флажок в checkbox продолжить загрузку.
  • Форсировать HTML
  • Префикс URL, указывающий протокол, используемый для доступа к локации, т. е. протокол передачи данных.
  • Дополнительные параметры.
Загрузка

  • Пауза. Пользователь может установить паузу перед каждой загрузкой файла. Длительность паузы указывается пользователем самостоятельно в секундах.
  • Попытки. Пользователь может настроить число повторных попыток загрузки файла в случае ее прерывания. Количество попыток вводится пользователем вручную.
  • Произвольная пауза. Пользователь может выбрать произвольную паузу перед загрузкой каждого файла. Длительность паузы определяется случайно в диапазоне от 0,5 до 1,5 секунды.
  • Скорость (бит/сек). При необходимости скорость загрузки можно ограничить. В результате эта операция не будет занимать весь доступный канал передачи данных и не повлияет на другие процессы, связанные с сетью. Сделать это можно указав ограничение скорости, выраженное в байтах (в виде обычного числа) в секунду.
  • Повторять при отказе. Повторять загрузку даже если в подключении отказано.
  • Тайм аута. Режим ожидания загрузки файлов. Вводится пользователем вручную в секундах.
  • Ответ от сервера. Выводы ответа от сервера.
  • Пропустить загрузки. Если пользователь хочет скопировать целый веб-сайт, но при этом не нужны файлы определённого типа, отключить их загрузку можно с помощью параметра.
  • Не загружать повторно. Не загружать файлы повторно, только если они не новее, чем локальные.
Каталоги

  • Не создавать каталоги.
  • Принудительно создавать каталоги.
  • Не создавать хостовые каталоги.
  • Игнорировать число компонентов удаленного каталога.
FTP

  • Не удалять файлы .listing
  • Загружать файлы по ссылкам, а не каталоги
  • Выключить маски
  • Отключить пассивный режим
HTTP

  • Пользователь HTTP. Ввод логина.
  • Пароль HTTP. Ввод пароля.
  • Пользователь proxy. Ввод логина.
  • Пароль proxy. Ввод пароля.
  • POST-строк. Отправка строки в качестве данных.
  • Заголовок Referer. Заголовок HTTP referer передается с браузера на сервер, чтобы сообщить, на какой странице читатель находился перед тем, как перешел на текущую.
  • Не использовать кукисы.
  • Не использовать keep alive.
  • Не использовать кэш. Отвергать кэшированные сервером данные.
  • Агент. Идентифицировать себя как агент вместо Wget

Добавить подзадачу

Чтобы добавить подзадачу на загрузку веб-сайта, нажмите на кнопку «Добавить подзадачу», которая находится в туллбаре и проделайте вышеописанные задачи.

Запустить сканирование

Чтобы запустить сканирование профиля, выберете профиль из списка и нажмите на кнопку «Запустить сканирование».

Остановить сканирование

Чтобы остановить запущенное сканирование профиля, нажмите на кнопку «Остановить сканирование».

Ознакомиться со свойствами папок данных

Для просмотра свойств папки с данными нажмите на кнопку "Свойства папки с данными", после чего отобразится окно с данными папки.

Скачать архив

Чтобы скачать zip-архив, нажмите на кнопку "Скачать".

Очистить папку

Чтобы очистить папку с подзадачами, нажмите на кнопку "Очистить папку".

Включить виртуальный хост

Чтобы включить виртуальных хост выбранной задачи или подзадачи, нажмите на кнопку "Включить виртуальный хост".

Выключить виртуальный хост

Чтобы выключить виртуальных хост выбранной задачи или подзадачи, нажмите на кнопку "Выключить виртуальный хост".

Спуфинг сайта

Обновить список

Чтобы обновить список профилей, нажмите на кнопку «Обновить».

Изменить элемент списка

Чтобы изменить параметры профиля или подпрофиля, нажмите на кнопку "Изменить", которая расположена слева от каждого элемента списка.

Удалить элемент списка

Чтобы удалить элемент списка, нажмите на кнопку "Удалить", которая расположена справа от каждого элемента списка.

Статистика

В данном подразделе находятся сведения о логической статистике, статистике по файлам - информация о загрузке каждого файла, спуфинге — информация о конечной загрузке.