СайтСпутник, как инструмент Интернет-разведки. Часть 2

В первой части данной статьи было подробно рассмотрено использование одной из возможностей программы СайтСпутник, а именно – построение «Карты сайта».

Следует отметить, что программа СайтСпутник существует не только в версии PRO, но также и в версии Invisible. Основное отличие этих версий заключается в возможности пользователя заметно уменьшить размеры невидимого для него Интернета. В частности данная функция СайтСпутника просто незаменима в процессе детального изучения интересующего Вас сайта. Это утверждение автор и собирается проиллюстрировать чуть ниже на конкретных примерах.

Итак, приступим.

Сегодня наше практическое занятие по изучению содержимого сайтов с использованием программы СайтСпутник мы продолжим с того места, на котором остановились в Части 1. Будем считать, что углубленная карта интересующего нас сайта уже построена, так как применение функций рассматриваемой программы, о которых пойдет речь ниже, возможно лишь основываясь на уже построенной карте сайта.

Итак, раскрываем небольшое меню, доступное нам при нажатии треугольничка, расположенного рядом с «золотым ключиком» (рис. 1). Все картинки кликабельны.

Рисунок 1

Выбираем предпоследний пункт – «Невидимый Интернет» и видим меню следующего содержания (рис. 2)

Рисунок 2

Автор программы (на момент написания данной статьи) предлагает воспользоваться четырьмя режимами работы СайтСпутника для поиска страниц сайта, отсутствующих в основных поисковиках:

• Поиск спайдером;
• Поиск в окрестности;
• Папки открытые;
• Поиск со словарем.

Мы рекомендуем использовать их именно в той последовательности, в которой они находятся в вышеуказанном меню, не забывая при этом найденные результаты добавлять в уже имеющуюся карту сайта.

Также стоит отметить, что, зачастую, для получения более содержательного результата, имеет смысл запустить все четыре режима неоднократно, каждый раз добавляя вновь найденные (если таковые будут) страницы в уже имеющуюся карту сайта.

Теперь давайте перейдем к предметному рассмотрению этих режимов поиска.

«Поиск спайдером»

Выбираем «Невидимый Интернет» --- «Поиск спайдером» --- «С карты сайта» (рис. 3).

Рисунок 3

Также имеется возможность запустить поиск спайдером «С точки останова», что весьма полезно в случае, если Вы ранее запускали «Поиск спайдером», но по какой-то причине не довели его до конца.

По окончании работы паука, выбираем пункт «Включение в карту сайта», после чего программа автоматически добавляет найденные спайдером ссылки в ранее построенную карту сайта, выделяя их при этом зеленым цветом. Вот как это выглядит на примере рассмотренного в части 1 данной статьи сайта (рис. 4).

Рисунок 4

Светло-зеленые строки – это ссылки на страницы, добавленные в карту сайта по результатам работы спайдера. Думаю их количество говорит само за себя.

Теперь перейдём к следующему этапу.

«Поиск в окрестности»

Выбираем «Невидимый Интернет» --- «Поиск в окрестности» --- «Найти ссылки и файлы» (рис. 5).

Рисунок 5

При этом программа осуществляет поиск ссылок и файлов в окрестности ссылки или файла по их образу и подобию. Подробно ознакомиться с реализацией данной функции можно ЗДЕСЬ.

Её использование позволит нам избежать рутинной работы по выявлению ряда схожих URL-ов.

Проиллюстрируем это на примере, приведенном нами в первой части данной статьи (рис. 6).

Рисунок 6

На приведенном рисунке мы видим ряд страниц (выделены красным овалом), содержащих данные статистики исследуемого сайта. Все они имеют схожую структуру и, соответственно, имеется возможность поиска еще не найденных аналогичных страниц с использованием режима «Поиск в окрестности».

Давайте на конкретном примере рассмотрим, как это делается.

Для осуществления поиска по образу и подобию переходим в режим «Редактирование» (рис. 7)

Рисунок 7

После чего, находясь в режиме редактирования, выбираем интересующую нас ссылку:

Например: _favorit-okna.ru/webstat/usage_200807.html

Проанализировав ссылку, мы можем предположить, что могут существовать и другие схожие страницы, где на конце, вместо цифр 07, могут быть цифры в диапазоне от 01 до 12, что соответствует месяцам года.

Далее преобразуем интересующую нас строку в соответствии с правилами описания окрестности.

Теперь наша ссылка выглядит так: favorit-okna.ru/webstat/usage_2008[03,01,12].html (рис. 8).

Рисунок 8

После чего запускаем «Поиск в окрестности» и получаем искомый результат (рис. 9).

Рисунок 9

Следует отметить, что в соответствии с «Правилами описания окрестности» имеется возможность, по аналогии с указанным выше примером, также произвести поиск по образу и подобию путем подбора формата страницы или файла.

Также программа позволяет совершать указанные выше действия с именами папок сайта и единовременно сочетать все эти правила.

«Папки открытые»

Данный режим позволяет найти имеющиеся на сайте открытые папки. Для этого выбираем «Невидимый Интернет» --- «Папки открытые». Далее мы имеем возможность осуществить поиск открытых папок в двух режимах:

«Применить поисковики» (рис 10)

Рисунок 10

и «Применить Apache». (рис. 11)

Рисунок 11

В свою очередь «Применить поисковики» можно осуществить в автоматическом или интерактивном режиме (рис. 12).

Рисунок 12

При использовании интерактивного режима пользователь СайтСпутника имеет возможность в ручном режиме целенаправленно управлять всеми действиями программы, проводимыми в автоматическом режиме.

При выборе «Применить поисковики» СайтСпутник применит специальный пакет запросов, найдет все открытые папки на интересующем сайте, соберет все имеющиеся там невидимые ссылки, а также файлы и подпапки, после все найденное будет включено в уже имеющуюся карту сайта.

При выборе «Применить Apache» СайтСпутник откроет все имеющиеся папки на изучаемом сайте, основываясь на ранее построенной карте сайта.

После осуществления обеих операций необходимо включить полученные результаты в уже имеющуюся карту сайта.

О каких результатах идет речь.

Использование режима «Папки открытые» позволяет найти дополнительные невидимые страницы или файлы на изучаемом сайте, не найденные по какой-то причине с помощью предыдущих двух режимов. А это, зачастую весьма большой объем интересной информации. Давайте проиллюстрируем сказанное наглядным примером.

Нами была составлена углубленная карта случайно выбранного сайта, в которую в числе прочих была найдена ссылка вида: хххххххх.ru/rus/docs/rfb3kv.xls.

При просмотре составленной карты сайта выяснилось, что в ней имеется ссылка на 116 файлов из данной папки. Такое же количество файлов содержалось в данной папке по мнению Гугла, в чем мы убедились при осуществлении непосредственно в нем соответствующего поискового запроса.

Дальнейшее применение режима «Папки открытые» на построенной карте сайта дало весьма ощутимый результат.

Папка docs оказалась открытой и содержала в себе не 116, как думал Гугл, а 176 весьма интересных файлов.

Рисунок 13

Рисунок 14

Итого, в сухом остатке мы получили плюсом 60 ранее неизвестных нам файлов.

Поиск со словарем

Суть данного режима заключается в поиске невидимых ссылок или папок со стандартными именами с использованием специальных словарей.

Подготовка к использованию данного режима:

Открываем «Настройки» --- «Параметры» --- «вкладка Invisible (рис. 15)

Рисунок 15

Здесь нам становится доступной возможность формирования и выбора по три словаря под имена папок и под имена ссылок и файлов.

Постановкой галочек мы можем включить или отключить использование каждого конкретного словаря. Нажав же на кнопочку с плюсиком (на рисунке обведены красными кружками) мы получаем возможность редактирования данных словарей (рис. 16 и 17).

Рисунок 16

Рисунок 17

Добавляя в данные словари новые варианты названий файлов и папок мы можем значительно расширить объем получаемой информации.

Для непосредственного запуска рассматриваемой функции, выбираем в уже имеющейся у нас карте сайта список «Папки», после чего выбираем «Невидимый Интернет» --- «Поиск со словарем» --- «Найти папки и файлы». После окончания поиска полученные результаты включаем в нашу карту сайта.

Ну что ж, вот и закончился наш небольшой экскурс в возможности СайтСпутника Invisible, как инструмента Интернет-разведки. Теперь настало время подвести окончательный итог.

Так каковы же выгоды пользователя СайтСпутника при изучении сайтов:

• экономия десятков часов за счет автоматической обработки выдачи поисковиков, что ранее приходилось делать вручную;
• возможность специалисту относительно невысокой и средней квалификации получать больший объем информации, применяя «зашитые» в СайтСпутник режимы исследования сайта, чем он мог бы получить, опираясь только на имеющиеся у него опыт и знания.
• получение дополнительного объема информации, ранее практически недоступной (или доступной лишь после длительного кропотливого изучения сайта) для ознакомления, в виду её нахождения в зоне так называемого «Невидимого Интернета».

Автор: Воронцов Борис, директор Агентства конкурентной разведки «Информант»

Версия для печати