На каждом веб-сайте есть два вида посетителей: люди, которые медленно бродят по ссылкам, и пауки — программы, быстро прочесывающие сайт. Теперь же появилась новая разновидность — паук, который ведет себя как человек. Техники для хакерских атак и контр-техники для их обнаружения довольно давно являются объектом исследования среди заинтересованных специалистов. В течение последних лет активно обсуждаются и совершенствуются технологии в этой области, при этом для атак чаще всего используются программы на основе библиотеки LibWhisker, а для «защиты» — аналитические системы вроде Snort. Однако специалисты редко обсуждают один важный аспект, который предшествует любой атаке — это скрытое «прощупывание» сайта, разведка. Обычно это делают или вручную, что очень утомительно, или с помощью обычного краулера вроде wget, который легко выдает себя. Он порождает ненормальный всплеск «посещаемости» на счетчиках и возросший поток трафика. Новая программа-краулер лишена этих недостатков. Она исследует сайт с нескольких IP-адресов, выдает себя за разные браузеры, очень медленно ходит по ссылкам, чтобы имитировать человека. Она даже скачивает флэш-анимацию, картинки, скрипты и ActiveX для большей реалистичности. Программа была представлена на недавней хакерской конференции Shmoo Con. Ее разработал хакер Билли Хоффман, прочитавший на конференции доклад на тему «Скрытый краулинг: волк среди овечек».
Подробности