Подведены итоги амбициозного проекта Internet Census 2012, нацеленного на полное сканирование портов для всех IPv4-адресов в сети Интернет. Сканирование осуществлялось с марта по декабрь 2012 года с использование ботнета, построенного на базе незащищённых маршрутизаторов. В результате удалось собрать самую полную в истории статистику по активности хостов и распределению сетевых портов в сети Интернет. Для загрузки доступен полный архив со всеми собранными данными (565 Гб при использовании сжатия ZPAQ, архив gzip занимает 1.5 Тб), подборка отчётов с общей статистикой по распределению сервисов и набор изображений с наглядным представлением распределения адресов по странам и подсетям. Особенно интересна визуализация изменения доступности IP в зависимости от времени суток и интерактивная карта, позволяющая использовать типовые фильтры и допускающая масштабирования для увеличения детализации вплоть до выделенных провайдерам подсетей. Предпосылкой к проведению полного сканирования всего диапазона IPv4-адресов послужили ранее проводимые эксперименты по автоматизации сканирования портов с использование пакета Nmap и доступного в нём движка NSE (Nmap Scripting Engine), позволяющего автоматизировать выполнение любых действий по сканированию и накоплению результатов. В итоге ранних экспериментов было выявлено, что Сеть просто изобилует незащищёнными встраиваемыми устройствами, многие из которых оснащены стандартным Linux-окружением с BusyBox и открыты для доступа под заданным производителем паролем или вообще не защищены (пустой или тривиальный пароль, вида root:root и admin:admin ). Всего было выявлено около 420 тысяч подобных незащищённый устройств, на основе которых был создан ботнет, выполнявший в течение 10 месяцев задачи по распределённому сканированию сетевых портов. Так как для реализации проекта использовались незаконные методы, исследователи не раскрывают своих имён и действуют анонимно. Тем не менее, заявлено, что в процессе эксперимента ни одно из взломанных устройств не пострадало (конфигурация не была изменена, промышленные системы и маршрутизаторы провайдеров пропускались), влияние сканирования был сведено к минимуму (использовалась низкая интенсивность сканирования - 10 IP в секунду), а ботнет после завершения сканирования был ликвидирован. Вместе с загружаемым на устройство файлом, выполняющим сканирование, поставлялся текстовый файл с описанием сути проекта и email для связи. В число выполняемых для каждого IP-адреса проверок входила оценка доступности наиболее часто используемых портов, ICMP ping, запрос DNS-записи для IP и SYN-сканирование. Сканирование проводилось в дублирующем режиме, для накопления статистики с разрезе времени и учёта систем, включаемых лишь на время. В итоге было накоплено около 9 Тб данных, включающих информацию о 52 миллиардах проверок через ICMP ping; 10.5 миллиарда DNS-записей; 180 миллиардов записей о сетевых портах; 2.8 миллиарда параметров SYN-сканирования для 660 млн IP и 71 миллиарда протестированных сетевых портов; 80 млн проверок слепков TCP/IP; 75 млн IP ID-последовательностей; 68 млн трассировок маршрута (traceroute).
Подробности