черный квадрат

Был миллион? Нет миллиона!

Поковырял 10 минут детектор доменных паркингов на черном квадрате и все сломалось. Недавно отмечали миллион на квадрате, на прошлой неделе было еще чуть больше (1007012) "настоящих живых сайтов", а стало 928332.

Ну значит еще раз инфоповод будет, где-то осенью... Если, конечно, не выяснится, что паркингов еще больше.

1000x1000=1000000 или очередной юбилей

Редкий случай, когда невозможно доказать, что у меня работает полный автомат.

Автоматическое обновление черного квадрата позавчера поздравило меня с приездом и выдало круглую цифру. Позволю себе скриншот:

1000000.png
Торопитесь увидеть, это продержится до следующей среды, а потом их станет еще больше.

На всякий случай: подсчет парковок у меня довольно условный и срабатывает только если запаркованых доменов на одном хостере реально много, не меньше нескольких тысяч.

Черный квадрат - теперь на 12% чище!

Улучшил процедуру распознания доменных паркингов на черном квадрате.

Старая процедура распознавала около 45 тысяч запаркованых сайтов, новая - 172 тысячи. Отчего квадрат стал меньше, но за счет подавления дубликатов страниц - не таким раздражающим.

Копать еще есть куда, например явно нужно подавлять дефолтные странички от хостеров, сообщения что такой-то отключен за неуплату и так далее. Как дойдут руки - займусь, благо варез для подавления дублей - имеется.

Рунет-2008: исправления

С прискорбием вынужден сообщить, что в предыдущую публикацию вкралась ошибка: в колонке, где показано количество размещенных доменов у хостера, для компании Infobox ошибочно был указан номер автономной системы (30968) вместо количества доменов (26433).

Это не повлияло на позиции компаний в рейтинге, однако повлияло на расчет темпов годового роста, вместо реального роста в 48% был показан неправильный (74%).

Ошибка исправлена, виновные наказаны, невиновные тоже наказаны. Автор выражает признательность техническому директору компании Infobox за сообщение о несуразности.

Рунет-2008

Анонсирую очередную нетленку: Рунет в марте 2008 года: домены, хостинг, география сайтов.
Из интересных наблюдений:

  • Рунет (количество сайтов в .RU/.SU) растет, все на те же 60-70 процентов в год. При этом зона .SU за год выросла впятеро (а с декабря - более чем втрое), вот что животворительное снижение цен делает.
  • На "рынке http-серверов" выросла доля Apache и IIS (потеснили nginx). Научные исследования показали, что это влияние служб паркинга доменов.
  • На рынке хостинга полный раздрай:
    • сайты побежали в Германию (и в меньшей степени в Штаты). Если год назад забугорным размещением пользовались около 100 тыс. сайтов, то в этом - уже около 250 тыс.
    • Среди лидеров хостинга прошлого года быстрее рынка рос только Infobox, остальные либо росли медленнее рынка, либо и вовсе, мягко скажем, не росли.

Перепечатка материала приветствуется (с указанием автора и ссылкой, конечно). Обсудить буду рад прямо тут, в комментариях.

Мильоны их!

Каждой точке квадрата соответствует отдельный Web-сайт из ответивших на запрос 20 марта 2008 года. Всего таких сайтов 1 001 806


Я ожидал еще на прошлой неделе, но не дотянуло.

Надо сказать, что темп прироста (в процентах) чуть-чуть упал, с марта 2006 по март 2007 наросло 65%, а за последний год - только 56.

Традиционный мартовский текст "рунет в марте такого-то года" будет опубликован в ближайшие дни, квадратик в историю рунета - тоже уже не сегодня.

Партнерские системы контекстной рекламы

Очередной раз надругался над данными Черного квадрата. Для 800 с гаком тысяч сайтов выкачаны дополнительные страницы и определены:
  • охват основных систем контекстной рекламы (Google, Begun, Yandex) по сайтам;
  • рыночные доли тех же систем по показам рекламных блоков.

Надо сказать, что результаты довольно неожиданные для меня, сделал я все это неделю назад, к конференции, но публиковать не стал, ибо результаты противоречили моим представлениям о жизни. Впрочем, после доклада Ломизе, где были очень похожие цифры, представления о жизни вернулись на место.

А, да, чуть не забыл. Ссылка на текст: Партнерские сети систем контекстной рекламы (октябрь 2007).

Восемьсот килосайтов

Через месяц после регистрации миллионного домена в .RU случилась и очередная круглая цифра в черном квадрате: взяли рубеж в 800 живых килосайтов.

Семьсот тысяч было в начале июля, темпы роста практически сохраняются: в марте-июне было 60% годовых, в июле-октябре 56%, но это ведь был мертвый летний сезон.

По моим прикидкам, в течение месяца должны достичь миллиона делегированных.

Черный квадрат: DNS-статистика

В обсуждении моей предыдущей заметки о пятничных сайтах родилась здравая мысль: посмотреть на статистику смены сайтами IP-адресов. Мне всегда казалось, что смена адреса — крайне редкое явление, но интересно проверить так ли это.

Не углубляясь далеко в историю, я взял данные за последние 4 понедельника, с 24 сентября по 15 октября включительно. На каждый из понедельников у меня есть:

  • данные по делегированию: имеется ли для данного домена nameserver (по мнению NS-ов для зон .RU/.SU);
  • данные по резолвингу WWW-сайтов: удалось ли получить из DNS запись для www.domain. или domain.

Из этого удается извлечь достаточно любопытные данные.

Пятничные сайты

Я на эту тему уже писал, но готов утверждение усилить.

Каждый понедельник в 9 утра у меня стартует очередная выкачка для черного квадрата. К утру вторника оно резолвит и выкачивает все, что резолвится и выкачивается с первого раза. Последние месяца два - это процентов 80-85% от того, что показано на квадрате, где-то 650-680 тысяч сайтов отвечают с первого раза (цифры для последних трех недель).

После этого наблюдается весьма странная картина:

  • Во вторник-четверг пополнить квадрат толком не удается. Сайтов, которые не работали в понедельник, но починились к утру четверга - относительно немного. Ну скажем еще 40 тысяч за три дня удается окучить. Каждый новый проход находит 3-5% живых среди ранее неживых.
  • вечером четверга живых (среди ранее мертвых) куда больше, начиная с этого момента и до субботы каждый новый проход оживляет процентов 9-10.

Что это ? Десятки тысяч сайтов падают на выходных, их всю неделю чинят, к четвергу достигают успеха ?

Какой-либо статистики (по хостингу, по IP, по whois, по списку сайтов) я не делал, но руки уже чешутся.

Банальное: рунет растет

Банально, но на черном квадрате уже более 700 тысяч точек. Т.е. 702 тысячи сайтов в .RU/SU взяли и ответили. 600 тысяч было в начале марта, 17 процентов за 4 месяца - это все те же 60 годовых.

Ссылочное ранжирование в Рунете, часть 4: трафик по тематикам

Очередная статья на тему SEO: Ссылочное ранжирование в Рунете, часть 4: тематический трафик.
Допустим, у нас есть данные о частотах запросов (а они есть), тогда по ним можно посчитать очень интересное.
  • Берем запросы и раскладываем их по тематикам. Да, полноты не добиться, но больше половины - разложим. Получим оценку поискового трафика по данной теме.
  • Поделим ссылочные бюджеты на этот трафик - получим оценку стоимости привлечения пользователей из поисковиков.

Все это проделано в статье.

Выводы, как обычно, довольно любопытные:

  • Если смотреть по тематике, а не по конкретному запросу, то стоимость привлечения клиентов через SEO в разы и порядки дешевле, чем привлечение их же контекстной рекламой.
  • Естественно, самые дорогие клиенты - в узких тематиках. Мало запросов, высокая конкуренция и так далее.
  • Судя по всему, продвижением по низкочастотным запросам занимаются мало, по многим крупным и интересным тематикам (Автомобили, например) количество уникальных текстов ссылок на порядок меньше количества формулировок запросов. При том, что текст ссылки может быть уникальным за счет названия сайта-клиента.

Зачитать текст

Тематические бюджеты: изменения и дополнения

Достаточно плодотворная дискуссия в ru_seo, плюс множество персональных обсуждений убедили меня в том, что статья про ссылочные бюджеты по тематикам нуждается в некоторой доработке.

Что и было сделано. Встречайте Ссылочное ранжирование в Рунете, часть 3b: тематические бюджеты с изменениями и дополнениями.

Изменения и дополнения:

  • Не учитываем ссылки с "мегапорталов" - сайтов с формальной ценой ссылки более $500
  • Помимо топовых бюджетов считается среднее для Top-10 бюджетов

Напоминаю, что относиться к этим данным следует весьма осторожно:

  • многие сайты продвигаются по многим темам сразу;
  • многие сайты продвигаются не только мордами;
  • большой бюджет на ссылки не гарантирует успеха в продвижении.

Ссылочное ранжирование в Рунете, часть 3: тематические бюджеты

Продолжаем палить SEO-темы: Ссылочное ранжирование в Рунете III: бюджеты по тематикам. Если в двух словах, то все просто:
  • Берем все морды, выделяем те, где ссылки что-то стоят (и этих ссылок не слишком много и не слишком мало). Стоимость каждой ссылки считаем по волшебной формуле.
  • Выкачиваем все страницы, на которые ведут эти ссылки.
  • Автоматически, с помощью секретной технологии Семантическое Зеркало, определяем тематики выкачаных страниц и тематики ведущих на них ссылок.
  • Распределяем цены ссылок по определившимся тематикам.
  • Сортируем по месячному бюджету, добавляем в суп сайты - лидеры тематик по бюджетам.

Подробности читать тут.

Получается достаточно любопытно. Скажем, я знал что на пластиковые окна тратятся тысячи в месяц, но семь килобаксов только на морды - это уже за гранью добра и зла.

Ссылочное ранжирование в Рунете II: тексты ссылок, реципиенты ссылок

Продолжаю упражнения со ссылочной базой с "морд" сайтов рунета:
Ссылочное ранжирование в Рунете: реципиенты ссылок, тексты ссылок.

Рассмотрены:

  • получатели (реципиенты) ссылок с главных страниц;
  • наиболее частые тексты ссылок;
  • наиболее частые слова в текстах ссылок;
  • какие бюджеты тратятся на "морды"
  • какие тематики наиболее конкурентные
Обсуждать можно в коментах к этой записи.

Рунет в марте 2007 года

Выпустил в свет статью Рунет в марте 2007 года: домены, хостинг, география сайтов.

Написано полностью в формате предыдущего выпуска годовалой давности, поэтому цифирки можно сравнивать (что и сделано).

Краткие выводы:

  • никаких резких движений не произошло
  • сайты все больше перемещаются на хостинги с in-house
Из интересных фактов:
  • 22.7% Web-серверов - nginx
  • Мастерхост за год нарастил клиентскую базу почти втрое (остальные лидеры росли в лучшем случае чуть-чуть быстрее рынка)

Ссылочное ранжирование в Рунете

Написал очередную нетленную статью о ссылочном ранжировании в Рунете, включая покупку и продажу ссылок.

Рассмотрены:

  • общее состояние и динамика ссылочного ранжирования с главных страниц в Рунете за 2006 — начало 2007 года;
  • критерии, по которым можно отличить сайты с естественными ссылками от сайтов с платными ссылками;
  • оценена доля сайтов, занимающихся продажей ссылок, и общий оборот этого рынка.
Обсуждение лучше всего вести в комментариях к этой записи.

Рунет: растет, растет и растет.....

По результатам сбора данных для очередного выпуска черного квадрата, живых сайтов в рунете* уже более 600 тысяч**.

Полмиллиона отмечали в ноябре, значит за 4 месяца рост на 20% (т.е. более 70% годовых). Но если посмотреть на данные прошлого марта, то увидим реальный рост примерно на 60% (точно будет известно через неделю). Откуда следует, что в последние месяцы рост ускорился.

*как и всегда в черном квадрате, когда я пишу в рунете я имею в виду длинную формулировку сайты domain.tld или www.domain.tld, где domain.tld — домен 2-го уровня в .RU и .SU.

**на самом деле, в понедельник наскребется еще несколько тысяч, в выходные лежит обычно пара процентов сайтов.

Upd: Как и обещал, к вечеру понедельника их стало 605 тысяч. Ну не несколько процентов, а полпроцента. Но несколько тысяч.

Subscribe to черный квадрат