Доверяй, но проверяй

lexa - 29/Окт/2008 13:05

liru-mail.png LiveInternet выкатил статистику по переходам из почтовых систем, которая удивила как минимум в двух местах:

  • Во-первых, доля Яндекса оказалась заниженной. Выяснилось, что в ряде случаев резался реферер, что в Яндекс.Почте быстро поправили.
  • Во-вторых, доля Гугл-почты оказалась просто неприлично низкой, меньше процента.

Впрочем, несложный эксперимент показал, что gmail.com тоже режет рефереры. Посылаем сами себе письмо со ссылкой на собственный сайт (логи которого доступны), жмем на нее и видим в логах:

91.78.182.177 - - [29/Oct/2008:12:50:09 +0300] "GET /2008/10/post.html HTTP/1.1"
 200 32630 "-" "Mozilla/4.0 (compatible; MSIE 7.0;...."
Другими словами, о доле Gmail по этой статистике судить никак нельзя. Раз в логах нет, значит и Javascript-счетчик реферера не увидит.

Чтобы два раза не вставать, пну еще и гиганта. Письмо с сабжектом "вот ссылка" и текстом из этой ссылки и подписи gmail.com положил в папку Spam.

Comments

Maxime (not verified) - 29/Окт/2008 13:29

Реферер шлет броузер, и он же решает резать его или нет, от просматриваемого сайта это не зависит. В коменте от Кукуца говорится о редиректе для внешних ссылок, это означает, что реферером на ссылаймом сайте указывался скрипт редиректа, а не адрес страницы почтовика.

lexa - 29/Окт/2008 13:43

Ссылка там прямая. Но мне не хочется разбираться гмейловом в яваскрипте (который вполне может на onclick иметь свое мнение о жизни).

Какой-то другой причины, по которой у меня браузер не показывает реферер посещаемому сайту - я пока не придумал.

Maxime (not verified) - 29/Окт/2008 14:09

Установите Live headers плагин к файрфоксу и убедитесь, от gmail.com и его скриптов это не зависит, при клике по урлу со схемой http:// браузер реферер не передает, при клике по другому урлу из того же письма но со схемой https:// реферер передается.

lexa - 29/Окт/2008 14:13

Установил (уже был установлен). Убедился, что с http://mail.google.com на http://twitter.lexa.ru реферер не передается.

Дамп заголовков прислать?

А если ходить просто чиста по ссылкам - передается.

Собственно, вы действительно считаете, что доля гугла - 0.7%? Не думаю, я думаю что в разы больше, может быть и в 10 раз.

Maxime (not verified) - 29/Окт/2008 15:35

У меня передаются. Могу тоже дам прислать :)
Это не зависит от посещаемых сайтов, это больше зависит от браузера.
У gmail.com схема по умолчанию после логина устанавливается в https:, поэтому большая часть переходов не учитывается, - 0,7% сильно заниженная цифра, скоре всего в неё только https: ссылки входят.

lexa - 29/Окт/2008 15:56

Максим, у меня
1) реферер не передается ни файрфоксом ни ИЕ
2) схема ставится в http

Это новая регистрация, сделанная на этой неделе. Раньше действительно было https, а потом я долго не пользовался гмейлом

Maxime (not verified) - 29/Окт/2008 17:41

Передается реферер при клике http -> http, и в firefox, и в IE. Вот скриншот лога Proxomitron (если будете его пробовать, то он по умолчанию настроен на отрезание заголовка Referer во всех исходящих запросах) при клике в IE по ссылке http -> http: http://photos.sochi.org.ru/Maxime/ie

У вас случаем никакх прокси или антивирусов не стоит, которые могут резать этот заголовок ?

lexa - 29/Окт/2008 17:53

Максим, я естественно проверил просто на сайтах. Передается реферер (а firewall\proxy если и резали бы, то после, в livehttpheaders заголовки были бы).

Вот и у людей режет: http://www.roem.ru/2008/10/29/addednews8359/?c#message24595

Похоже, вы такой феномен один. Ну, из тех 0.7%

Maxime (not verified) - 29/Окт/2008 20:48

Собственно дело в Gmail view, если использовать HTML Basic, то реферер не режется, в стандартном, устанавливаемом по-умолчанию, - режется.

lexa - 29/Окт/2008 20:58

Ну наконец разобрались!

kkapp [id.rambl... (not verified) - 29/Окт/2008 16:35

Максим, возможно вы открываете ссылку из gmail-а в новом окне/табе из правокнопочного меню? В этом случае шансов срезать реферер у них нет, и его действительно видно в Live HTTP Headers.

Maxime (not verified) - 29/Окт/2008 17:35

Да, я всегда открываю правой кнопкой. Но в случае клика https: -> http: реферер не пердается даже в этом случае...

Maxime (not verified) - 29/Окт/2008 17:52

Проверил клик левой кнопкой мыши - лог такой же как указано выше, реферер на месте. Если что-то в виндах (у большинства пользователей именно она и соотношение mail.ru/google.com в этом отчете весьма близко к отношению Windows/остальное) и режет реферер, то явно не Гугол.

euhenio (not verified) - 29/Окт/2008 15:06

Из каких поисковых систем???

Написано: "количество переходов из почтовых сервисов"

lexa - 29/Окт/2008 15:12

О, да, спасибо. Описко, исправил

An nimo (not verified) - 29/Окт/2008 15:20

В коменте от Кукуца говорится о редиректе для внешних ссылок, это означает, что реферером на ссылаймом сайте указывался скрипт редиректа, а не адрес страницы почтовика.
-----------------------------------------------

Вы не совсем правы.
Когда идет редирект по url используемым элементами DOM referrer не меняется. Если идет редирект для окна или ифрема, то правда. В данном случае речь про элемент. Можете поглядеть как это работает в Рамблер-почте, к примеру.

dk42 (not verified) - 29/Окт/2008 10:13

Вообще-то, зарезать реферер в веб-почте - считается хорошим тоном - из соображений privacy, security, etc. В этом смысле Яндекс восхищает.

Anonymous (not verified) - 29/Окт/2008 20:24

Надо веб-почту нормально писать и тогда с referrer проблем вообще не будет.

Константин (not verified) - 15/Июн/2013 22:45

Перепроверить результаты liveinternet иногда бы хотелось, потому что кажется что они бывают на самом деле не очень достоверны в точности, просто проверял даже на простом скрипте статистики.