Q: выкачка гуглоснимков

Готовлюсь к лету, выкачиваю космоснимки для заливки в GPS.

Ну и вижу на экране SAS-Планеты такую вот картинку:

Для тех кто не в теме:
  • Темное - то где еще не выкачивали
  • Светлое - там где выкачивали и успешно скачали
  • Красное - там где выкачивали, но снимка заданного разрешения на гуглосервере нет.
И выкачивается оно последовательно, по столбцам, слева направо.

Печаль же моя вот какая:

  1. Очевидно, что отсутствующие части представляют собой прямоугольные области. Потому что снимки - прямоугольные и покрывают много тайлов сразу. Если снимка нет, то всех составляющих его тайлов - тоже нет (точнее, вокруг снимка есть еще полоска в несколько тайлов из снимка худшего разрешения, которому сделали upscale).
  2. Соответственно, если в столбце N нет тайлов с L по K, то и в столбце N+1 с очень большой вероятностью не будет этих же тайлов.
  3. Соответственно, наткнувшись на отсутствие тайлов в столбце - отсутствующую область можно оконтурить за примерно линейное время, пропорциональное сумме ширины и высоты.
  4. А SAS-Планета офигачивает отсутствующий участок за квадратичное время, просто пытаясь скачать все тайлы.
Все вместе получается обидно, всего я хочу скачать примерно миллион этих самых тайлов, из которых примерно трети, на глазок, нет. Вот бы поэкономить времени и трафика. Треть - это прилично так, у меня скачивается ~25% нужной области за день, вот день бы и поэкономил.

Отсюда вопрос: а нет ли качальщика для гугл-снимков, который пустые области качает оптимальнее? Понятно, внутри большой красной области (нет снимков) могут быть белые дырки (есть снимки), но у них те же свойства, они прямоугольные и довольно большие. То есть самплингом, один тайл в квадрате 4x4 (например) они легко находятся.

Comments

А можно подробнее о том как Вы карты используете? И в каком формате храните?
Реально помогают аэроснимки в GPS?

Я закачивал гуглофотки и OSM, но в итоге пользовался только последним в горах. Переключаться было лениво.

Так ведь заливаю растр в GPS: http://blog.lexa.ru/2011/05/12/o_rastre_v_gps_howto.html
Результат нравится.

Конкретно в Монголии снимки масштаба не мельче '16'-го (по масштабной линейке SAS Planet) - очень полезны.
В частности по той причине, что актуальные карты не очень есть. И, скажем, на карте может быть мост, который лет пять как смыло и хрен проедешь.
А на подробных снимках прекрасно видны часто используемые направления (дорог там тоже практически нет)

Я вот сейчас наложил наш трек двухлетней давности на снимки - и прекрасно видно места, где мы ехали хрен знает как, искали дорогу, сбивались с пути и т.п. (все - по карте), а искомое направление было в километре и наезжено.

C горами - да, хуже. Я потыкался в места, где относительно недавно бывал. Пожалуй, какой-то толк начинается только с "18-го" масштаба, а и покрытия такого мало и места они займут немеряно.

Спасибо, вроде разобрался. Буду экспериментировать.

Ещё вопрос: не пробовали ещё новые гармины с поддержкой ГЛОНАСС?
У меня сейчас дакота10, хочу поменять её на http://www.garmin.ru/portativnye-turisticheskie-navigatory-cat/etrex-30.... (барометр хочется и ГЛОНАСС), но отзывов пока нет.

Толку от дополнительного Глонасса не много (хотя он все же есть, справедливости ради), а от барометра в навигаторе - еще меньше. За то серия etrex как была начальной (и менее производительной, чем все остальное), так и осталась. Карту будет перерисовывать медленнее. Так что такой "апгрейд" будет типичным шилом на мыло.

Да, со снимками у меня был следующий случай в прошлом году.

Мы поехали из Ханха под Мунка-Сардык, чтобы туда на следующий день залезть ( с монгольской стороны, соответственно).
С нами был местный, который типа показывал дорогу, а вообще ему надо было туда же примерно, мы его значит подвозили.

И в некоторый момент он говорит "поворачивай туда". А я смотрю в прибор (и снимки в нем) и вижу, что "туда" поворачивать не надо, нужен следующий поворот, через километр. А по карте (70-х годов) - да, надо, но все поменялось.

Короче, вышло по-моему (повернули, потом вернулись), а местный житель очень удивлялся шайтан-технике, которая знает местность лучше аборигена.

Но, конечно, это доверие к технике когда-нибудь сильно поимеет. Для выездов на машине я даже 5-километровки перестал печатать на бумаге, что обязательно поимеет когда-нибудь (прибор куку - и все куку, только по следам выезжать). С пешими выходами пока держусь, километровку печатаю, благо нужно несколько листов всего, пешком далеко не убежать.

Гармины - не пробовал. Жду какую-то разумную версию прибора (6x или 7x-серию), etrex у меня был, пользоваться (интерфейсно) неудобно.

Лёш, там у них на форуме разработчиков можно веточку открыть со своей печалью
если признают печаль значимой - поправят и довольно быстро.
У меня есть положительный пример.

p.s для Магнолии пожалуй не важно, а вот в Гималаях столкнулся с фишкой, что если
стоит переменная высота в настройках (по спутникам) и внезапно оказывается видно
3 и меньше спутников (ущелье) высотомер начинает гнать пургу лютую
и самое печальное, что после обнаружения недостающих сателитов он не резко
выставляет правильную высоту, а потихоньку подгоняет, как буд-то я на планере спускаюсь
пришлось короче выключить прибор и включить, что бы убрать неизвестно откуда взявшийся
лишний километр высоты
http://dl.dropbox.com/u/61833598/foto/Kanchenjunga.rar

Ну это лучше, чем наоборот было, в старых приборах: если видно только 3 спутника, то высота принимается равной нулю (наверное). Или предыдущей.
У меня так трек как-то раз скакнул из Крыма в Запорожье и обратно, все одометры сбил.

ну я не знаю чего хорошего может быть вот в таком поведении прибора

по мне так уж лучше если потерял спутники не чудить, а рисовать полочку на той же
высоте, что и была до потери
в общем я устал ждать пока у него крыша вернётся на место
и просто выкл/вкл его

Если потерялся спутник и их осталось 3 (да еще и с переотражениями, как часто бывает в горах), то прибор не может выдать одну координату (из трех). Какую именно - ну как повезет, они все равнозначны.

Тебе ошиблись с высотой. А могли бы и с (горизонтальной) координатой. Оба плохо.

Вот потому и стоит по отдельному бароальтиметру высотный профиль писать. А потом уж латать дыры в треке по нему. Или наоборот (в смысле поправок на изменение давления от погоды)...

По теме обсуждения... есть ещё http://mobac.sourceforge.net/ для выкачки. Сам его не пробовал, пользовался SAS:Планета всегда.

Давно не пользовался этой софтиной, но если ничего не путаю, там имеются не только прямоугольные, но и полигональные выделения. Если дырки в покрытии высоким разрешением видны каким-то образом, может исключить их таким образом?
Еще до меня слухи доходили, что в бета-сборках уже и экспорт в JNX появился...

Дырки видны только после попытки выкачки :)

Выделять их самостоятельно - коран не велит

Ну с определенного масштаба дырки-то должны быть видны и глазом.. А кроме того, у гугла есть KML-файлик такой (в виде network link), где все обновления указываются, так вот выкачав его содержимое, можно получить представление о покрытии высоким разрешением.
Но раз руками - западло, значит западло.

А вот про KML-link - хочется поподробнее узнать. Карту покрытия определенным масштабом очень хочется, да.

Ага, нашел. Линк пусть тут будет для памяти

К сожалению, монголию как-то очень выборочно апдейтят. Что, собственно, и видно по результатам выкачки.

Пардон, не успел ссылочкой поделиться.
Апдейтят - как и все, полосами снимков QuickBird. Просто западной Монголии не повезло пока - соседние Синьдзянь, восток Монголии и Казахстан покрыты сплошными мозаиками. Думаю, и до западной доберутся.

Данные по ссылочке не претендуют на полноту - там апдейты с 2009 года.

Там есть "точечные апдейты", буквально немного листов в каждом месте (но их много).
Я так думаю, неудачные снимки (с облаками, к примеру) заменяют удачными.

А есть целыми большими регионами.

Вот по западной монголии много апдейтов первого типа и я не увидел - второго. В результате, покрытие 17-м зумом довольно выборочное, примерно половины тайлов нет. А где есть - есть и крупнее, но это уже не выкачать глобально.

В западной еще очень много мест покрыты просто данными Landsat (копирайт Terrametrics в Google Earth при отключенных всех остальных слоях, у него 15 метров разрешение, хуже - не бывает), есть данные от GeoEye (хз что это, GeoEye-1 или IKONOS - у первого ширина полосы съемки 15 км, у второго - 11, разрешение - полтора и три метра соответственно), есть от DigitalGlobe (QuickBird, 0.5 метра на точку). А вот вся восточная Монголия покрыта сплошным слоем от CNES/Spot - там хоть и хуже разрешение (5 метров в лучшем случае), но за то сплошняком и единовременно снятое. А вот опечатка буквально немного листов - это совсем по Фрейду. Только что писал на одном форуме по поводу принятого нового официального градостроительного классификатора: "сколько должно пройти времени, чтобы умерли все, кто был воспитан при Роскартографии?". Шутка вышла черная, но по-моему отражает истинную ситуацию...

Да, опечатка по фрейду, там если и наберется лист в таких апдейтах, то 250-метровки в лучшем случае.

Раз уж речь зашла: "разрешение" у снимков - это именно "разрешение" т.е. три точки (минимум) на указанный размер? Или это просто размер пикселя?

Размер пикселя.

Хотя на самом деле тут не все так просто - у большинства сенсоров есть два таких разрешения - мультиспектральное (т.е. для отдельных спектральных каналов) и панхроматическое (т.е. для канала, в котором данные по всему воспринимаемому диапазону).
Второе, как правило, в два раза лучше. И в некоторых случаях (тот же Landsat, у которого это 28 и 14 метров/пиксель соответственно) мультиспектральный композит улучшается процедурой pan-sharpening. Вроде такой: http://www.geosage.com/highview/imagefusion.html

Гугл следит за массовыми скачиваниями и неизбежно заносит IP в черный список (я пользовался программами allallsoft.com). Была идея самому написать программку, чтобы скачивала самые подробные тайлы только вокруг намеченного маршрута

через сутки из чёрного списка комп убирают
можно пользовать анонимные прокси
через ADVOR например
качает медленней чем напрямую - но качает!

Спасибо за подсказку :-) Мне казалось, что раньше банил на неделю.

Не подскажете, чем сейчас удобнее всего выкачивать гуглокарты? Желательно с произвольными слоями, например, велосипедным?

САСпланетой я пользуюсь
она сейчас сама делает карты для моего навигатора
не нужно париться кучей программ

А ты не вдавался в подробности - оно само конвертирует проекцию (из гугловой в WGS84) или оставляет это на слабенький процессор прибора?
Симптомы: конвертированное саспланетой "больше тормозит" при показе?

Мне уж очень не хочется ковыряться в содержимом этих файлов, разбираться хорошо ли стало.

для этого надо провести эксперимент
или спросить у них на форуме
попробую второе, так как первое делать лениво
и я не уверен что однозначно идентифицирую разницу

то что я наконвертировал открывалось не особо быстро
но я это относил на счёт большого размера полученных карт
там порядка 2Гб получалось

Ну я вот на пробу сконвертировал зумы 12-15 в один файл (3 слоя).
Зум 12, если верить самой программе, это 50 метров на пиксель т.е. во всю ширину экрана влезет километров 12-15.
А показываться оно начинает с зума "20 километров на линеечку" (~80-100 км на экранчик). И скроллится очень медленно.

Слишком мелко, явно придется руками величину зума править. А раз туда руками лезть, то пойду я по старому пути, через GlobalMapper, так оно надежнее.

второй вопрос оказывается во всю там обсуждается
http://sasgis.ru/mantis/view.php?id=1269

про wgs84 попробую создать ветку-запрос

Еще бы он не обсуждался - место то больное.
Но вот стандартная табличка масштабов, предложенная там разработчиком, мне не нравится.

Фигану ка я все руками, так надежнее.

если временной цейтнот - лучше проверенное решение
ну а мне уже можно подождать, посмотреть, что там наваяют в итоге
в этом году лимит дальних путешествий исчерпан

Ну да, заносит.
Мне удается продержаться или 20 минут или, редко, час (почему-то только такие времена).
За час скачивается 35-50 тысяч тайлов (из нужного мне миллиона).

Дальше - реконнект, провайдер (ADSL) выдает новый IP.