Q: выкачка гуглоснимков

lexa - 24/Май/2012 10:30

Готовлюсь к лету, выкачиваю космоснимки для заливки в GPS.

Ну и вижу на экране SAS-Планеты такую вот картинку:

Для тех кто не в теме:
  • Темное - то где еще не выкачивали
  • Светлое - там где выкачивали и успешно скачали
  • Красное - там где выкачивали, но снимка заданного разрешения на гуглосервере нет.
И выкачивается оно последовательно, по столбцам, слева направо.

Печаль же моя вот какая:

  1. Очевидно, что отсутствующие части представляют собой прямоугольные области. Потому что снимки - прямоугольные и покрывают много тайлов сразу. Если снимка нет, то всех составляющих его тайлов - тоже нет (точнее, вокруг снимка есть еще полоска в несколько тайлов из снимка худшего разрешения, которому сделали upscale).
  2. Соответственно, если в столбце N нет тайлов с L по K, то и в столбце N+1 с очень большой вероятностью не будет этих же тайлов.
  3. Соответственно, наткнувшись на отсутствие тайлов в столбце - отсутствующую область можно оконтурить за примерно линейное время, пропорциональное сумме ширины и высоты.
  4. А SAS-Планета офигачивает отсутствующий участок за квадратичное время, просто пытаясь скачать все тайлы.
Все вместе получается обидно, всего я хочу скачать примерно миллион этих самых тайлов, из которых примерно трети, на глазок, нет. Вот бы поэкономить времени и трафика. Треть - это прилично так, у меня скачивается ~25% нужной области за день, вот день бы и поэкономил.

Отсюда вопрос: а нет ли качальщика для гугл-снимков, который пустые области качает оптимальнее? Понятно, внутри большой красной области (нет снимков) могут быть белые дырки (есть снимки), но у них те же свойства, они прямоугольные и довольно большие. То есть самплингом, один тайл в квадрате 4x4 (например) они легко находятся.

Comments

weyjrd (not verified) - 24/Май/2012 10:56

А можно подробнее о том как Вы карты используете? И в каком формате храните?
Реально помогают аэроснимки в GPS?

Я закачивал гуглофотки и OSM, но в итоге пользовался только последним в горах. Переключаться было лениво.

lexa - 24/Май/2012 11:19

Так ведь заливаю растр в GPS: http://blog.lexa.ru/2011/05/12/o_rastre_v_gps_howto.html
Результат нравится.

Конкретно в Монголии снимки масштаба не мельче '16'-го (по масштабной линейке SAS Planet) - очень полезны.
В частности по той причине, что актуальные карты не очень есть. И, скажем, на карте может быть мост, который лет пять как смыло и хрен проедешь.
А на подробных снимках прекрасно видны часто используемые направления (дорог там тоже практически нет)

Я вот сейчас наложил наш трек двухлетней давности на снимки - и прекрасно видно места, где мы ехали хрен знает как, искали дорогу, сбивались с пути и т.п. (все - по карте), а искомое направление было в километре и наезжено.

C горами - да, хуже. Я потыкался в места, где относительно недавно бывал. Пожалуй, какой-то толк начинается только с "18-го" масштаба, а и покрытия такого мало и места они займут немеряно.

weyjrd (not verified) - 24/Май/2012 12:02

Спасибо, вроде разобрался. Буду экспериментировать.

Ещё вопрос: не пробовали ещё новые гармины с поддержкой ГЛОНАСС?
У меня сейчас дакота10, хочу поменять её на http://www.garmin.ru/portativnye-turisticheskie-navigatory-cat/etrex-30.... (барометр хочется и ГЛОНАСС), но отзывов пока нет.

ext_310638 (not verified) - 24/Май/2012 18:36

Толку от дополнительного Глонасса не много (хотя он все же есть, справедливости ради), а от барометра в навигаторе - еще меньше. За то серия etrex как была начальной (и менее производительной, чем все остальное), так и осталась. Карту будет перерисовывать медленнее. Так что такой "апгрейд" будет типичным шилом на мыло.

lexa - 25/Май/2012 09:11

Да, со снимками у меня был следующий случай в прошлом году.

Мы поехали из Ханха под Мунка-Сардык, чтобы туда на следующий день залезть ( с монгольской стороны, соответственно).
С нами был местный, который типа показывал дорогу, а вообще ему надо было туда же примерно, мы его значит подвозили.

И в некоторый момент он говорит "поворачивай туда". А я смотрю в прибор (и снимки в нем) и вижу, что "туда" поворачивать не надо, нужен следующий поворот, через километр. А по карте (70-х годов) - да, надо, но все поменялось.

Короче, вышло по-моему (повернули, потом вернулись), а местный житель очень удивлялся шайтан-технике, которая знает местность лучше аборигена.

Но, конечно, это доверие к технике когда-нибудь сильно поимеет. Для выездов на машине я даже 5-километровки перестал печатать на бумаге, что обязательно поимеет когда-нибудь (прибор куку - и все куку, только по следам выезжать). С пешими выходами пока держусь, километровку печатаю, благо нужно несколько листов всего, пешком далеко не убежать.

lexa - 24/Май/2012 21:12

Гармины - не пробовал. Жду какую-то разумную версию прибора (6x или 7x-серию), etrex у меня был, пользоваться (интерфейсно) неудобно.

neuda4nik (not verified) - 24/Май/2012 12:09

Лёш, там у них на форуме разработчиков можно веточку открыть со своей печалью
если признают печаль значимой - поправят и довольно быстро.
У меня есть положительный пример.

p.s для Магнолии пожалуй не важно, а вот в Гималаях столкнулся с фишкой, что если
стоит переменная высота в настройках (по спутникам) и внезапно оказывается видно
3 и меньше спутников (ущелье) высотомер начинает гнать пургу лютую
и самое печальное, что после обнаружения недостающих сателитов он не резко
выставляет правильную высоту, а потихоньку подгоняет, как буд-то я на планере спускаюсь
пришлось короче выключить прибор и включить, что бы убрать неизвестно откуда взявшийся
лишний километр высоты
http://dl.dropbox.com/u/61833598/foto/Kanchenjunga.rar

lexa - 24/Май/2012 21:11

Ну это лучше, чем наоборот было, в старых приборах: если видно только 3 спутника, то высота принимается равной нулю (наверное). Или предыдущей.
У меня так трек как-то раз скакнул из Крыма в Запорожье и обратно, все одометры сбил.

neuda4nik (not verified) - 25/Май/2012 04:36

ну я не знаю чего хорошего может быть вот в таком поведении прибора

по мне так уж лучше если потерял спутники не чудить, а рисовать полочку на той же
высоте, что и была до потери
в общем я устал ждать пока у него крыша вернётся на место
и просто выкл/вкл его

lexa - 25/Май/2012 12:15

Если потерялся спутник и их осталось 3 (да еще и с переотражениями, как часто бывает в горах), то прибор не может выдать одну координату (из трех). Какую именно - ну как повезет, они все равнозначны.

Тебе ошиблись с высотой. А могли бы и с (горизонтальной) координатой. Оба плохо.

Bushman - 25/Май/2012 16:17

Вот потому и стоит по отдельному бароальтиметру высотный профиль писать. А потом уж латать дыры в треке по нему. Или наоборот (в смысле поправок на изменение давления от погоды)...

weyjrd (not verified) - 24/Май/2012 12:54

По теме обсуждения... есть ещё http://mobac.sourceforge.net/ для выкачки. Сам его не пробовал, пользовался SAS:Планета всегда.

Bushman - 24/Май/2012 16:05

Давно не пользовался этой софтиной, но если ничего не путаю, там имеются не только прямоугольные, но и полигональные выделения. Если дырки в покрытии высоким разрешением видны каким-то образом, может исключить их таким образом?
Еще до меня слухи доходили, что в бета-сборках уже и экспорт в JNX появился...

lexa - 24/Май/2012 21:09

Дырки видны только после попытки выкачки :)

Выделять их самостоятельно - коран не велит

Bushman - 25/Май/2012 09:59

Ну с определенного масштаба дырки-то должны быть видны и глазом.. А кроме того, у гугла есть KML-файлик такой (в виде network link), где все обновления указываются, так вот выкачав его содержимое, можно получить представление о покрытии высоким разрешением.
Но раз руками - западло, значит западло.

lexa - 25/Май/2012 11:45

А вот про KML-link - хочется поподробнее узнать. Карту покрытия определенным масштабом очень хочется, да.

lexa - 25/Май/2012 12:06

Ага, нашел. Линк пусть тут будет для памяти

К сожалению, монголию как-то очень выборочно апдейтят. Что, собственно, и видно по результатам выкачки.

Bushman - 25/Май/2012 16:32

Пардон, не успел ссылочкой поделиться.
Апдейтят - как и все, полосами снимков QuickBird. Просто западной Монголии не повезло пока - соседние Синьдзянь, восток Монголии и Казахстан покрыты сплошными мозаиками. Думаю, и до западной доберутся.

Данные по ссылочке не претендуют на полноту - там апдейты с 2009 года.

lexa - 25/Май/2012 17:21

Там есть "точечные апдейты", буквально немного листов в каждом месте (но их много).
Я так думаю, неудачные снимки (с облаками, к примеру) заменяют удачными.

А есть целыми большими регионами.

Вот по западной монголии много апдейтов первого типа и я не увидел - второго. В результате, покрытие 17-м зумом довольно выборочное, примерно половины тайлов нет. А где есть - есть и крупнее, но это уже не выкачать глобально.

Bushman - 25/Май/2012 17:59
В западной еще очень много мест покрыты просто данными Landsat (копирайт Terrametrics в Google Earth при отключенных всех остальных слоях, у него 15 метров разрешение, хуже - не бывает), есть данные от GeoEye (хз что это, GeoEye-1 или IKONOS - у первого ширина полосы съемки 15 км, у второго - 11, разрешение - полтора и три метра соответственно), есть от DigitalGlobe (QuickBird, 0.5 метра на точку). А вот вся восточная Монголия покрыта сплошным слоем от CNES/Spot - там хоть и хуже разрешение (5 метров в лучшем случае), но за то сплошняком и единовременно снятое. А вот опечатка буквально немного листов - это совсем по Фрейду. Только что писал на одном форуме по поводу принятого нового официального градостроительного классификатора: "сколько должно пройти времени, чтобы умерли все, кто был воспитан при Роскартографии?". Шутка вышла черная, но по-моему отражает истинную ситуацию...

lexa - 25/Май/2012 18:31

Да, опечатка по фрейду, там если и наберется лист в таких апдейтах, то 250-метровки в лучшем случае.

Раз уж речь зашла: "разрешение" у снимков - это именно "разрешение" т.е. три точки (минимум) на указанный размер? Или это просто размер пикселя?

Bushman - 25/Май/2012 19:02

Размер пикселя.

Хотя на самом деле тут не все так просто - у большинства сенсоров есть два таких разрешения - мультиспектральное (т.е. для отдельных спектральных каналов) и панхроматическое (т.е. для канала, в котором данные по всему воспринимаемому диапазону).
Второе, как правило, в два раза лучше. И в некоторых случаях (тот же Landsat, у которого это 28 и 14 метров/пиксель соответственно) мультиспектральный композит улучшается процедурой pan-sharpening. Вроде такой: http://www.geosage.com/highview/imagefusion.html

rrr2 (not verified) - 24/Май/2012 19:16

Гугл следит за массовыми скачиваниями и неизбежно заносит IP в черный список (я пользовался программами allallsoft.com). Была идея самому написать программку, чтобы скачивала самые подробные тайлы только вокруг намеченного маршрута

neuda4nik (not verified) - 24/Май/2012 19:30

через сутки из чёрного списка комп убирают
можно пользовать анонимные прокси
через ADVOR например
качает медленней чем напрямую - но качает!

rrr2 (not verified) - 24/Май/2012 19:46

Спасибо за подсказку :-) Мне казалось, что раньше банил на неделю.

Не подскажете, чем сейчас удобнее всего выкачивать гуглокарты? Желательно с произвольными слоями, например, велосипедным?

neuda4nik (not verified) - 24/Май/2012 20:08

САСпланетой я пользуюсь
она сейчас сама делает карты для моего навигатора
не нужно париться кучей программ

lexa - 27/Май/2012 13:31

А ты не вдавался в подробности - оно само конвертирует проекцию (из гугловой в WGS84) или оставляет это на слабенький процессор прибора?
Симптомы: конвертированное саспланетой "больше тормозит" при показе?

Мне уж очень не хочется ковыряться в содержимом этих файлов, разбираться хорошо ли стало.

Anonymous (not verified) - 27/Май/2012 16:00

для этого надо провести эксперимент
или спросить у них на форуме
попробую второе, так как первое делать лениво
и я не уверен что однозначно идентифицирую разницу

то что я наконвертировал открывалось не особо быстро
но я это относил на счёт большого размера полученных карт
там порядка 2Гб получалось

lexa - 27/Май/2012 16:12

Ну я вот на пробу сконвертировал зумы 12-15 в один файл (3 слоя).
Зум 12, если верить самой программе, это 50 метров на пиксель т.е. во всю ширину экрана влезет километров 12-15.
А показываться оно начинает с зума "20 километров на линеечку" (~80-100 км на экранчик). И скроллится очень медленно.

Слишком мелко, явно придется руками величину зума править. А раз туда руками лезть, то пойду я по старому пути, через GlobalMapper, так оно надежнее.

neuda4nik (not verified) - 27/Май/2012 17:05

второй вопрос оказывается во всю там обсуждается
http://sasgis.ru/mantis/view.php?id=1269

про wgs84 попробую создать ветку-запрос

lexa - 27/Май/2012 17:22

Еще бы он не обсуждался - место то больное.
Но вот стандартная табличка масштабов, предложенная там разработчиком, мне не нравится.

Фигану ка я все руками, так надежнее.

neuda4nik (not verified) - 27/Май/2012 17:29

если временной цейтнот - лучше проверенное решение
ну а мне уже можно подождать, посмотреть, что там наваяют в итоге
в этом году лимит дальних путешествий исчерпан

lexa - 24/Май/2012 21:13

Ну да, заносит.
Мне удается продержаться или 20 минут или, редко, час (почему-то только такие времена).
За час скачивается 35-50 тысяч тайлов (из нужного мне миллиона).

Дальше - реконнект, провайдер (ADSL) выдает новый IP.