Интеграция с PastVu

[projecteurlumiere]

Всем привет!

Очень приятно видеть опен-сорсные проекты на Рельсах, да ещё и в России.

У меня в какой-то момент была похожая идея с историческими местами, которая (пока ещё) не взлетела. Для неё я сделал небольшой гем Pastvu, который делает запросы на сайт PastVu и возвращает исторические фотографии с описаниями и другой информацией возле нужной координаты или в пределах нужных координат.

В контексте того, что планируется интеграция с картами (#58), можно было бы запрашивать фотографии вблизи искомых исторических зданий - нужны только координаты здания и радиус.

Если принципиально, можно более точно предсказать, будет ли искомое здание на фотографиях: у каждой фотографии на PastVu есть указание направления съёмки (сторона света: север, северо-запад, запад, и так далее).

Единственное, надо иметь в виду, что PastVu не резиновый - иногда сайт лежит, поэтому пользоваться их API необходимо ответственно.

Если идея и гем найдут применение здесь, с удовольствием позанимаюсь гемом при необходимости - в деле его испытывал всего пару раз.

[sergio-fry]

Отличная возможность, нужно обязательно иметь это ввиду. Вероятно, можно рекомендовать фото, но предупреждать, они не точно принадлежат данному месту. Еще можно подумать о механизме ручного апрува прикрепления фото из списка рекомендаций.

[sergio-fry]

У нас пока адрес - это строка и мы пока не умеем кодировать это в координаты. Что-то тут можешь посоветовать?

[projecteurlumiere]

У нас пока адрес - это строка и мы пока не умеем кодировать это в координаты. Что-то тут можешь посоветовать?

Могу сказать, что комбинация из OSM, их Nominatim API и LeafletJS в принципе работает.

В OSM'овский Номинатим можно делать как структурированный, так и не структурированный запрос. На него он возвращает один из трёх типов объектов на карте: node (точка на карте), way (линия) или relation (многогранник-полигон, очерчивающий границы объекта). Для зданий это будет или node, или relation, но иногда попадается и way. Кроме отображения на карте они ничем не отличаются: у них есть название, тип, уникальный osm_id и ещё всякие сопроводительные данные. Node конвертируется в координату; из полигона relation'а можно высчитать координату центра полигона или ничего не трогать, оставив в виде geojson, и показывать на карте сам полигон; с way'ем может быть посложнее.

Из плюсов:

• Бесплатно и открытый код, но всегда можно найти за что заплатить. Например за красивые тайлы для leaflet'а
• Географических данных много; нужные здания или монументы зачастую есть, даже если очень маленькие и невзрачные.
• Иногда может попасться всякая историческая и не очень информация - старые названия, этажность, года постройки и так далее. Я бы на это не очень рассчитывал.
• В крайнем случае, OSM можно отредактировать самостоятельно и вручную - активисты этим занимаются.

В любом случае, и это минусы, нужно ручное вмешательство, потому что:

• Поисковая выдача не всегда бывает релевантной или даже предсказуемой. Иногда попадаются объекты с одинаковыми названиями в разных концах города, иногда объекты дублируются, иногда есть несколько разных объектов, которые равны в иерархии OSM'а, хотя здравый смысл говорит об обратном. Например, есть дом - это один объект, а в доме ещё кафе, офис и детский сад - это всё объекты внутри дома. Для OSM'а между ними может не быть иерархической связи: кафе и офис будут просто node'ами, а дом - relation'ом, у всех один адрес и все они равны. Поэтому первым пунктом по запросу "улица такая-то дом такой-то" OSM может выдать node с детским садом по этому адресу, а не relation самого дома, в котором этот детский сад по факту находится.
• Объекты в OSM не постоянны и у них нет постоянных ID, поэтому нужно сопротивляться соблазну полагаться на всякие osm_id, чтобы стабильно получать обновлённые данные, касаемо географии здания. А данные там обновляются часто. В этой связи есть смысл просто один раз запрашивать у OSM нужную координату или полигон, хранить их и выводить через Leaflet в любом количестве и качестве. При редкой необходимости, можно переспрашивать у OSM'а новые географические данные. Поэтому упомянутое в Отображение объектов на карте #58 (comment) ограничение по запросам в секунду (пока что) не актуально, так как а) эти запросы можно переложить на клиента, б) создание одного здания в секунду (учитывая, что у него есть описание и картинки) - это, кажется, много.
  • Альтернатива oms_id, как они сами пишут, может быть id из wikidata - он есть у некоторых объектов на карте. Но не могу сказать, насколько это удобно.

В целом, я бы сказал, что при создании здания следует дать юзеру/модератору карту на leaflet'е и дать ему возможность видеть на эту карту и тыкать на неё, если что-то не получается. Общий порядок действий при этом следующий:

• Пользователь вводит адрес здания.
• Пользователь получает поисковую выдачу с OSM'а со всеми релевантными объектами, даже если сыроватую; каждый объект подсвечивается на карте.
• Если юзеру нравится объект в выдаче - он выбирает его.
• Если юзеру не нравится, он тыкает на карту, чтобы поставить свою координату - и получить объекты возле неё, подсвеченные и выведенные списком.
• Если какой-то объект понравился - выбирает. На сервере можно будет в кратчайшие сроки переспросить nominatim, передав osm_id от клиента и получив нужные координаты/полигоны самостоятельно, и закинуть полученные данные в базу.
• Если ничего не понравилось, можно будет просто сохранить точку, на которую юзер тыкнул - без привязки к OSM.

[projecteurlumiere]

адрес - это строка

Хорошая идея - разбивать её на какие-то логические части: название улицы, номер дома, город и так далее. Но это по возможности. Тогда можно будет пользоваться структурированными запросами в nominatim'е и по-разному сортировать накопившиеся здания на сайте.

Ещё настоятельно рекомендую взглянуть на сайт Сitywalls - это, если я всё правильно понимаю, ближайший концептуальный конкурент этому проекту, но исключительно для Петербурга. Но прежде чем промелькнёт мысль, что всё опять уже было кем-то придумано, скажу, что спрос на такой жанр проектов есть: активисты-градозащитники хотят открытый код, хотят, чтобы такие проекты можно было начинать в разных городах и хотят, чтобы выглядело симпатично-современно, а не как на Citywalls.

Стоит обратить внимание, что у них там есть каталог улиц; на каждой улице - каталог зданий, и у каждого здания - года постройки, архитекторы (чьи здания также можно посмотреть) и так далее. Для всего этого, конечно, нужна архитектура посложнее - модели и таблицы для улиц, личностей-архитекторов и так далее.

Но главное - я так понял, это планируется и здесь, - под каждым зданием есть секция с комментариями, в которой люди обмениваются фактами, своими личными впечатлениями, историями и так далее - вероятно, не менее ценная информация, чем сами описания домов. Описания, кстати, сделаны через функционал, который можно было бы взять из Action Text'а: текст форматируется, картинки прикладываются и сортируются. Я так понял здесь это планируется, но ещё не сделано.

[projecteurlumiere]

Если ничего не понравилось, можно будет просто сохранить точку, на которую юзер тыкнул - без привязки к OSM.

В крайнем случае, всегда можно сделать так: ни к чему не привязываться вообще и сохранять только координаты от юзера.

Из альтернатив, которые не были названы в #58 и выше, упомяну, что в некоторых городах и на конкретные тематики можно найти государственные/муниципальные географические данные. Я так искал информацию по действующим и утраченным кладбищам - нужны были их полигоны, чтобы отображать поверх современной карты города. На OSM'е было многое, но далеко не всё. А потом вдруг нашлась какая-то официальная городская рабочая группа по кладбищам, и их данные были полные, в открытом доступе, с уникальной дополнительной информацией, и отформатированные - всё красиво. Доступность таких данных очень зависит от города, страны и тематики, но иногда можно отыскать очень достойные источники.

Это я говорю в том числе к тому, что узкая тематическая и/или географическая направленность - это большой плюс для историко-географических проектов. Тот же Citywalls - история чисто питерская, а Pastvu, кажется, начинался с Варламова, который блоггер, и с Москвы.

[sergio-fry]

Спасибо за такой развернутый комментарий. Нужно будет добавить задачки в issues. Кстати, если есть возможность и желание, ты бы мог и сам добавить задачки, так как ты уже в теме.

[projecteurlumiere]

Спасибо за такой развернутый комментарий. Нужно будет добавить задачки в issues. Кстати, если есть возможность и желание, ты бы мог и сам добавить задачки, так как ты уже в теме.

Я могу, но лишь бы моё видение и моя на работа над аналогичной темой не пересекались в плохом смысле с тем, что планируется здесь.

Если строгого концепта нет, я могу "наспамить" задачками на разные темы по поводу того, с чем сам сталкивался и что, как мне кажется, может быть востребовано.

[sergio-fry]

Давай, наспамь. Если что - мы скорректируем. Можешь пока в черновом кратком виде сформулировать, чтобы не тратить много времени.

[projecteurlumiere]

Давай, наспамь. Если что - мы скорректируем. Можешь пока в черновом кратком виде сформулировать, чтобы не тратить много времени.

За задержку извините, но если по некоторым пунктам:

Адреса и названия как уникальные идентификаторы:

Использовать современный адрес как единственный уникальный идентификатор (исторического) здания является проблематичным в силу нескольких причин:

1. У такого здания может не быть адреса в принципе, а только адрес приблизительный (например без номера дома), особенно если речь идёт о монументах.
2. У такого здания может быть собственное историческое название, по которому оно наиболее известно. Более того, таких названий может быть несколько, как отражённых в официальных документах, так и просто распространённых среди местных жителей. Например, не Невский пр. д. 28, а Дом Зингера; а ещё и Дом книги - по названию магазина на первом этаже - и так далее.
3. У здания может быть несколько адресов в зависимости от местных официальных языков, причём такие адреса могут быть равнозначными.
4. И вишенка на торте: у здания может быть несколько исторических адресов, связанных с переименованием улиц или переходом территории из рук в руки. Так, в Выборге есть названия современные, потом - назад во времени - советские, потом финские и шведские, потом дореволюционные русские, финские и шведские.
5. В конце концов, здание может быть утраченным и не иметь современного адреса по определению.

Что можно сделать:

• Нужна модель Улица, который будут принадлежать здания, а далее у зданий могут быть свои уникальные идентификаторы: номера домов или приблизительные описания "между домой таким-то и таким-то". По-моему, примерно так же это выглядит на Citywalls. Личные названия домов остаются за домами, разные названия улиц - за улицами.
• Для всех прочих названий улиц и домов - современных, исторических, на других языках, - стоит придумать что-то лучше, чем хранить их в базе в поле json, поскольку хотя бы часть этих названий юзер может попробовать вбить в строку поиска, чтобы найти искомое здание. Это, конечно, при условии, что такая строка поиска будет - а хотелось бы.

Атрибуты для зданий

• Здания могут иметь атрибуты вроде годов постройки (а также реставрации или, что важнее, утраты), архитектурных стилей, архитекторов и так далее.

Что можно сделать:

• Некоторые атрибуты - года - можно просто добавить к модели зданий, а вот всякие стили и архитекторы - которые могут принадлежать нескольким зданиями - целесообразно вынести в отдельные модели, по которым также можно осуществлять поиск/сортировку: покажите мне все здания этого архитектора или этого стиля, или всех архитекторов этого стиля и так далее.

Масштабы

• С ними надо определиться заранее. Здесь две крайности: с одной стороны, это может быть просто общий сайт, где юзер создаёт здание в любой точке мира, пишет что-то про него, комментирует своими личными впечатлениями другое здание и так далее. Примерно так работает Pastvu: глобальная карта и разбросанные по ней фото с комментариями.
  • Этот подход ведёт к бесконечному числу проблем. Про те же адреса и названия: как в пределах одного приложения удовлетворить все возможные языковые, временные и стилистические потребности, чтобы всё не сломалось и оставалось единообразным? А модерация? А наполнение? У Pastvu всё хорошо, потому что кроме фотографии, названия и описания в одну строчку там ничего нет. А здесь описание - это rich text, а писать и проверять rich text - это трудоёмко.
• Вторая крайность, которая мне нравится гораздо больше, - это свести всё к узконаправленности: ограничиться конкретным городом, например, или регионом.
  • В этом случае стилистических ограничений становится меньше и появляется аудитория из активистов и просто местных жителей, которым было бы интересно модерировать, составлять описания, комментировать и читать. Опять же Citywalls - проект сравнительно успешный в том числе потому, что он ограничен ровно одним городом.

Что можно сделать:

• Или выбрать конкретное место с конкретными требованиями - а также, скорее всего, конкретных активистов-градозащитников, которым интересна историческая тема в своей географии и которые могли бы подсказать, какие особенности и пожелания у них есть.
• Или стараться делать всё максимально обще, позиционируясь или как template, который можно форкнуть с целью подстраивания под свои локальные требования, или даже как гем - короче говоря, набор готовых контроллеров, моделей и стилей, чтобы заиметь свой личный Citywalls было проще.
• В любом случае, необходимы роли для юзеров и какой-то интерфейс для модерации: модераторы должны иметь первоочередной доступ к созданию объектов на карте и написанию rich text описаний, а также иметь возможность проверять, что создано или отредактировано в форме rich text'а простыми юзерами. Здесь очень много деталей, но сводится всё к тому, что модератор не просто сторожит комментарии от спама, а является, скорее всего, активистом, который сам здания на карту наносит и следит за наполнением и точностью информации.

[sergio-fry]

Я о таких моментах и думать не думал. Супер!