Итак, претенденты на первые 15 мест определились, но можно записываться в резерв. Все, кто проходил тест получили письма. Проверьте, плиз, папку спам, если их нет во входящих)

Всем привет:)
Пройдите, пожалуйста, опрос для социально-полезного исследования. Если есть вопросы, комментарии, пишите в чате канала - автор ответит

В рамках научных исследований, по формированию синтетических данных, проводим опрос, ссылке:
https://forms.yandex.ru/u/635a9c19068ff01f1520bfc9/

Цель: исследовательская работа посвященная созданию UML модели городского жителя, в рамках проекта формирования синтетической популяции;

- опрос не собирает персональные данные;

- собранный набор данных, будут выложены в открытый доступ для решения различных исследовательских задач;
лицензия: AFL-3.0 https://opensource.org/licenses/AFL-3.0


Дата для публикации: 27.12.2022

47.8 миллионов километров дорог распознано в картах Bing и выложено Microsoft онлайн в виде открытых данных под лицензией ODbl [1]. В данных совсем нет Китая, Японии, Кореи, Папуа Новая-Гвинея.

Но Россия есть, и обитаемая зона её не так велика как географическая.

Все данные в формате TSV, сжатый объём около 10GB.

Ссылки։
[1] https://github.com/microsoft/RoadDetections

#opendata #datasets #microsoft

Я очень люблю, когда вы делитесь ссылками на интересный материал, связанный с пространственными данными:)

Возможно, для многих из вас это очевидная вещь, но я услышала об этом впервые и поэтому хочу поделиться - вдруг кто-то как и я пропустил информацию. Оказывается postgis умеет работать с 3d объектами, в результате чего в нем можно хранить объемные модели городов. Более того, выглядит так, что для 3d объектов доступны все те же самые операции и методы, что и для 2d, а это возможность измерять площадь, считать дистанцию, строить буферы и тд

Почитать можно здесь. Внутри много полезных ссылок на документацию postgis, поэтому даже если вы не работаете с 3d, все равно советую посмотреть.

Еще немного про транспорт и про статистику по нему...

Уже полгода как у меня лежат данные по движению московского транспорта "аналогичные тем, что можно выкачать из КПП". Данные включат все рейсы автобусов в течение дня в привязке к остановкам. Данные очень крутые и проливают свет на знаменитые эпитеты коллег из ДТ про интервал в четыре минуты на трамвайно сети и другие перлы. Косвенно эти же данные показывают скорости автобусов и трамваев, в том числе влияет ли на скорость выделенка или обособление.

Данные суперские, но вот сделать на их основе нормальное расследование и визуал я за полгода не осилил, сказались война и все с этим связано, стресс, переезды, разорванные связи... не важно. В итоге я не придумал ничего лучше как делегировать задачу :)

Мы приглашаем аналитиков данных, городских исследователей и всех кто умеет красиво визуализирует. С нас данные и их подробное описание, посильная помощь, ну и самое главное... деньги! Двадцать тысяч рублей за первое место, и по пять за второе и третье. Кроме того у нас роскошное жюри - Андрей Дорожный, Дмитрий Муравьев и Артем Панкин (а так в проекте еще куча крутых ребят). В общем:
Тут (http://mosdatachallenge.tilda.ws/) - описание собственно конкурса и условий, там же кнопка регистрации.
Ну а тут (https://artempankin.notion.site/a5fa5cef8ae24ee59a0e8d2ad1505549) - описание данных.

Какие вещи ждем: не обязательно карты, но красивые и наглядные истории, соответствие задаче и функции, приятные эстетика и грамотный визуальный язык. Формат работ не критичен: и pdf, и фигма, и слайды и интерактивный сайт подойдут.

Результаты ждем до конца января.

Всем привет!

Хочу сообщить, что на курсе осталось 2 места, так что, если вы запланировали в этом году научиться прогать на питон для решения геозадач, у вас еще есть шанс:)
Оставить заявку и пройти тест можно как всегда на странице курса : http://geopython.tilda.ws/
#курс #spatialanalytics

Полезно, иногда почитать про подноготную процесса сбора информации, которую мы видим на картах или скачиваем в виде открытых данных. Во-первых, хорошее понимание процесса - это постановка более реальных сроков на проект, во-вторых, это знание "нюансов и ограничений" данных, которые вам предстоит анализировать.

А еще это приятно, если статья описывает российский опыт, как эта статья, компании 2ГИС.

В ней дизайнеры 2ГИС рассказывают, как сделать карту не только красивой, но и понятной каждому пользователю. Для этого команде пришлось две недели гулять по Москве и исправлять неочевидные нюансы, на которые мы с вами либо ругаемся, либо даже о них не задумываемся.

На этой неделе благодаря своей работе я побывала на Mobile World Congress - крупнейшей в мире выставке в сфере мобильных технологий. Ниже собрала основные тезисы- выставка огромнейшая (чтобы обойти всю мне потребовалось 13к шагов) , поэтому что-то могла упустить.

Участники.
Всех участников можно разбить на 3 группы:
1. Крупнейшие корпорации, которые выставляют свои последние разработки: от телефонов и Vr до собак -роботов. Честно говоря, не увидела ничего нового. Но мне понравилось устройство, которое наливает пиво снизу вверх у Dell😄 и как кричали девушки на стенде c VR, кажется у Honor)


Вторые , основа выставки- разработчики софта для мобильных операторов и сами мобильные операторы. Тут основная тема, конечно, - 5G, тезисы ниже.

Третья группа: разработчики прикладных ПО. Тут все подряд: само-обучаемые сенсоры для измерения физических активностей, сервисы для ML разработчиков(от облаков до контейнеров), решения для логистики, metaverse платформы, cybersecurity решения (кстати был Касперский) и тд тп

Тема
Основная тема конференции: как предоставить лучшее качество связи в 5G, не тратя при этом дополнительных ресурсов.
Особенно уделялось внимание экономии энергии и использованию возобновляемых источников: с недавних пор её в Европе дефицит🤷‍♀️ В качестве решений - "AI" разработки 2х видов.

Одни заранее предугадывают потребление трафика пользователем, и позволяют автоматически настраивать параметры сети. Другие определяют места повышенного скопления людей, чтобы там расставлять 5G оборудование и не ставить его там, где подойдет и 4G

Но при всей этой технологичности, есть один нюанс - wifi за 18 часов, проведенных на конгрессе, работал у меня только 2 часа, да и то только в определенных павильонах :) Вобщем-то все как всегда😊

Наткнулась на довольно интересное видео о возможностях чат-GPT в пространственном анализе. Не могу сказать, что автор сделал какие-то неожиданные выводы, но, в целом, уже само наличие такого видео достойно внимания. Смотреть тут: https://youtu.be/BK2IzZZZC-k

В твитере прекрасная Ольга сделала два отличных треда про транспортные изохроны и как ими пользоваться https://threadreaderapp.com/thread/1650848563952246784.html
и про сервисы, которые эти изохроны умеют делать - https://twitter.com/olgommershtadt/status/1654604262771507202 (там даже трансметрика засветилась).

Вот ссылки:

1. Инвестиционный портал Москвы
тут на карте есть движок под создание изохрон на Москву и другие места России (но точность там ниже)
https://investmoscow.ru/about-moscow/investment-map-v2?mainType=1&objectId=19013396
на карте в правом нижнем углу найдите кнопку с изохронами. после нажмите на карте и задайте параметры изохрон

2. Valhalla - сервис для создания изохрон в городах по всему миру. Круто, что можно задать разные способы передвижения
https://valhalla.openstreetmap.de/isochrones?profile=bicycle&wps=14.506072998046875%2C53.42907160169334&range=10&interval=10

3. OpenRoute Service - важный сервис для создания изохрон.
Из плюсов - большая адаптивность. Из минусов - на мой взгляд не самый удобный интерфейс
https://maps.openrouteservice.org/#/reach/14-%D1%8F%20%D0%BB%D0%B8%D0%BD%D0%B8%D1%8F,MS,%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F/data/

4. transmetrika - выбираете город и пользуетесь
https://transmetrika.com/?locale=ru

5. сервис от геоцентра Консалтинг
https://rumap.ru/?sidebarActive&tab=catalog&l=Rumap:b&c=55.740255:37.6268&zoom=10

6. iso4app
http://iso4app.net
хорошая штука, но к интерфейсу надо привыкнуть

7. commute map
хороший понятный интерфейс, можно несколько сразу строить и сравнивать
https://commutetimemap.com/map?places=53.904161%253B27.558775%253B0%253B1800%253B%25234143f4

Пока написать про собственные исследования - задача в будущем ( но скором!) времени решила помочь тем коллегам.

Проектная группа студентов Факультета городского и регионального развития НИУ ВШЭ проводит исследование, в рамках которого изучает состояние торговых центров, пользовательских предпочтений и их трансформаций.

В рамках исследования они просят пройти опрос, который является полностью анонимным и не займет более 10 минут. Вот ссылка на гугл-форму

За время моего молчания у меня произошло несколько связанных с темой канала событий: прошел 2-ой поток курса, началось PhD и случилось несколько интересных проектов на работе. Как результат, много инсайтов, много проверенных гипотез и много ошибок🤷‍♀️, которыми я (и не только я)) планирую делиться с вами в ближайшие месяцы. Стей тюнд, как говорится.

#osmdata #spatialanalysis

История из OSM или где "развиваются" в Кувейте

Дано: страна Кувейт- маленькая страна на берегу Персидского залива, зажатая между Саудовской Аравией и Ираком. 90% страны - пустыня, есть один крупный город и несколько растущих маленьких городов.

Задача: нужно найти самые быстро застраиваемые, а значит, перспективные для бизнеса, районы страны на основе открытых данных.

Данные:

- берём данные по дорогам, зданиям и POIs из OSM

- не берём building footprints - Microsoft не хранит историю, только актуальный срез

- не берём снимки со спутника, так никто в команде никогда не делал image recognition, а на задачу 2 дня

- Не берем worldpop, kontur - там нет истории и есть большая погрешность

Решение:

1. Загрузить историю изменений инфраструктуры за последние несколько лет, пересечь с гексагональной сеткой

2. Посчитать абсолютную дельту за последние 3 года, 1 год и 6 месяцев; посчитать ежемесячную скорость прироста за последние 3 года, 1 год и 6 месяцев

3. Сделать вывод: район не развивается/ район был застроен год назад и нет новой застройки/ район все еще активно застраивается

4. Нанести результаты на карту. Найти 3-ий тип районов

5. Подтвердить картинку с помощью Local Moran's I - найти наиболее позитивно выделяющиеся кластеры

Инсайты из решения:

1. Можно верить только дорогам )
Если вы думаете что в России мало OSM данных, то вы точно никогда не занимались Кувайтом. Согласно OSM в Кувайте только в 1/4 главного города есть здания (way/relations=building), остальные люди видимо живут в шатрах🤷‍♀️. Тоже самое для POIs.
Остаются только дороги: они обновляются по спутникам,и поэтому отражают реальность (иногда с небольшой задержкой)

2. API Ohsome- самый удобный способ загружать историю OSM из Python. Подходит, если размер территории не большой, Иначе проще работать с архивами датасетов.
Документация: тут
Мой пример скрипта на загрузку дорог: тут

3. В странах, где мало данных, длина сегментов дороги варьируется от 1 м до 36 км, когда обычно сегмент не превышает 1 км. Поэтому при сцепке с сеткой гексагонов надо помнить, что одна дорога пересекает несколько гексов

4. Для расчета дельты изменений суммарная длина дорог подошла лучше количества из-за неоднородности длины сегментов.

5. Такой анализ помогает найти города, застраиваемые с нуля, но не помогает выявить уплотняемые территории (сравнение со спутником).

6. Данные о перемещении людей не помогают в такой задаче, поскольку появляются с лагом во времени - когда квартал уже застроен.

Артём тут написал об особенностях работы в одной из ведущих мировых лабораторий городского анализа. Читаешь и понимаешь, почему они "ведущие".
Интересно, что я поймала похожие ощущения, работая с испанцам, вот только камеры мы не включаем- всё интроверты🤷‍♀

​​Топ-5 отличий работы в британской урбан-компании от российской

Спустя почти год работы со Space Syntax могу обозначить основные моменты, по которым британский подход отличается от российского.

1. Все делают всё. Не знаю, зависит ли это от размера компании, но Space Syntax, например, на 90% состоит из специалистов. На 30 сотрудников приходится всего три менеджера: офис, операционный и финансовый директоры. Я сейчас на позиции Associate, т.е. отвечаю за все, что происходит с набором конкретных проектов, в которых я занят как Project Leader. Значит - веду бюджет и график проекта, модерирую переговоры с клиентом и подрядчиками, готовлю отчеты, руковожу джунами, вместе с директором проекта определяю направление разработки. У нас нет графических дизайнеров, аккаунтов и эйчаров. Все делаем своими руками. Не знаю, хорошо это или плохо, но иногда хочется скинуть часть работы на менеджеров, которых нет.

2. Рабочая этика. Британцы не опаздывают н и к о г д а, а если опаздывают больше чем на минуту - предупреждают заранее. Британцы всегда включают камеры в зумах, а если не включают - значит зум проходит во время ланча. В России я однажды наблюдал обратную ситуацию: одна из известных в среде градостроительниц во время проектного брифинга с включенной камерой готовила борщ, пробовала его из поварешки, нарезала мяско. Про опоздания руководителей, выключенные камеры, звонки за рулем молчу.

3. 9-5 mentality. За все время в Space Syntax я перерабатывал два раза: уходил из офиса не в 6, а в 7-7:30 вечера. Ни разу не работал на выходных. В России у меня получалось так жить, только если я сам был руководителем проекта. В остальных случаях бывала и работа по 24 часа подряд. Здесь nine-to-five - это просто норма. Правда, до Швеции нам еще далеко 🙂

4. Прозрачность. В Space Syntax каждый сотрудник - это employee owner. Это значит, что у всех есть доля собственности компании, которая возрастает по мере выслуги лет, а также право голоса в принятии стратегических решений. У каждого, начиная с джунов, есть доступ к любым документам по любому проекту или работе офиса, бюджетам, расходам, business growth plan etc. За кадром остаются только личные ревью на других сотрудников.

5. Attitude. Этот пункт я могу раскрыть в двух словах - спокойное достоинство. Почти все директора в РФ были суетологами, многие с синдромом самозванца. Здесь совершенно другой общий вайб у всех коллег, начиная с джунов и заканчивая главой компании. Сразу понимаешь, что любая задача решаема. Если в ступоре - можно договориться с клиентом и партнерами о продлении срока, чтобы повысить качество работ. Методы исследований отработаны дсятилетиями, это тоже добавляет уверенности. Вдобавок ко всему, все между собой на равных: недавно директор возбужденно презентовал мне свои идеи о том, как классифицировать улицы новым методом и жадно требовал мой фидбек. Наверное, можно сказать, что компания больше ориентирована на процесс и его качество, в результате которого наверняка будет хороший результат. Раньше у меня чаще был другой опыт: сначала придумать результат, а потом уже разбираться с процессом.

Это основные пункты о том, как устроена работа в Space Syntax. Позже напишу, в чем специфика проектов и их разработки.

Хотя мой фокус в урбанистике - это применение математических подходов в городских исследованиях, я стараюсь читать о разных аспектах этой науки.

Один из моих источников информации - это канал Лены Пудовой. В своем канале автор рассказывает об актуальном и прикладном в российской урбанистике.

Мои любимые темы - то, что не найти в других каналах об урбанистике:

- анонсы конференций и последние события - среди них даже новая реклама девелоперов

- стримы и интервью с интересными персоналиями из мира урбанистики

Отдельный респект автору за качество подачи информации: идеи структурированы, текст легко читается. Например, для того, чтобы помочь читателю найти работу автор написала алгоритм, которому легко следовать👌

Кстати, если вдруг вы надумали искать работу, Лена собрала список из 80 арх бюро, работающих в урбанистике: смотреть тут

Еще периодически автор собирает тусовки урбанистов, так что следите за анонсами😉

Сегодня первый из постов по мотивам финальных проектов в рамках курса по геоаналитике.

В рамках курса у слушателей была возможность применить полученные знания для решения интересующих их городских проблем, и часть воспользовалась такой возможностью, сделав за короткий срок содержательные и качественные проекты.

Автор сегодняшнего проекта @yulia_kor решала задачу развития сети в новом для бизнеса городе, в условиях, когда единственное доступное знание о конкурентах - это их локации.

#geoanalytics #geocourse #geopython

​​Дано:
Бизнес хочет расширить свою логистическую сеть объектов и начать развивать формат ПВЗ — пункты выдачи заказов. У бизнеса еще нет открытых ПВЗ и, следовательно, нет операционной статистики по таким объектам.

Задача:
Необходимо найти оптимальные места для размещения ПВЗ в городе N

Гипотеза:
Предположим, что конкуренты, как рациональные агенты, выбирают оптимальные места для размещения своих объектов. Исходя из этого предположения можно найти места в городе, которые похожи хотя бы на одно из мест, где расположены ПВЗ конкурентов.

Ограничение:
Решение можно использовать, если считать допущение выше верным. Но в обычной жизни другие агенты рынка не всегда размещают ПВЗ оптимально.

Когда применимо?
Когда нужно верхнеуровнево определить поисковые зоны для размещения объектов. После определения зоны можно исследовать рынок объявлений об аренде и искать подходящие помещения.


Данные:
1. данные о существующих ПВЗ конкурентов с сайта wildberries и ozon.
2. население (реформа ЖКХ, расчетная численность жителей в ИЖС, исходя из среднего размера д/х)
3. объекты инфраструктуры (OSM)
4. дорожный граф и OSM

Получившееся решение:

Комментарий: из-за неоднородности пространства сначала необходимо кластеризовать территорию, а затем искать похожие места внутри каждого из кластеров.

1. Создать гексогональную сетку.
2. Отфильтровать сетку так, чтобы остались только гексы, где есть дома и дороги
3. Построить 10-мин изохроны на основе центройдов гексогональной сетки
4. Рассчитать метрики центральности на основе графа УДС
5. Агрегировать данные инфраструктуры и населения по изохроне
6. Стандартизировать данные
Уменьшить размерность данных, используя PCA
7. Провести кластерный анализ методом k-средних
8. Посчитать количество ПВЗ в каждом кластере. Исключить из анализа кластеры, где нет ПВЗ.
9. В каждом из кластеров выделить гексы, где еще нет ПВЗ. Посчитать их степень схожести на основе косинусного расстояния с гексами, где расположены ПВЗ.
10. Отобрать с помощью фильтра локации с косинусным расстоянием больше 0,95.

Выводы по использованным методам:

1. Агрегация по гексам может быть слишком усредненной — дом на углу перекрестка и в глубине района может иметь одинаковый вес. Чтобы сделать инструмент более точным, можно попробовать агрегировать параметры по домам вместо гексагонов (побочный эффект: длительность расчетов увеличится в разы)

2. Даже без привязки к поиску потенциальных мест размещения ПВЗ, инструмент дает понимание, где находится центральная часть города, что может пригодится для ряда других задач.

3. Если у города достаточно однородная пространственная структура (например, равномерно распределено население, инфраструктура), то в результате применения инструмента для размещения ПВЗ может подойти большая часть города. В этом случае эффективность инструмента будет крайне низкая

4. Одной из гипотез было, что локации ПВЗ значимо зависят от пешеходного потока. Однако из-за недоступности данных, были рассчитаны метрики центральности (можно также попробовать использовать метрики Space Syntax). На этих мет гипотеза подтвердилась - чем больше плотность УДС, betweenness centrality, тем больше ПВЗ можно наблюдать в локации.

Сегодня 2-ой пост по мотивам финальных проектов в рамках курса по геоаналитике.

Автор проекта @HelenSkrebkova изучала пространственное развитие Дубая с помощью анализа цен на рынке недвижимости. Получилось интересно, а если вы вдруг в Дубае и думаете, в каком районе выгодно снять квартиру, то может быть и еще и полезно.

Читать тут