С какой-то невероятной скоростью в последнее время Google и Meta выпускают проекты в гео.

🌍 Google открыл новый датасет Satellite Embedding.

Теперь не нужно самим чистить спутниковые снимки, убирать облака, считать индексы — Google уже сделал это за вас.

Каждый пиксель Земли (10x10 м) перевели в эмбединг (числовой вектор), где уже зашита информация о ландшафте, растительности, постройках и климате.

То есть слой ценен как для анализа городских, так и сельских и природных территорий.

🔑 Ценность данных

- Слой с эмбедингами уже готов к анализу: не нужно, например, делать атмосферную коррекцию, убирать облака, фильтровать шум и тд — вы сразу получаете результаты, готовые для анализа

🛠 Как можно использовать

📌 Делать классификацию земель: где поля, где города, где лес.

📌 Кластеризовать территорию без разметки (поиск похожих участков).Пример

📌 Смотреть динамику по годам: если вектор пикселя почти не меняется — место стабильно, а если сильно сдвигается — значит произошли изменения, например вырос новый район города или вырубили участок леса.

🚀 Как получить доступ и работать со слоем

Внутри Google Earth
- Зарегистрироваться на Google Earth
- Следовать шагам из этого Tutorial.

В Python

- Установить и авторизовать Google Earth Engine API
pip install earthengine-api
ee.Authenticate()

- Загрузить коллекцию
ee.ImageCollection("GOOGLE/SATELLITE_EMBEDDING/V1/ANNUAL")

- При необходимость отфильтровать её по региону или датам (библиотека geemap)

-Конвертировать в векторный формат (библиотека geemap или rasterio)

После конвертации в таблицу с данными можно работать как обычно, используя библиотеку geopandas.

Ну и напомню, что если вы хотите научиться анализировать векторные данные и переводить из растра в вектор, то велком на мой курс ))

Подробнее на английском про Satellite Embedding тут

На работе постоянно возникают задачи максимально точной оценки населения в разных концах света от Нигерии и Саудовской Аравии до Бразилии и Индонезии.

Из-за этого приходится держать руку на пульсе и следить за появляющимися датасетами зданий - детальнее всего можно оценить население, измерив объем жилых строений

По совету друзей протестировала датасет 3D-GloBFP. Подробные логику и результаты тестирования описала в статье на Medium, здесь напишу краткие тезисы:

🌍 Про датасет

3DGloBFP - первый глобальный набор с высотами зданий (с 2020 год). Напомню, у Microsoft и Google высоты есть только в отдельных (US, EU) странах.

Авторы заявляют высокое качество оценки: R2 = 0.66–0.96, ошибка (RMSE) : 1.9–14.6 м

🔎 Мой тест

Для теста я взяла уже проверенный датасет с высотами для 1 района Сан-Паоло и сравнила с данными из 3D-GloBFP (Все операции в Python) по двум показателям: покрытие и точность высот.

📍 Покрытие

Пропущено 51% коммерческих и 38% жилых зданий

Геометрии очень неточные

📐 Высоты

Оставив только пересекающиеся полигоны из 2 датасетов получила следующий результат:

- R2 ≈ -0.0027 ( при цели получить R2=1)
- RMSE: 17.2 м при средней реальной высоте 13.2 м → ошибка ~130%

Если разбить по интервалам высот: R² всегда отрицательный, RMSE растёт с высотой. Видна лишь слабая корреляция для очень высоких зданий

⚠️ Выводы

- На микроуровне (район, квартал) — данные неточные: много пропусков, ни полигоны ни высоты не отражают реальность.

- Если без высоты никак, то лучше взять геометрию Microsoft или Google и совместить с этим слоем. Альтернативно, можно сравнить с GHSL, про них писала ранее

Вероятно, лучше работает на макроуровне (страна, регион) и в зонах приоритета (Китай, США)

P.S. Весь анализ я проводила в Python. Если вы хотите научиться решать подобные задачи, велком на мой курс

#building_footprint #open_data #geodata

Прямо сейчас я сижу в аэропорту Афин после участия в моей первой международной академической конференции ERSA. Хочу поделиться впечатлениями и, что уж там, похвастаться — наша работа с другим студентом моего университета выиграла приз за лучшую молодежную работу 😁

📊Формат
Конференция посвящена regional science и охватывает всё: от транспортного планирования до влияния складов Amazon на занятость. Объединяет всех то, что в итоге все строят эконометрические модели и ищут зависимости.

Минус такого размаха: до 20 параллельных сессий — нереально послушать всё интересное, а иногда и успеть найти это интересное)

Плюс: для новичка, как я, такое разнообразие полезно — можно составить общую картину о городских исследованиях и найти интересное направление. "Бывалые" исследователи, наоборот, предпочитают узкие конференции, где можно уйти в глубину.

🔬Исследования.

- Я заметила два типа авторов:
те, кто много рассуждают о проблеме, но мало «делают руками»;
- те, кто много работает с данными, но не любит долгих размышлений.
(догадайтесь к какому типу отношусь я😄)

- 80% работ (11 из 15, что я послушала) были на основе опросов, при этом все работы были про количественные исследования, а не качественные. Почему?
- В Европе мало открытых данных детальнее NUTS-3, поэтому приходится собирать свои.

- Не хватает навыков программирования (в regional science) : работы с большими данными, умения парсить. Так что если вы владеете Python или R — для академии вы ценный экземпляр

В плане методов академия отстаёт от индустрии: knn, spatial decay или гравитационная модель - «новый способ измерения доступности».? Вы серьезно???
Мы работе давно автоматизировали не только сами эти подходы, но и оптимизацию всех параметров. Для меня рекомендация новых локаций без оценки доступности вообще немыслима.

🖼Презентации

90% презентаций невозможно смотреть: сплошной текст, разный размер букв на одной строке, минимум визуализации (и это на гео конференции!).

Но! За 3 дня конференции я увидела явную позитивную связь между интересом аудитории и "понятностью" презентации. Академики - "тоже люди" и тоже любят красивые картинки и понятные истории. Если хотите произвести впечатление, рассказывайте просто — сложными терминами никого не удивишь. Так вас лучше запомнят и дадут больше полезных комментариев.

Люди💛
Нетворкинг — это лучшее, что есть на конференциях. Вокруг люди с похожими интересами, открытые к общению и сотрудничеству. Я познакомилась со множеством прекрасных исследователей и надеюсь продолжить с ними общение и ван дей поработать вместе. Это, пожалуй, самая сильная мотивация оставаться в этой сфере.

Очень качественную и подробную презентацию про геоаналитику: ее отличия от обычной аналитики, подходы и модели - сделала Маша. Советую.

Статья Вячеслава Воронина

В 2024 году Нью-Йоркский Институт политики транспорта и развития (ITDP) сделал глобальный онлайн-атлас, посвященный теме устойчивого городского транспорта. Атлас представляет собой интерактивную веб-страницу, где пользователь может выбрать один из девяти показателей городского транспорта, конкретную городскую территорию и интересующие границы (уровень административно-территориального деления). Недавно произошло обновление, и помимо 2023 года показатели стали доступны за 2024 год.

Какие есть показатели:
– плотность населения, чел/кв. км;
– плотность кварталов, шт/кв. км;
– население рядом с защищенными велодорожками, %;
– население рядом с объектами сферы услуг, %;
– население рядом с местами, свободными от автомобилей, %;
– население, защищенные от автомагистралей, %;
– население рядом с регулярным транспортом, %;
– население рядом с остановкой скоростного транспорта, %;
– население рядом с велодорожками и транспортом, %.

Преимущества атласа:
– редкие и полезные показатели для городских управленцев;
– по отдельным показателям данные доступны с 1975 года;
– использование данных из открытых источников, предоставление ссылок и кода;
– есть возможность выгрузки показателей и исходных данных в разных форматах;
– есть описание методики составления показателей, допущения и размерности;
– есть возможность выбора между локациями и видами городских территорий;
– автоматические подсказки, аналитика и рекомендации на полях;
– удобство для пользователя (достаточно быстрая скорость отклика, регулирование слоев)
– актуальность проекта и свежие данные.

Кому может быть полезен проект:
– городским администрациям;
– городским планировщикам и урбанистам;
– исследователям в области городской транспортной политики и устойчивой городской мобильности.

Некоторые случаи, в которых может пригодиться данный инструмент:
– комплексная оценка транспортной системы города на благоприятность для передвижения общественного транспорта и пешеходов;
– количественная оценка доступности базовых услуг (объектов здравоохранения и образования) и различных видов общественного транспорта (MRT, BRT, LRT) по отношению к городскому населению;
– количественная оценка уровня развития велосипедной инфраструктуры (в т.ч. физически защищенной от проезжей части) в городах мира и возможность сравнения их между собой;
– обоснование размещения новых линий скоростных видов общественного транспорта и вело-инфраструктуры, сравнение данных Атласа с результатами собственного исследования/модели.

Уверен, что ресурс будет полезен не только городским экономистам и транспортникам для исследований, но и всем дата-аналитикам. Подробнее узнать о возможностях работы с атласом можно на сайте ITDP. Там размещены разные сопроводительные материалы: ознакомительный вебинар с презентациями спикеров и примерами использования атласа на практике, а также аналитические статьи.

Встречайте DataDrops 🚀

DataDrops — это галерея дата-виза, место, где живут графики, карты и другие аналитические визуализации. И я наконец рад объявить, что сайт доступен всем-всем-всем по ссылке https://datadrops.space

Что уже можно делать на DataDrops:
✔️ Исследовать визуализации, сортируя их по дате (новые, старые), популярности или выбрать случайный порядок. Можно также фильтровать работы по тегам, названию или описанию, чтобы быстро и удобно найти что-то интересное или красивое.
✔️ Загружать свои графики, карты, инфографику, собирая собственное портфолио, которым не стыдно поделиться с миром.
✔️ Взаимодействовать с другими авторами: лайкать, подписываться и следить за их новыми публикациями.
✔️ Сохранять понравившиеся работы, создавая личную коллекцию для вдохновения.

Моя мечта в рамках DataDrops — объединить всех, кому интересен дата-виз, от любопытных новичков до опытных профессионалов, в рамках единой платформы. И будет здорово, если хотя бы частично у меня это получится 🤞

Сайт уже поддерживает аж три языка (английский, русский и французский), а войти можно в пару кликов через Google или GitHub.

Обязательно заглядывайте в гости на https://datadrops.space ✨

#site_selection #spatial_research #geopython_course

Бурная на посты вышла неделя, но что поделать - сложно сдерживаться, когда вокруг столько интересного)

Сегодня моя любимая тема - исследование одного из студентов моего курса "Основы пространственного анализа", того самого который я запустила онлайн чуть больше месяца назад.

В своем проекте Нина (@ninadze_k) исследует food desserts в ЮАО Москвы с целью проверить, остались еще ли в городе районы, где до ближайшего продуктового нужно идти больше 7 минут, и где бизнесу стоит открывать следующий магазин.

На мой взгляд получился интересный законченный проект, который показывает, какие широкие возможности дают даже базовые знания пространственных и аналитических подходов в Python.

Подробности читайте тут

P.S. ваши комментарии будут очень цены для автора)

🔥 Новость! 🔥
Через неделю в канале состоится первый эфир🔈! Приглашаю всех

Встречаемся в следующий четверг(18/09) в 18:00 — save the date.

Гостья эфира — Арина: выпускница Высшей школы урбанистики, а сейчас геоаналитик во «ВкусВилл».
Мы поговорим о её опыте: как она оказалась в геоаналитике, какие задачи решает каждый день, и зачем студентам -урбанистам Python.

Если вы учитесь на урбанистике и задумываетесь об изучении геоаналитики— подключайтесь, будет полезно. В конце эфира мы оставим время для ваших вопросов.👩‍🎓👨‍🎓

Уже завтра в канале состоится прямой эфир с Ариной, геоаналитиком Вкуссвил, о том, какие возможности дают геоаналитика и Python урбанисту!

Если вам интересно узнать:

- историю карьеры геоаналитика в России
- какие навыки нужны и чего ждёт бизнес
- инструменты и задачи из практики
- почему умение кодить и моделировать становится суперсилой урбанистов

То вам точно нужно это услышать!☝️

И самое главное — у вас будет шанс задать вопросы мне и Арине вживую 🙌

⏰ Встречаемся завтра (18/09) в 18:00 здесь в канале.

Встречаемся уже через час! 🕐

Ваши вопросы пишите в комментариях под этим постом👇👇 - мы обязательно на них ответим.

Как это всегда бывает в последний момент возникли технические неполадки с Telegram, поэтому ждем вас в Яндекс.Телемост по ссылке. Подключайтесь

Спасибо всем кто смог подключиться! Прошу прощения, у тех, кто хотел и не смог из-за ограничений платформы. В следующий раз будем выбирать, чтобы вместились все) Пишите, пожалуйста, как вам эфир. И если делать еще, про что вы бы хотели послушать

Как обещали:
- Запись эфира
- Телеграм Арины
- Исследования рынка труда от Картетики (там же на сайте есть вакансии)
- Пример вакансии для геоаналитика без указания, что нужен геоаналитик)
- Ссылка на курс по Основам геоанализа в Python

С какой невероятной скоростью появляются новые deep learning модели в гео, почти с такой же появляются пакеты в Python, нацеленных сделать использование этих моделей удобным для всего сообщества.

Одно из таких решений - Python библиотека GeoAI (название отталкивающее, конечно🤷‍♀️).
Авторы библиотеки упростили работу со спутниковыми снимками до пары строк кода в Python. Не нужно разбираться в ML для того, чтобы сделать land use сегментацию или распознать припаркованную машину на спутниковом снимке: библиотека использует pretrained models, чтобы решить эту задачу в 2 строчки. При этом дообучить модель на собственных данных, тоже можно - также в две строчки. Сами снимки при этом можно загрузить на компьютер прямо из python- причем из разных спутников.

Конечно, если вы умеете строить deep learning модели без таких оберток, то качество результата у вас получится выше - я не нашла в примерах метрик качества распознавания, но учитывая какое-либо отсутствие подбора параметров модели, могу предположить, что типичные проблемы ML: недообучение и переобучение - им не чужды. Поэтому решение скорее для тех, кому очень надо, но времени погружаться в deep learning нет.

У библиотеки есть много учебных материалов:
- Ноутбуки можно найти тут
- Видео с объяснениями тут

P.S. напишите в комментариях если уже тестировали библиотеку