Руководство agisoft photoscan

Время на прочтение
10 мин

Количество просмотров 64K

Это руководство написано для новичков, но я постараюсь поделиться всеми советами и трюками, которые я узнал за последние 5 лет полетов и фотомоделирования.

Вступление

Меня зовут Matthew Brennam, я аспирант факультета информатики в Индианском университете. У меня есть опыт в архитектуром дизайне, но я работал археологом и дизайнером мультимедиа.

Я работал над рядом проектов, которые требовали оцифровки и просмотра небольших, средних и крупных ландшафтов — от небольшой структуры или разрушений на холме, до полной террасировки археологической площадки или горной вершины. Раньше, возможно, пришлось бы осмотреть место вручную или опираться на топографические карты — эти способы дают относительно мало данных с переменной точностью, в зависимости от мастерства, строгости и желания геодезиста.

Недавняя потребительская доступность современных беспилотных летательных аппаратов (UAV / UAS) в сочетании с легкими камерами с высоким разрешением и повышенной вычислительной мощностью для фотомоделирования означает, что в настоящее время на долю времени и денег, которые она когда-то занимала, мы способны создавать высокоточные модели больших структур и ландшафтов, которые могут использоваться для приложений AR и VR, а также отображаться в реальном времени в Интернете.

Цель

Этот туториал расскажет вам (почти) все что вам нужно знать о создании точной 3D-модели объекта или ландшафта и использованием БПЛА на уровне потребителя.

Мы рассмотрим следующие:

1. Доступные дроны для аэросъемки.
2. Основы полета БПЛА для съемки и фотомоделирования.
3. Обработка фотографий в Agisoft Photoscas для создания 3D-модели и использование некоторых дополнительных функций в Photoscan Pro для создания ортографических фотографий.
4. Редактирование модели в Photoscan и ее оптимизия для загрузки на Sketchfab.

На рисунке показаны шаги, которые мы рассмотрим:

По факту — этот туториал даст вам базовые знания, которые вам понадобятся на каждом шаге, от принятия обоснованного решения при покупке, от того, как лучше все редактировать и делиться созданной 3D-моделью. Если у вас уже есть опыт использования БПЛА для съемки и моделирования, вы, вероятно, не узнаете ничего принципиально нового здесь — этот туториал написан для новичков, но я постараюсь поделиться всеми советами и трюками, которые я узнал за последние 5 лет полетов и фотомоделирования.

Прежде чем мы пойдем дальше, вот несколько примеров моделей объектов в разных масштабах, все они сфотографированны с дрона, созданы и полностью отредактированы в Photoscan, и загружены в Sketchfab:

Маленький масштаб: Древний обелиск, Сады Боболи, Флоренция, Италия (POI).

Средний масшатаб: первая христианская церковь и библиотека графства Монро, Колумбус, штат Индиана (фотографии ортографии и POI).

Большой масштаб: археологический объект Коса, Тоскана, Италия (только ортографические фотографии)

Беспилотные летательные аппараты и транспортные средства (UAS/UAV)

Беспилотные летательные аппараты и транспортные средства, или UAS и UAV для краткости, обычно называются дронами. Это не особенно точно, так как многие БПЛА на потребительском уровне не являются автономными. Другими словами, они требуют, чтобы пилот вносил свой вклад — они не летают и не принимают решения самостоятельно. Большинство БПЛА на уровне потребителей являются квадрокоптерами, что означает, что они используют 4 пропеллера для полета. Высокопроизводительные системы могут иметь от 6 до 8 пропеллеров, что позволяет им переносить большие камеры.

В настоящее время для потребителей доступно несколько относительно недорогих «летающих камер», но не все они подходят для фотомоделирования и съемки. Ключевыми факторами, которые следует учитывать при выборе БПЛА для этих целей, является разрешение камеры (если дрон продается с ней), наличие кардана (для стабилизации и ориентации камеры) и / или полезная нагрузка БПЛА (максимальный вес в камере / объективе, который дрон может перевозить и все еще безопасно летать).

DJI Phantom 3 Professional 4k

DJI Phantom 3 Professional 4k — самая продвинутая модель Phantom третьей серии. Оснащен 12-мегапиксельной камерой и подвесом. Это базовый квадрокоптер, который предлагает прямую трансляцию через приложение DJI на смартфон или планшет.

Ключевые моменты для DJI Phantom 3 Professional 4k:

• 12-мегапиксельный объектив без FishEye
• Камера и подвес в комплекте

Квадрокоптер DJI Phantom 4 Advanced

Ключевые моменты для DJI Phantom 4 Advanced:

• 12-мегапиксельный объектив без FishEye
• Камера и подвес в комплекте
• Время полета до 30 минут
• Датчики для обнаружения препятствий впереди
• Трансляция видео на планшет или смартфон, а также возможность управления настройками камеры

DJI Mavic Pro

Ключевые моменты для DJI Mavic Pro:

• 12-мегапиксельный объектив без FishEye
• Камера и подвес в комплекте
• Датчики для обнаружения препятствий
• Трансляция видео на планшет или смартфон, а также возможность управления настройками камеры
• Складная компактная конструкция обеспечивает удобно переносимую систему

Некоторые основные моменты, которые следует учитывать при использовании БПЛА для фотомоделирования, — это то, что размер датчика камеры, объектив и способность камеры может дистанционно запускаться или устанавливаться в режим временной шкалы. Все вышеуказанные системы отвечают этим требованиям. Режим Timelapse и / или дистанционное срабатывание затвора камеры — это, пожалуй, самый важный аспект камеры, используемой на дроне.

Камеры, доступные на DJI Phantom 4 и Mavic Pro, предлагают более традиционные объективы для камеры — они широкоугольные, но не ультраширокие или fisheye, что означает мало искажений. Для фотомоделирования это иногда лучше, хотя вы можете быть ограничены тем, насколько близко к объекту вы можете летать, сохраняя при этом все в кадре.

Основы использования БПЛА для фотомоделирования

Фотограмметрия или фотомоделирование — это технология, благодаря которой трехмерная цифровая поверхность может быть восстановлена из серии фотографий. Он часто используется для создания высокоточных 3D-моделей объектов реального мира, таких как эта древнегреческая бронзовая скульптура:

Лучший способ подумать о фотомоделировании объекта или ландшафта с помощью БПЛА — это представить, как бы вы приблизились к объекту, если он был очень маленьким, и вы смогли сфотографировать его с помощью карманной камеры. Например, на приведенной ниже диаграмме, иллюстрирующей фотосъемку для фотомоделирования, снимаются фотографии с различными высотами и углами в 360-градусном охвате.

Фотосъемка для фотомоделирования объекта.

Захват изображений с дрона работает практически так же. Камера должна быть настроена на временной режим (фото снимается каждые 2 или 5 секунд) или дистанционно запускается через контроллер БПЛА (при фотосъемке пилот нажимает кнопку захвата). Если вы сканируете один «объект», например здание или колонну, лучше всего работают фотографии POI, то есть камера указывает на интересующий объект, а окружающий ландшафт игнорируется.

Однако, если вы заинтересованы в захвате местности или географической функции, лучше всего использовать ортографические изображения. Ортографические фотографии — это то место, где камера указывает прямо на землю, а дрон (беспилотный летательный аппарат) пролетает по сетке в интересующей области. Можно комбинировать фотографии POI, ортографические фотографии и даже карманные фотографии в одном проекте для наилучшей возможной модели:

Объединение аэрофотографических, POI и карманных фотографий.

POI Фотографии обелиска.

БПЛА, перечисленные выше, могут летать от 15 до 30 минут, что обычно достаточно для сбора не менее 200 — 400 фотографий объекта или ландшафта, в котором вы летали. Конечно, если у вас несколько батарей, можно объединить фотографии с несколькими перекрывающимися полетами, чтобы можно было отсканировать даже очень большие области или объекты.

Создание 3D-модели из фотографий с помощью Agisoft Photoscan

Итак, мы только что сделали около 400 фотографий здания, теперь как превратить их в 3D-модель, которую мы сможем выложить в Интернете? В этом туториале мы будем использовать Agysoft’s Photoscan, доступную, недорогую и хорошо поддерживаемую часть ПО фотограмметрии. Photoscan доступен на операционных системах Mac, Windows и Linux и распространяется в двух вариантах: Standard и Pro. Версия Pro включает в себя несколько функций, таких как использование маркеров, геопривязка и экспорт ортографических фотографий, которые будут особенно полезны тем, кто использует его для работы по землеустройству. Agisoft также предлагает скидки для образовательных учреждений на свое программное обеспечение, что делает его особенно популярным в университетах где изучают географию, археологию и антропологию!

Мы не будем разбираться в различных настройках, доступных в Photoscan. Вместо этого я опишу базовый рабочий процесс по проекту, который включает в себя настройки, которые, как мне показалось, лучше всего подходят для аэрофотоснимков.

Интерфейс

Все шаги, необходимые для реконструкции 3D-модели из фотографий, собраны во вкладке меню «Workflow», как показано ниже:

По порядку: 1) Добавление фотографий в проект, 2) Выровнять фотографии, 3) Построить плотное облако точек, 4) Построить трехмерную полигональную модель из облака точек и 5) Создать текстуры. Этот процесс, конечно, значительно упрощен: существует ряд действий, которые вы можете предпринять, чтобы получить лучший результат и оптимизировать свою модель.

Давайте рассмотрим шаги более подробно:

1) Добавление фотографий. Чтобы добавить фотографии, которые вы хотите использовать для создания 3D-модели, вы можете использовать кнопку «Add Photos…» в меню Workflow, чтобы открыть обзор файлов, где вы можете выбрать фотографии, или вы можете просто выбрать фотографии и перетащить их на панель «Workspace» в левом нижнем углу. Когда вы добавите фотографии, Photoscan создаст «Chunk» и отобразит количество добавленных вами фотографий.

2) Выравнивание фотографий: выбор «Align Photos…» вызывает диалоговое окно с параметрами для выравнивания. Я всегда использую «Highest» для настройки точности и «Generic» выбор пары. Аэрофотосъемка имеет множество полезных функций — ПО для фотомоделирования любит фотографии травы, земли, дорог и других «органических» неповторяющихся поверхностей. Для «Key point limit» и «Tie point limit» во вкладке «Advanced» я обычно устанавливаю 40000 точек и 10000 проекций соответственно.

Когда вы нажмете «ОК» в диалоговом окне «Align Photos», Photoscan найдет похожие точки на всех ваших фотографиях и восстановит позиции камеры в трехмерном пространстве. Он также создает «разреженное облако точек», которое будет состоять из 50 000-200 000 или около того точек в зависимости от ваших настроек и количества фотографий:

«Разреженное» облако точек в Photoscan после выравнивания изображений.

Сначала все кажется непонятным, но если использовать поворот «gizmo» (прозрачная сфера с красными, зелеными и синими линиями на ней), чтобы немного повернуть изображение, вы, вероятно, начнете понимать, где находится вверх, а где низ. Если ваш БПЛА не помещает фотографии с данными GPS в EXIF, модель не будет иметь собственной ориентации.

Теперь самое подходящее время для установки ограничивающей рамки, чтобы не тратить время на части, которые не интересны. Это можно сделать, используя кнопки «Resize Region» и «Rotate Region». Обычно я устанавливаю «Region» для охвата части облака точек, которая содержит объект или область, в которой я хочу создать модель. Это экономит время обработки и уменьшает объем ручной работы по редактированию, которая может потребоваться позже.

3) Build Dense Cloud: Это, возможно, самая интенсивная вычислительная часть обработки. В диалоговом окне «Dense Cloud» вы можете выбрать параметры качества и глубины. Если в вашем компьютере меньше 32 ГБ ОЗУ, я бы не рекомендовал переходить за «Medium» качество. Я считаю, что среднее качество, как правило, имеет достаточное разрешение для большинства моих потребностей: Высокое и Ультра-качество занимает намного больше времени, иногда до 2-3 дней обработки для проектов с сотнями 36-мегапиксельных фотографий.

Предупреждение: как только вы нажмете «ОК» в этом диалоговом окне, Photoscan будет использовать почти всю оперативную память вашего компьютера, что очень затрудняет работу над чем-либо еще. Я обычно оставляю процесс на ночь, или когда я знаю, что мне не нужно будет использовать компьютер.

Полученное плотное облако точек.

4) Build Mesh: если у вас есть плотное облако точек, возможно насчитывающее миллионы точек, можно построить трехмерную полигональную модель. Я всегда удостоверяюсь, что в этом диалоговом окне отмечена «interpolation enabled». В зависимости от размера облака, построение полигональной модели может занимать от 10 минут до нескольких часов.

Результатом будет трехмерная модель с обозначением вершин, полученной из фотографий. Перед созданием текстуры можно использовать инструменты выделения, чтобы обрезать любые ненужные части модели, также используйте «Close Holes», чтобы заполнить любые небольшие отверстия в модели, используйте «Gradual Selection», чтобы удалить небольшие скопления посторонней геометрии и используйте функцию «Decimate Mesh», чтобы уменьшить полигональную модель до допустимого размера для загрузки в Sketchfab.

Вот важные шаги, которые позволяют сделать вашу модель презентабельной и простой в использовании, поэтому рассмотрю каждый из них:

• Photoscan имеет прямоугольную область выделения и инструмент лассо для выбора и удаления частей полигональной модели (или плотного облака или разреженного облака). Можно использовать их, чтобы дать модели ровные края или удалить любые области, которые не нужны, с помощью кнопки «Delete».
• «Close Holes», находится в разделе «Tools -> Mesh -> Close Holes …» Здесь можно использовать слайдер для закрытия небольших отверстий, средних отверстий или всех отверстий в полигоне. Редко я использую опцию на 100%.
• Можно удалить постороннюю геометрию с помощью «Gradual Selection…», который находится в «Edit-> Gradual Selection…». Отрегулируйте ползунок, пока не будут выделены красные точки посторонней геометрий, расположенных вокруг основного полигона, а затем удалите их.
• Можно уменьшить размер полигональной сетки, чтобы легко загрузить ее на Sketchfab и легко просматривать свою модель на мобильных устройствах, используя функцию «Decimate Mesh». Здесь можно уменьшить количество полигонов в модели с 2-3 миллионов до 300-400 000. Это можно найти в «Tools -> Mesh -> Decimate Mesh …»

5) Build Texture: теперь, когда мы немного очистили нашу модель и уменьшили ее размер, мы готовы ее текстурировать. Текстуры — это то, где сильно уменьшенные модели получают много деталей. Текстуры основаны на сделанных вами фотографиях, поэтому полученная модель будет иметь тени, которые были там, когда вы фотографировали. Используйте «Build Texture …» в разделе «Workflow» для доступа к диалоговому окну. Здесь вы можете установить размер текстуры и количество текстур, которые вы хотите сгенерировать. Обычно я устанавливаю размер 2048, 4096 или 8192 и выбираю от 1 до 10 текстур, в зависимости от количества фотографий в проекте.

Теперь мы готовы экспортировать нашу модель и загрузить ее на Sketchfab! Photoscan имеет возможность загружать модели в один клик на Sketchfab. Эту опцию можно найти в разделе «File -> Upload Model …». Кроме того, вы можете просто экспортировать модель в виде OBJ, FBX или другого формата и загрузить ее на Sketchfab.

Чтобы добавить окончательный блеск и презентабельность вашей модели в программе просмотра Sketchfab, перейдите в «Settings» -> «3D Settings» (см. ниже), чтобы настроить ориентацию, материал и освещение.

Заключение

В этом кратком туториале мы надеемся дать вам знания, необходимые для создания 3D-моделей с использованием БПЛА. Перед полетом на объект, обязательно ознакомьтесь с местными законами и правилами. Если вас интересует более подробная информация о любом аспекте этого процесса, от совмещения нескольких моделей, проверки точности в Photoscan и вывода ортографической фотографии или модели с географической привязкой, отличным местом для начала будет сайт Agisoft.

И вот несколько примеров 3D-моделей на SketchFab.

Помощь в ускорении вашего рабочего процесса создания окружения от Гильерме Рамбелли (Guilherme Rambelli).

Введение

Фотограмметрия – простая в использовании технология, которая использует фотографию, чтобы автоматически генерировать 3D геометрию и ба­зовую текстурную карту для создания PBR материалов в реальном времени или для таких 3D движков, как Vray и т.д. Я рад поделиться своим опытом в фотограмметрии и помочь пользователям начать работу с ним, увеличить это сообщество и улучшить существующие технологические процессы, используя эти методы. Время всегда было ценным ресурсом в любом ­производстве. Фотограмметрия может помочь вам ускорить рабочий процесс и обеспечить хорошее качество ваших ассетов. Разработка ас­сета средних размеров занимает примерно 4 часа работы и еще 3 – 4 часа обработки. В этом разборе мы пройдем через процесс фотосканирования внешней окружающую среды с естественным освещением и узнаем, как изолировать и обработать отдельный ассет, используя Agisoft, Maya, Zbrush и Photoshop.

Процесс

Первый шаг процесса заключается в получении исходных изображений. Базовая концепция требует фотосканирование хорошего качества, так как Agisoft сгенерирует 3D геометрию, основанную на ракурсах съемки изображений и, таким образом, про­цесс захвата изображения чрезвычайно важен, возможно он – самый важный шаг из всех.

• Старайтесь снимать в пасмурную погоду на открытом воздухе или с равномерным студийным освещением в закрытом помещении/в студии, чтобы избежать направленного освещения.
• Используйте DSLR или не зеркальную камеру с + 50мм объективом, чтобы быть уверенным, что захватили как можно больше дан­ных – старайтесь избежать недо- или переэкспозиции любого из изображений, используя 32-битный формат файла, чтобы иметь возможность настроить их позже и восстановить некоторые данные.
• Используйте фильтры или поляризационные линзы, чтобы уменьшить блики от глянцевых/рефлексивных поверхностей.
• Старайтесь делать ISO максимально низким, чтобы избежать шума.
• Используйте маленькую апертуру / высокий F-Number.
• Установите низкую скорость затворов, чтобы уравновесить апертуру и удостовериться, что кадр не пере- или недоэкспози­рован. Для затворов медленнее, чем 1/40 также рекомендуется использовать штатив, чтобы фотографии не смазывались.
• Фиксируйте экспозицию, снимая в ручном режиме или при помощи AEL (автозамок экспозиции) на камере.
• Если сохраняете снимки в JPEG, удостоверьтесь, что баланс белого также зафиксирован, иначе автоматический WB может дать различные оттенки в наборе фотографий. С RAW это не имеет значения, так как можно легко настроить при обработке.
• Используйте карту серого, чтобы облегчить калибровку баланса белого или таблицы проверки цвета, чтобы калибровать и WB, и экспо­зицию. О том, как калибровать, могу написать позже.

Убедитесь, что фотографии наложены друг на друга по крайней мере на 30% и (если возможно) изображения покрывают весь объект вокруг. На один объект получается от 20 до 300 снимков.

Как только сделали все фотографии, используйте Photoshop (или любое другое ПО для редактирования изображений), чтобы одним махом обработать все RAW файлы в JPEG с базовой настройкой света (highlights) и теней, чтобы избавиться от засветок и АО на изображениях. Фильтр можно изменять в зависимости от содержания на фотографии.

Следует иметь в виду, что чем более прямые (плоские) изображения объектов получены при съемке, тем лучшие результаты будут получены в Agisoft. Это также поможет получить прекрасную текстурную карту через пару этапов. Теперь, когда у нас есть все обработанные JPEG, перетягиваем и бросаем все изображения в Agisoft, чтобы создать но­вый «Chunk» на левой «workspace box».

Щелкните правой кнопкой мышки по chunk и перейдите в Process > Align Photos (обработка > выровнять фотографии), установив его Accuracy в High для луч­ших результатов, а под «Аdvanced» можете использовать Point Limit от 40.000 до 60.000 в зависимости от того, насколько велик объект сканированния.

Щелкните правой кнопкой мышки на «Chunk», перейдите в Process > Build Dense Cloud (обработка > построить плотное облако)… и установите Quality на High или Ultra High. Разница между этими двумя опциями не выглядит сейчас заметной, но это действительно будет иметь значе­ние позднее. Я рекомендую сначала попробовать Low или Lowest качество, чтобы удостовериться, что Dense Cloud выглядит хорошо и точно отображает первоначально сканированный ассет. Как только убедитесь, что все вы­глядит хорошо, можете обработать в «High» или «Ultra high».

Как только получите хорошее плотное облако, можете уже строить сетку под Workflow > Build Mesh (обработка > построить модель) и устанавливать плотность облака, содержащего исходные данные и плотность сетки, которую хотите создать (Medium иногда достаточно).

Теперь, когда есть сетка, можно экспортировать ее как файл FBX под File > Export Model. Теперь у вас FBX с сеткой, постро­енной из захваченных изображений, готовой для импорта в Maya или любой другой 3D пакет. Экспортируйте OBJ из ори­гинального FBX в Zbrush, чтобы очистить (не забудьте удерживать сетку в ее оригинальных единицах, вращении и масштабе). Вы можете импортировать или использовать GoZ своего 3D пакета, чтобы перенести сетку в Zbrush. Как только сетка туда загруже­на, дублируйте subtool и преобразуйте в Dynamesh с низким subdiv, чтобы развернуть UV. Теперь, когда есть сетка без отверстий, можете увеличить subdivision в достаточной для проецирования степени этого subtool поверх оригинальной сетки, перенося все ее детали. Теперь у вас должна быть чистая геометрия с надлежащим UVs, который все еще содержит все детали оригинальной сетки. Отверстия, которые были заполнены из Dynamesh, все еще плоские. Используйте свои методы работы в Zbrush, чтобы добавить деталей в эти области, но не смещайте слишком много геометрии, иначе у Agisoft будут неко­торые ошибки в текстурировании.

Экспортируйте свою новую сетку из Zbrush в Maya, чтобы удостовериться, что все находится в том же самом месте, как в оригинальной сетке. (Если вы не перемещали ее в Zbrush или Maya, когда сначала перенесли в Maya, то все должно быть все еще в том же самом месте). Настройте UVs и удостоверьтесь, что перекрываете больше 0,1 UV пространства и имеете минимальные искажения. Теперь экспортируйте новую сет­ку снова и переходите к заключительно­му шагу в Agisoft.

В Agisoft, с вашим раннее загруженным проектом, перейдите в меню Tools > Import > Import mesh и оставьте уровень Shift на нуле. Чтобы создать текстуру, перейдите под Workflow > Build textures (построить текстуру) и устанавите Mapping mode на «Keep uv», тип смешивания на «Mosaic» и разрешение кар­ты, какое хотите. Если у ваших изображений есть цветовые различия из-за изменения освещения при захвате, примените «Advanced» и «Enable color correction».

Чтобы экспортировать текстуру, перейдите в Tools > Export > Export Texture. Теперь вы готовы ее использовать, чтобы сгенери­ровать каналы Albedo, Gloss/Rough, Specular в Photoshop, Bitmap2Material или любом другом ПО, которое используете для этих целей.

Чтобы сгенерировать Albedo, можете использовать Photoshop и преобразовать текстуру в Smart Object и использовать слой ре­гулирования «Shadows/Highlights», чтобы избавиться от теней и засветок в текстурной карте. Для карты Gloss/Rough я делаю desaturate albedo и генерирую карты в DDO как референс, что­бы удостовериться, что нахожусь в правильном диапазоне шка­лы яркости Physically Based материала. Та же самая концепция применяется для карты Specular.

Вы можете использовать Xnormals с сеткой, созданной в Zbrush как high poly и ту же самую сетку decimated (преобра­зованную в low poly, используя Zbrush, Maya или другой программе) для генерирования карт Height, Normal и Ambient Occlusion. Теперь, когда у вас есть все карты, вам необхо­дим бесшовный PBR материал и хорошая low poly геоме­трия, сгенерированная фотограмметрией в качестве исход­ной сетки, которые можно теперь проверить на качество в Marmoset Toolbag. Вот результат на примере де­рева и текстуры ландшафта, полученный с использованием фотограмметрии, объединенной с Speedtree для листьев и материалов из комплекта Megascan для травы на земле.

Заключение

Фотограмметрия, как мы могли заметить в этой статье, являет­ся простым процессом фотозахвата среды или ассета и ис­пользования 3D программного обеспечения, которое сши­вает весь пакет фотографий вместе и дает нам результат в виде текстурированной геометрии. Этот метод мы можем ис­пользовать для 3D движков, например, V-Ray, или движков реального времени практически без разницы между этими рабочими процессами.

Я надеюсь, что вы начнете экспериментировать с фотограмметрией, так что в ближайшем будущем мы смо­жем получить больше интересных результатов, чтобы поде­литься друг с другом и продвигать фотограмметрию в на­шей отрасли.

Об авторе

Я Guilherme Rambelli и я работаю 3D художником на «There Studios Santa Monica, CA» последние 3 года, в том числе старшим художником последний год. Мои ос­новные обязанности в создании 3D фотореалистичных сред для кино, рекламы и промо для таких клиентов, как Marvel, Warner Bros.,Hasbro, Bravo, Dell, Toyota и др.

Статья впервые была опубликована в третьем номере журнала Vertex. Перевод сделан клубом «Перевод всем», автор перевода AlexJP. Мы её отредактировали и надеемся, что вам пригодится. Перевод всего Vertex №3 можно купить по ссылке. Больше работ Гильерме на Artstation.

• Home

• Documents

• Agisoft PhotoScan Руководство пользователя · PDF…

Для задач геодезии, картографии, с использованием опознаков (маркеров).

Ключевые слова:

photoscan, agisoft, pix4d, aerial survey, photogrammetry, 3dmodeling, 3d model, mapmaking, point cloud, drone, UAV, image processing, GNSS, ortomosaic, UAV GeoDrone L.

фотоскан, аэрофотосъемка, фотограмметрия, геодезия, фотография, 3d модель, 3д модель, картография, облако точек, дрон, беспилотник, БПЛА, обработка данных, спутниковое позиционирование, ортомозаика, БПЛА ГеоДрон, курсы операторов БПЛА, съемка с воздуха

Структура

Для кого предназначена статья.

1. Какой результат обработки должен быть получен?

2. Какие данные нужны для начала работы в PhotoScan?

3. Как правильно фотографировать, чтобы получить ортофотоплан и цифровую модель?

4. Процесс обработки, шаг за шагом

Шаг 1. загрузка фотографий в PhotoScan;

Шаг 2. обзор загруженных изображений и удаление ненужных кадров;

Шаг 3. выравнивание фотографий;

Шаг 4. построение плотного облака точек;

Шаг 5. построение трехмерной полигональной модели;

Шаг 6. текстурирование объекта;

Шаг 7. построение цифровой модели местности;

Шаг 8. построение ортофотоплана;

Шаг 9. экспорт результатов.

5. Рекомендуемые БПЛА для проведения аэросъемки и внедрения в учебный процесс 

6. Ссылки

7. Литература

Об авторе 

Для кого предназначена статья

Статья предназначена для тех, кто желает научиться обрабатывать данные съемки с дронов для картографических задач, в фотограмметрическом пакете Photoscan компании Agisoft, наиболее распространенном в мире пакетом для 3D моделирования на основе изображений (image-based 3D modeling and rendering).

Что такое фотограмметрия? В самом простом изложении – это метод получения трехмерных данных из множества изображений, снятых с разных точек. Именно такой способ построения применяется в описываемом пакете PhotoScan (http://www.agisoft.com) . Помимо разработанного российскими программистами пакета есть и аналоги, например:

—          Pix4Dmapper https://pix4d.com

—          DroneDeploy https://www.dronedeploy.com

—          Autodesk ReCap 360 https://recap360.autodesk.com/

и многие другие, список программ для фотограмметрической обработки в Википедии: https://en.wikipedia.org/wiki/Comparison_of_photogrammetry_software

          

Изображение 1. Дрон, снимающий поверхность земли.

1. Какой результат обработки должен быть получен?

        Начну, пожалуй, с конца — с того, что должно получиться после обработки данных:

·      Ортофотоплан, в формате GeoTIFF.

Формат представляет собой графический TIFF файл с дополнительными тегами, включающими в себя координаты. По сути, это TIFF-файл, привязанный к географическим или измеримым координатам. Большинство ГИС и CAD систем умеют использовать геотеги и сразу отображают GeoTIFF файл как слой с координатами.

·      Цифровая модель местности, в формате DEM (digital elevation model, цифровая модель высот).

Формат представляет собой GeoTIFF файл, в котором различной яркостью пикселя обозначена высота в данной точке. Многие ГИС и CAD системы умеют использовать DEM файлы, полученные при экспорте в PhtoScan.

Обычно этих данных достаточно для последующего использования (читайте – оцифровки) в сфере топографии, картографии, геодезии, землеустройства, городского планирования и т.д., ради чего, собственно съемка с дрона и была проведена.

В отдельных случаях, могут требоваться и другие варианты экспорта данных, например:

·         Экспорт облака точек, для использования в программах 3D сканирования и обработки. В частности, поддерживаются форматы .ply .las .laz .dxf и многие другие.

     

Изображение 3. Облако точек с изолиниями, съемка горы Северный Басег, Уральские горы. 

·      Экспорт собственно цифровой модели. Всевозможные форматы 3D моделей, от .obj до .3ds, .fbx и .kmz в наличии. Модель в виде полигонов нужна для применений в области 3D моделирования, видеомонтажа, дизайна, строительства. Не забудьте экспортировать текстуры.

 

Изображение 4. Пример полной цифровой модели объекта.

2. Какие данные нужны для начала работы в PhotoScan?

       Исходные данные, которые должны быть перед началом работы с PhotoScan:

·      Фотографии с воздуха, как правило, представленные в формате JPG.

·      Данные о центрах фотографирования.

Варианты представления могут быть различными, от файла в стандарте CSV или TXT, в котором перечислены имя файла, широта, долгота, высота (еще могут быть данные об углах съемки, полученные от полетного контроллера дрона)

#name                       latitude/Y           longitude/X       height/Z

DSC06881.jpg          58,1063479         55,8553254         293,9

Пример данных текстового формата для привязки центров фотографирования 

до использования лог-файлов с полетными данными распространённых полетных контроллеров (PX4 в их числе).

·      Данные о центрах наземных меток (опознаков), расположенных на поверхности съемки.

Формат представления – полностью аналогичен вышеописанным данным о центрах фотографирования, только вместо имени файлов – имя (номер) опознака.
 

Нужно сразу сделать ремарку об используемой для вашего проекта системе координат. В большинстве случаев используется либо глобальная система координат (WGS84, ПЗ-90.11) или местная система координат (МСКxx). Перед началом обработки рекомендуется привести координаты центров фотографирования, и координаты опознаков в систему координат, которая используется для дальнейшей обработки. В настоящей статье в качестве примера будет использоваться система координат МСК-59 зона 2 (Пермский край).
     

3. Как правильно фотографировать, чтобы получить ортофотоплан и цифровую модель?

Небольшой экскурс на тему как нужно снимать с воздуха. В большинстве программ управления дронами есть специальный раздел, подсказывающий пользователю как сделать полетное задание с нужными параметрами, вроде продольного и поперечного перекрытия, высоты и следующей из нее детализации, использования конкретной камеры с конкретным объективом и т.д. Пользуйтесь, смотрите инструкцию к вашей летающей технике (например, как создавать полетные задания для Mission Planner):

http://ardupilot.org/planner/docs/common-camera-control-and-auto-missions-in-mission-planner.html.

Общая для всех дронов, и самолетного типа, и мультикоптеров рекомендация по настройке параметров фотосъемки выглядит так:

Поперечное перекрытие 70%-80%. Для понимания, между поперечным перекрытием снимками в 70% и в 80% — разница в длине маршрута дрона — полтора раза. Меньше 70%, если нужно получить высокую точность построения цифровой модели использовать не нужно, может потребоваться пересъемка (съездить еще раз за несколько сотен или тысяч км – легко, мы не раз это делали!) из-за недостатка снимков для построения облака точек. Больше 80% — нет особого смысла, данных будет избыточное количество. Перекрытие в 75% в продольном и поперечном направлениях подходит для большинства случаев.

Еще несколько советов:

·      Скорость съемки и записи кадров, фактически – «скорострельность» камеры. Необходимо чтобы камера успевала не только снимать, но и записывать кадры на флешку даже при максимальной скорости полета относительно земли, т.е. при попутном ветре.

·      Выдержка – минимально возможная, рекомендуется 1/1000сек и короче.

·      Светочувствительность матрицы камеры, ISO, чем ниже, тем лучше.

·      Диафрагма объектива – в средних значениях, обеспечивающих наибольшую детализацию по всему полю кадра.

·      Объектив с фиксированным фокусным расстоянием обеспечивает гораздо большую детализацию, нежели зум-объектив.

·      Физический размер матрицы имеет значение. 16 мегапикселей у беззеркальной камеры с матрицей 24×16мм значительно качественнее 24 мегапикселей компактной камеры — «мыльницы» с матрицей размером 1/2.3’’ дюйма (или 6,16 × 4,62мм).

·      Угол поля зрения камеры не должно быть слишком широким, «рыбьим глазом» снимать с воздуха для создания ортофотоплана можно, но результат будет значительно менее качественным, чем при съемке среднефокусными объективами. Любители проводить съемку с помощью экшн-камер, дронов DJI с камерами сверхширокого угла съемки будут вынуждены для получения высокого качества снимать ниже и, соответственно, прокладывать маршруты длиннее.

·      Съемка в RAW формате с последующей обработкой «сырых» снимков приводит к наиболее качественным результатам. Как именно обрабатывать RAW снимки, чтобы увеличить детализацию, исправить разную экспозицию, цветовые настройки (неизбежно возникающие, когда дрон снимает при переменной облачности) – тема отдельной лекции.

4. Процесс обработки, шаг за шагом.

Геодезисты расставили опознаки, дрон пролетел заданный маршрут и принес фотографии с высоты.  Можно приступать к обработке в пакете PhotoScan.

 

Изображение 5. Расстановка опознаков на местности с помощью геодезического GNSS приемника

Процедура обработки разбита на шаги:

Шаг 1. загрузка фотографий в PhotoScan;

Шаг 2. обзор загруженных изображений и удаление ненужных кадров;

Шаг 3. выравнивание фотографий;

Шаг 4. построение плотного облака точек;

Шаг 5. построение трехмерной полигональной модели;

Шаг 6. текстурирование объекта;

Шаг 7. построение цифровой модели местности;

Шаг 8. построение ортофотоплана;

Шаг 9. экспорт результатов.

ИСХОДНЫЕ ДАННЫЕ.

Для самостоятельной тренировки по обработке данных аэрофотосъемки с дрона к статье приложен пример исходных данных съемки: https://yadi.sk/d/_Af1xQnI3UQn3h

В исходных данных есть а) фотоснимки территории садового товарищества в формате .JPG, б) координаты центров фотографирования в системе координат МСК59 в .txt файле в) координаты опознаков в системе координат МСК59 в .txt файле, архив с скриншотами расположения опознаков на ортофотоплане.

Замечание: опознаки на земле расставлялись с использованием местных предметов, и не всегда однозначно определяются на кадрах с воздуха.

Данные понадобиться если вы заходите повторить процедуру обработки на своем компьютере точно так же, как сделано в настоящей статье.

Что еще потребуется для выполнения обработки самостоятельно? Конечно же, сама программа PhotoScan. Доступна на сайте производителя (http://www.agisoft.com/downloads/installer/), после регистрации вы сможете получить ключ на 30 дневную пробную версию программы, либо обработку можно провести в демо-режиме работы программы (экспорт данных будет заблокирован).

Перед началом обработки рекомендуется настроить использование выделенного графического процессора. Графический процессор используется при наиболее ресурсоёмких этапах: выравнивания фотографий, построения плотного облака и построения полигональной модели. Кстати, в сети есть измерения времени обработки при использовании нескольких графических процессоров GTX 970. (https://www.pugetsystems.com/labs/articles/Agisoft-PhotoScan-GPU-Acceleration-710/). Собственные тесты автора показывают, что скорость обработки проекта с использованием GPU и без него, только с помощью CPU, увеличивается в 3-5 раз.

Изображение 6. Включение использования GPU в PhotoScan.

Процедура обработки проводится по следующим шагам:

Шаг 1. Загрузка фотографий в PhotoScan

Запустите PhotoScan, в разделе Проект добавьте фотографии в блок (в терминологии PhotoScan «Chunk»).

Изображение 7. Добавление фотографий в проект PhotoScan

После добавления фотоснимков в проект необходимо указать координаты (широту, долготу, высоту или XYZ в случае локальных координат). Также можно добавить данные об углах положения камеры в момент съемки, если они имеются.

Изображение 8. Добавление центров фотографирования

В примере использованы данные съемки с многороторного вертолета, с камерой, установленной на стабилизированном подвесе. В связи с этим указание углов фотографирования, записанные полетным контроллером, не используется.

Привязка координат к конкретному фотоснимку происходит при совпадении имени файла с полем «Название» в окне Импорта CSV. Процедура импорта файла с координатами и точностью опознаков выглядит точно так же, за исключением того, что имя опознака должно быть уникально, не совпадать с именем другого опознака или файла фотографии.

Изображение 9. Добавление опознаков из текстового файла.

Если ваши фотографии уже имеют геотеги в нужной для вас системе координат, то выполнять процедуру импорта координат из CSV файла вам не придется.

Шаг 2. Обзор загруженных изображений и удаление ненужных кадров

На данном шаге вы можете посмотреть и исключить снимки, которые:

·      Имеют низкое качество в связи с недостаточной длиной выдержки (смазанные снимки)

Для определения кадров с низким качеством рекомендуется провести процедуру «Оценить качество изображений», и, используя параметр качества исключить смазанные и нерезкие снимки (высокий параметр «Качество» соответствует высокой резкости изображений).

Изображение 11. Оценка качества изображений.

·         Сделаны во время разворота дрона и имеют большие углы

В разделе Привязка можно отсортировать изображения по углу наклона (при наличии этих данных). При съемке с дронов самолетного типа наибольшее отклонение происходит при крене аппарата, а значит и неподвижно закрепленной камеры. В зависимости от модели камеры объектива рекомендуется исключать снимки, сделанные с креном более 20-30 градусов (как в положительную, так и в отрицательную стороны).

·         Выходят за пределы области, для которой проводилась съемка. 

Определить границы съемки можно с помощью наложения полигона из внешнего файла .shp, kml и .dxf и затем исключить камеры, далеко выходящие за пределы границ. Этим вы сократите объем вычислений для выполнения задачи.

Изображение 13. Импорт границ (фигур) из внешнего файла.

        В задаче с учебным набором выполнение данного шага не требуется.

Шаг 3. Выравнивание снимков

Выполняется с помощью пункта Меню – Обработка – Выровнять фотографии.

На этапе проводится поиск характерных общих точек на фотографиях, по которым в дальнейшем будет рассчитываться карта глубин.

Изображение 14. Окно процедуры «Выровнять фотографии».

       Параметры выравнивания влияют на результаты обработки, и могут быть изменены.

·         Точность.

Высокая точность позволяет получить наиболее достоверное положение камеры, низкая точность уменьшает время обработки. Для практических задач рекомендуется использовать среднюю точность для задач, не требующих высокой точности выходных данных (например, для задач сельского, лесного хозяйства), высокую — для задач связанных с минимальными погрешностями (например, для геодезических задач, для построения карт, топопланов малого масштаба).

·         Преселекция пар.

Поиск соответствий (общих точек) на изображениях. Для проекта с известными данными о центрах фотографирования оптимально использовать преселекцию снимков по привязке. Это исключит избыточные вычисления «сравнения всех со всеми». Для данных съемки с дронов рекомендуется задать значение параметра Уровень земли (средняя высота поверхности земли на участке съемки) в диалоговом окне Параметры привязки на вкладке Привязка для повышения эффективности процедуры преселекции. Данные об уровне земли должны сопровождаться данными по параметрам Курс, Тангаж и Рыскание в соответствующих полях на вкладке Привязка.

Для приложенных исходных данных достаточно установить среднюю или высокую точность, установить галочку на пункте «Преселекция пар», как на изображении выше.

Шаг 4. Добавление маркеров (опознаков) в проект.

После выравнивания необходимо провести расстановку опознаков на фотоснимках. Для этого выберете первый опознак и с помощью щелчка правой кнопкой мыши отфильтруйте снимки, на которые «попадает» данный опознак.

Изображение 15. Процесс выборки снимков, содержавших выбранный опознак и расстановки на изображениях его точного положения.

Затем, после фильтрации изображений с координатами опознака, указывайте с максимальной     точностью его центр на каждом снимке, из списка отфильтрованных по маркеру.

Проведите процедуру привязки, каждого из расставленных на участке местности, опознаков.

На данном шаге проявляются все огрехи, связанные с расстановкой, видимостью, однозначным пониманием положения опознака. Не точно указанное положение одного опознака влияет на точность всего проекта. Помните об этом во время полевых работ по установке опознаков.

Шаг 5. Оптимизация выравнивания камер.

  

Изображение 16. Оптимизация камер.

Адаптивное уточнение модели камеры позволяет автоматически уточнять параметры камеры с учетом данных об их надежности. Рекомендуемая опция для обработки данных аэрофотосъемки.

После проведения оптимизации положения камер обратите внимание на ошибки положения опознаков. При правильном вычислении координат опознаков и правильной расстановки их на изображениях ошибка, как правило, не превышает 0.05 метров. При большой ошибке конкретного опознака ищите точное положение его на снимках, исключайте возможное неправильное определение его координат во время полевых работ. Большой запас количества опознаков расставленных на местности позволяет исключать неизбежно возникающие «проблемные» опознаки без ухудшения точности всего проекта.

  

Шаг 6. Построение плотного облака.

После правильного расположения разряженного облака (из общих точек снимков) проводится процедура построения плотного облака (точек). Для выполнения выберете следующий пункт меню Обработка – Построить плотное облако.

Изображение 19. Окно построения плотного облака.

Режим агрессивной фильтрации глубин — рекомендуемый для задачи обработки аэрофотоснимков. В этом случае исключается максимальное количество ошибочно позиционированных точек.

Построение плотного облака (точек) исходя из данных выравнивания и общих точек, найденных в массиве фотографий — наиболее ресурсоёмкая задача, использование одной или нескольких выделенных графических процессора позволят сэкономить время. На этом этапе обработки также потребуется максимальное количество оперативной памяти. Сколько именно оперативной памяти потребуется для обработки проектов можно подсмотреть в документе: http://www.agisoft.com/pdf/tips_and_tricks/PhotoScan_Memory_Requirements.pdf

Параметр качество влияет на глубину математической обработки, и точность построения плотного облака точек, по которому на следующем этапе будет строиться цифровая модель.

Шаг 7. Построение трехмерной полигональной модели

На основе плотного облака точек (либо части облака при сделанной классификации) на следующем шаге строиться модель. Для выполнения выберете пункт меню Обработка – Построить модель.

Изображение 20. Окно построения модели по данным плотного облака точек с оптимальными параметрами для задач геодезии и картографии.

Параметры реконструкции модели, рекомендуемые для данных аэрофотосъемки:

Тип поверхности – Карат высот 2.5D. Будет построена т.н. 2.5-мерная модель, для которой высота определяется однозначно, без полных и замкнутых областей.

Интерполяция – Включена, т.е. будет создана модель с заполнением отверстий, замкнутых областей без общих точек изображений.

Шаг 8. Построение текстуры модели

На этом шаге построенная полигональная модель «закрашивается» текстурами, взятых из фотографий. Для выполнения выберете пункт меню Обработка – Построить текстуру. Ниже – рекомендуемые параметры для построения текстуры для аэрофото:

Изображение 21. Окно построения текстуры.
 

Вот что говорит руководство пользователя PhotoScan о параметрах параметризации:

В режиме параметризации «Адаптивный ортофото» поверхность объекта разделяется на плоскую часть и вертикальные области. Плоская часть поверхности текстурируется с использованием ортографической проекции, в то время как вертикальные области текстурируются отдельно для сохранения точного отображения текстуры в этих областях. Данный режим позволяет получать более компактные текстуры для сцен близких к плоским, сохраняя при этом хорошее качество текстуры для вертикальных поверхностей (например, для стен зданий).

В режиме «Ортофото» вся поверхность объекта текстурируется в ортографической проекции. Данный режим позволяет получить еще более компактное представление текстуры, чем в режиме «Адаптивный ортофото», однако при этом сильно занижается качество текстуры для вертикальных областей.

Фильтрация шумов может быть включена, при наличии большого количества тонких структур (проводов, ЛЭП), и позволит избежать их использования на текстуре.

Шаг 9. Построение карты высот.

Карта высот в формате DEM (ссылка https://en.wikipedia.org/wiki/Digital_elevation_model) представляет собой TIFF файл (привязанный к координатам или же нет) каждый пиксель которого отвечает за высоту точки.

Для построения карты высот выберете пункт меню Обработка – Построить карту высот.

  

Изображение 22. Окно построения карты высот.

Небольшое примечание на тему: чем отличается цифровая модель высот, от цифровой модели рельефа? Ответ на картинке:

Шаг 10. Построение ортофотоплана.

Ортофотплан в понимании PhotoScan – вертикальная проекция цифровой модели с наложенной текстурой из множества фотоснимков. Основной формат (при экспорте) – GeoTIFF, обычно высокого разрешения.

Построение выполняется с помощью пункта меню Обработка – Построить ортофотоплан.

Изображение 24. Окно построения ортофотоплана.

Не забудьте указать географическую проекцию (обычно совпадает с проекцией исходных данных для построения цифровой модели). Размер пикселя, он же – пространственное разрешение ортофотоплана, влияет на размер файла, причем влияет квадратично. Избыточное разрешение не всегда удобно в дальнейшей обработке, при необходимости его можно уменьшить.
 

Шаг 11. Экспорт результатов.

Для задач геодезии, картографии, кадастрового учета и прочих практических применений данных аэрофотосъемки достаточно экспорта:

         1. Ортофотоплана.

         2. Карты высот.

Изображение 25. Окно экспорта ортофотоплана (параметры экспорта карты высот аналогичны).

Что нужно учесть при экспорте?

— Систему координат. Использовали WGS84 – экспортируйте в ней же, если исходные данные были в МСК – экспортируйте в МСК. Преобразования систем координат, если вдруг они понадобятся, лучше сделать для исходных данных, или, на крайний случай, провести в ГИС системе уже после экспорта.

— Большие ортофотопланы лучше разбивать на блоки размером, который компьютер с ГИС сможет «переварить», 10000×10000 – обычно достаточный квадрат даже для медленной MapInfo старых версий.

— Для уже упомянутого MapInfo потребуется сохранить файл World, не забудьте указать галочку.

— Сжатие, отличное от LZW воспринимают не все ГИС.

Для обзора результатов съемки удобно сделать также KMZ файл (обычно – меньшего разрешения и размера). Обзор в Google Earth этого файла доступен даже тем, у кого нет на компьютере специализированных ГИС и опыта работы с ними.

Удачи в полетах и обработке!

В следующих выпусках планирую рассказать про особенности обработки больших проектов (десятки тысяч изображений), и про автоматизацию процесса обработки.

5.    Рекомендуемые БПЛА для проведения аэросъемки и внедрения в учебный процесс 

В зависимости от объема и сложностей задачи, можно использовать БПЛА мультироторного и самолётного типов.

Из мультироторных аппаратов, на данный момент самым популярным БПЛА для аэросъемки, является БПЛА Dji Pnantom 4 PRO.

При необходимости съемки большей площади и установки более подходящих аэрофотосъемочных или мультиспектральных камер используется УТК БПЛА GeoDrone L.

  

6. Ссылки

·      «(Надеюсь) всё, что нужно знать о фотограмметрии». https://habrahabr.ru/post/319464/

·      Вики — Фотограмметрия. http://www.racurs.ru/wiki/index.php/Заглавная_страница

Руководство пользователя Agisoft PhotoScan Professional Edition, версия 1.4 http://www.agisoft.com/pdf/photoscan-pro_1_4_ru.pdf

·      Подробная информация о технологии фотограмметрии из множества изображений http://wiki.agisoft.com/wiki/Photogrammetry

·      Оценка точности ЦМР по материалам аэрофотосъемки с БЛА «Геоскан 101» http://www.geoprofi.ru/Services/Doc/2907/ecdb2b3e8ff1469b9ed0df45b206a17d/True

·      Agisoft PhotoScan, сайт http://www.agisoft.com

·      Ссылки на wiki разделе сайта компании Agisoft http://wiki.agisoft.com/wiki/Links/Articles

·      Оценки характеристик графических процессоров для PhotoScan https://www.pugetsystems.com/labs/articles/Agisoft-PhotoScan-GPU-Acceleration-710/

·      Оценки характеристик многопроцессорных систем для PhotoScan https://www.pugetsystems.com/labs/articles/Agisoft-PhotoScan-Multi-Core-Performance-709/
 

Основные статьи о применении БПЛА — https://russiandrone.ru/publications/
 

Сайт, где можно купить дрон для аэрофотосъемочных задач — https://rusdrone.ru/
 

Записаться на курсы повышения квалификации “Операторов БПЛА” Курсы по обработке данных аэрофотосъемки, по практическому использованию малых беспилотных комплексов, и по созданию и разработке дронов. Для задач геодезии, картографии, территориального планирования, лесного и сельского хозяйства. 

7. Литература

·      1. Инструкция по фотограмметрическим работам при создании цифровых топографических карт и планов ГКИНП (ГНТА)-02-036-02. Москва, ЦНИИГАиК, 2002

·      Руководство пользователя Agisoft PhotoScan Professional Edition, версия 1.4