два

Том 13 научных докладов, Номер статьи: 12846 (2023) Цитировать эту статью

258 Доступов

2 Альтметрика

Подробности о метриках

В этой работе была предложена KidneyRegNet, новый конвейер глубокой регистрации для 3D-КТ и 2D-УЗИ почек при свободном дыхании, который включает в себя сеть объектов и сеть регистрации на основе 3D-2D CNN. В сети объектов есть слои текстурных объектов, созданные вручную, чтобы уменьшить семантический разрыв. Сеть регистрации представляет собой структуру кодера-декодера с потерей движения объекта-изображения (FIM), которая обеспечивает иерархическую регрессию на уровнях декодера и позволяет избежать множественной конкатенации сетей. Сначала он был предварительно обучен с использованием ретроспективного набора данных и стратегии генерации обучающих данных, а затем адаптирован к конкретным данным пациента в рамках неконтролируемого одноциклового обучения с переносом в приложениях на месте. Эксперимент был проведен на 132 последовательностях УЗИ, 39 многофазных КТ и 210 общедоступных однофазных КТ-изображениях, а также 25 парах последовательностей КТ и УЗИ. В результате среднее контурное расстояние (MCD) между почками на КТ и УЗИ составило 0,94 мм, а на КТ и эталонных КТ изображениях MCD составило 1,15 мм. Наборы данных с небольшими преобразованиями привели к получению MCD 0,82 и 1,02 мм соответственно. Большие преобразования привели к получению МКД 1,10 и 1,28 мм соответственно. В этой работе были рассмотрены трудности регистрации почек 3DCT-2DUS во время свободного дыхания с помощью новых сетевых структур и стратегий обучения.

Регистрация медицинских изображений — это процесс сопоставления одного изображения с другим, полученным из той же или другой модальности. Это выровненное изображение содержит больше пространственно-временной информации, что важно для таких приложений, как хирургия с визуальным контролем1, мониторинг заболеваний2 и прогнозирование рисков3. Регистрация между изображениями одной модальности – это мономодальная регистрация, а регистрация между изображениями разных модальностей – мультимодальная регистрация. Различные методы визуализации чувствительны к различным тканям организма. Поэтому изображения разных модальностей необходимо фиксировать друг с другом, чтобы предоставить дополнительную информацию. Однако это затруднительно из-за сложной взаимосвязи интенсивностей соответствующих структур на двух изображениях. Ультразвуковые изображения (УЗИ) особенно сложны из-за большого движения, небольшого поля зрения и низкого качества сканирования. Тем не менее, необходима 3D–2D регистрация. Потенциал глубокого обучения по этим вопросам еще не полностью реализован4. В этой работе мы предложили двухэтапный метод глубокого обучения для сопоставления 3D-компьютерной томографии (КТ) с 2D-УЗИ (3DCT-2DUS) регистрации почек.

Современные методы (SOTA)5 можно классифицировать как контролируемую, слабо контролируемую и неконтролируемую регистрацию в соответствии со стратегией обучения или регистрацию изображений на основе сверточной нейронной сети (CNN), глубокой состязательной сети и регистрации изображений на основе преобразователя. в соответствии с базовой сетевой архитектурой. Контролируемая регистрация 6 обучена прогнозировать преобразование посредством использования изображений и их основных преобразований. Регистрация со слабым контролем7,8,9 использует перекрывающиеся сегменты анатомических структур в качестве функции потерь, что снижает ограничения, связанные с достоверными данными. Неконтролируемая регистрация10,11,12,13,14,15 обучается путем минимизации меры несходства с учетом набора изображений и не требует основных преобразований истины. Регистрация изображений на основе CNN16,17 обучает спроектированную архитектуру CNN и изучает сопоставление между входными изображениями и полями деформации. Глубокая состязательная регистрация изображений18,19 состоит из генераторной сети и дискриминационной сети. Сеть генератора обучена генерировать преобразования, а сеть дискриминатора изучает метрику сходства, чтобы гарантировать, что сгенерированные преобразования реалистичны или что входные изображения хорошо зарегистрированы. Регистрация на основе Vision Transformer (ViT)20,21,22,23,24 изучает внутренние связи между данными посредством механизма внимания. Наше решение — неконтролируемая регистрация на базе CNN. Мы называем регистрацию обучением без учителя, поскольку подсеть регистрации находится в процессе обучения без учителя. Подсети функций обучаются отдельно, а не специально для задачи регистрации. Они являются независимыми экстракторами функций, и к нашему решению также применимы универсальные функции.