3ac667ea23
|
||
|---|---|---|
| .. | ||
| lab | ||
| README.md | ||
| SemanticSegmentationPytorch.ipynb | ||
| SemanticSegmentationTF.ipynb | ||
README.md
Сегментація
Раніше ми вивчали розпізнавання об'єктів, яке дозволяє знаходити об'єкти на зображенні, прогнозуючи їх обмежувальні рамки. Однак для деяких завдань нам потрібна не лише обмежувальна рамка, а й більш точна локалізація об'єктів. Це завдання називається сегментацією.
Тест перед лекцією
Сегментацію можна розглядати як класифікацію пікселів, де для кожного пікселя зображення ми повинні передбачити його клас (фон є одним із класів). Існує два основних алгоритми сегментації:
- Семантична сегментація визначає лише клас пікселя, але не розрізняє різні об'єкти одного класу.
- Сегментація об'єктів (інстанс-сегментація) розділяє класи на окремі екземпляри.
Наприклад, для сегментації об'єктів ці вівці є різними об'єктами, але для семантичної сегментації всі вівці представлені одним класом.
Зображення з цієї статті
Існують різні нейронні архітектури для сегментації, але всі вони мають однакову структуру. У певному сенсі це схоже на автоенкодер, про який ви вже дізналися, але замість відновлення оригінального зображення наша мета — відновити маску. Таким чином, мережа для сегментації має такі частини:
- Енкодер витягує ознаки з вхідного зображення.
- Декодер перетворює ці ознаки у зображення маски, яке має такий самий розмір і кількість каналів, що відповідає кількості класів.
Зображення з цієї публікації
Особливо варто згадати функцію втрат, яка використовується для сегментації. У класичних автоенкодерах ми вимірюємо схожість між двома зображеннями, використовуючи середньоквадратичну похибку (MSE). У сегментації кожен піксель у цільовому зображенні маски представляє номер класу (закодований у форматі one-hot уздовж третього виміру), тому ми використовуємо функції втрат, специфічні для класифікації, — крос-ентропію, усереднену по всіх пікселях. Якщо маска бінарна, використовується бінарна крос-ентропія (BCE).
✅ One-hot кодування — це спосіб кодування мітки класу у вектор довжиною, що дорівнює кількості класів. Ознайомтеся з цією статтею про цю техніку.
Сегментація для медичних зображень
У цьому уроці ми побачимо сегментацію в дії, тренуючи мережу для розпізнавання невусів (також відомих як родимки) на медичних зображеннях. Ми будемо використовувати PH2 Database дерматоскопічних зображень як джерело даних. Цей набір даних містить 200 зображень трьох класів: типовий невус, атиповий невус і меланома. Усі зображення також мають відповідну маску, яка окреслює невус.
✅ Ця техніка особливо підходить для такого типу медичних зображень, але які інші реальні застосування ви могли б уявити?
Зображення з PH2 Database
Ми навчимо модель сегментувати будь-який невус від фону.
✍️ Вправи: Семантична сегментація
Відкрийте наведені нижче ноутбуки, щоб дізнатися більше про різні архітектури семантичної сегментації, попрактикуватися з ними та побачити їх у дії.
Тест після лекції
Висновок
Сегментація — це дуже потужна техніка для класифікації зображень, яка виходить за межі обмежувальних рамок до класифікації на рівні пікселів. Ця техніка використовується в медичній візуалізації та інших застосуваннях.
🚀 Виклик
Сегментація тіла — це лише одне із поширених завдань, які можна виконувати із зображеннями людей. Інші важливі завдання включають виявлення скелета та визначення пози. Спробуйте бібліотеку OpenPose, щоб побачити, як можна використовувати визначення пози.
Огляд і самостійне навчання
Ця стаття у Вікіпедії пропонує хороший огляд різних застосувань цієї техніки. Дізнайтеся більше самостійно про піддомени сегментації об'єктів (Instance segmentation) та паноптичної сегментації (Panoptic segmentation) у цій галузі досліджень.
Завдання
У цій лабораторній роботі спробуйте сегментацію людського тіла за допомогою Segmentation Full Body MADS Dataset із Kaggle.
Відмова від відповідальності:
Цей документ було перекладено за допомогою сервісу автоматичного перекладу Co-op Translator. Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу.