{ "cells": [ { "cell_type": "markdown", "metadata": { "id": "3AbTeDP5Tbou" }, "source": [ "# Τμηματοποίηση\n", "\n", "Έχουμε ήδη μάθει για την Ανίχνευση Αντικειμένων, η οποία μας επιτρέπει να εντοπίζουμε αντικείμενα στην εικόνα προβλέποντας τα *περιγράμματα* τους. Ωστόσο, για ορισμένες εργασίες δεν χρειαζόμαστε μόνο περιγράμματα, αλλά και πιο ακριβή εντοπισμό αντικειμένων. Αυτή η εργασία ονομάζεται **τμηματοποίηση**.\n", "\n", "Η τμηματοποίηση μπορεί να θεωρηθεί ως **ταξινόμηση εικονοστοιχείων**, όπου για **κάθε** εικονοστοιχείο της εικόνας πρέπει να προβλέψουμε την κατηγορία του (*φόντο* είναι μία από τις κατηγορίες). Υπάρχουν δύο κύριοι αλγόριθμοι τμηματοποίησης:\n", "\n", "* Η **Σημασιολογική τμηματοποίηση** απλώς προσδιορίζει την κατηγορία του εικονοστοιχείου, χωρίς να κάνει διάκριση μεταξύ διαφορετικών αντικειμένων της ίδιας κατηγορίας.\n", "* Η **Τμηματοποίηση παραδειγμάτων** χωρίζει τις κατηγορίες σε διαφορετικά παραδείγματα.\n", "\n", "Για την τμηματοποίηση παραδειγμάτων, 10 πρόβατα θεωρούνται διαφορετικά αντικείμενα, ενώ για τη σημασιολογική τμηματοποίηση όλα τα πρόβατα αντιπροσωπεύονται από μία κατηγορία.\n", "\n", "

\n", "\n", "> Εικόνα από [αυτήν την ανάρτηση στο blog](https://nirmalamurali.medium.com/image-classification-vs-semantic-segmentation-vs-instance-segmentation-625c33a08d50)\n", "\n", "Υπάρχουν διαφορετικές νευρωνικές αρχιτεκτονικές για την τμηματοποίηση, αλλά όλες έχουν την ίδια δομή:\n", "\n", "* **Κωδικοποιητής** εξάγει χαρακτηριστικά από την είσοδο της εικόνας\n", "* **Αποκωδικοποιητής** μετατρέπει αυτά τα χαρακτηριστικά στην **εικόνα μάσκας**, με το ίδιο μέγεθος και αριθμό καναλιών που αντιστοιχούν στον αριθμό των κατηγοριών.\n", "\n", "

\n", "\n", "> Εικόνα από [αυτήν τη δημοσίευση](https://arxiv.org/pdf/2001.05566.pdf)\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Προαπαιτούμενα\n", "\n", "Για να ξεκινήσουμε, θα εισάγουμε τις απαραίτητες βιβλιοθήκες και θα ελέγξουμε αν υπάρχει διαθέσιμη GPU για την εκπαίδευση.\n" ] }, { "cell_type": "code", "execution_count": 1, "metadata": { "execution": { "iopub.execute_input": "2022-04-08T15:48:06.861688Z", "iopub.status.busy": "2022-04-08T15:48:06.861254Z", "iopub.status.idle": "2022-04-08T15:48:06.868219Z", "shell.execute_reply": "2022-04-08T15:48:06.867567Z", "shell.execute_reply.started": "2022-04-08T15:48:06.861644Z" }, "id": "tv1T3XemFMpE", "trusted": true }, "outputs": [], "source": [ "import torch\n", "import torchvision\n", "import matplotlib.pyplot as plt\n", "from torchvision import transforms\n", "from torch import nn\n", "from torch import optim\n", "from tqdm import tqdm\n", "import numpy as np\n", "import torch.nn.functional as F\n", "from skimage.io import imread\n", "from skimage.transform import resize\n", "import os\n", "torch.manual_seed(42)\n", "np.random.seed(42)" ] }, { "cell_type": "code", "execution_count": 2, "metadata": { "execution": { "iopub.execute_input": "2022-04-08T16:03:32.933989Z", "iopub.status.busy": "2022-04-08T16:03:32.933733Z", "iopub.status.idle": "2022-04-08T16:03:32.937996Z", "shell.execute_reply": "2022-04-08T16:03:32.937366Z", "shell.execute_reply.started": "2022-04-08T16:03:32.933959Z" }, "id": "xhSEogpDFMpK", "trusted": true }, "outputs": [], "source": [ "device = 'cuda:0' if torch.cuda.is_available() else 'cpu'\n", "train_size = 0.9\n", "lr = 1e-3\n", "weight_decay = 1e-6\n", "batch_size = 32\n", "epochs = 30" ] }, { "cell_type": "markdown", "metadata": { "id": "D4if75qwFMpJ" }, "source": [ "## Το Σύνολο Δεδομένων\n", "\n", "Θα χρησιμοποιήσουμε δερματοσκοπικές εικόνες ανθρώπινων σπίλων. Αυτό το σύνολο δεδομένων περιέχει 200 εικόνες από τρεις κατηγορίες: τυπικός σπίλος, άτυπος σπίλος και μελάνωμα. Όλες οι εικόνες περιλαμβάνουν επίσης αντίστοιχες **μάσκες** που περιγράφουν τον σπίλο.\n", "\n", "Ο παρακάτω κώδικας κατεβάζει το σύνολο δεδομένων από την αρχική τοποθεσία και το αποσυμπιέζει. Θα χρειαστεί να έχετε εγκατεστημένο το εργαλείο `unrar` για να λειτουργήσει αυτός ο κώδικας. Μπορείτε να το εγκαταστήσετε χρησιμοποιώντας `sudo apt-get install unrar` σε Linux ή κατεβάζοντας την έκδοση γραμμής εντολών για Windows [εδώ](https://www.rarlab.com/rar_add.htm).\n" ] }, { "cell_type": "code", "execution_count": 5, "metadata": { "execution": { "iopub.execute_input": "2022-04-08T16:47:25.071036Z", "iopub.status.busy": "2022-04-08T16:47:25.070746Z", "iopub.status.idle": "2022-04-08T16:47:32.612115Z", "shell.execute_reply": "2022-04-08T16:47:32.611253Z", "shell.execute_reply.started": "2022-04-08T16:47:25.071005Z" }, "id": "TkuYGLRKFMpK", "trusted": true }, "outputs": [], "source": [ "#!apt-get install rar\n", "!wget https://www.dropbox.com/s/k88qukc20ljnbuo/PH2Dataset.rar\n", "!unrar x -Y PH2Dataset.rar" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Τώρα θα ορίσουμε τον κώδικα για τη φόρτωση του συνόλου δεδομένων. Θα μετατρέψουμε όλες τις εικόνες σε μέγεθος 256x256 και θα χωρίσουμε το σύνολο δεδομένων σε τμήματα εκπαίδευσης και δοκιμής. Αυτή η συνάρτηση επιστρέφει τα σύνολα δεδομένων εκπαίδευσης και δοκιμής, το καθένα περιέχοντας τις αρχικές εικόνες και τις μάσκες που περιγράφουν το σπίλο.\n" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "id": "Rumy9ldAFteW" }, "outputs": [], "source": [ "def load_dataset(train_part, root='PH2Dataset'):\n", " images = []\n", " masks = []\n", "\n", " for root, dirs, files in os.walk(os.path.join(root, 'PH2 Dataset images')):\n", " if root.endswith('_Dermoscopic_Image'):\n", " images.append(imread(os.path.join(root, files[0])))\n", " if root.endswith('_lesion'):\n", " masks.append(imread(os.path.join(root, files[0])))\n", "\n", " size = (256, 256)\n", " images = torch.permute(torch.FloatTensor(np.array([resize(image, size, mode='constant', anti_aliasing=True,) for image in images])), (0, 3, 1, 2))\n", " masks = torch.FloatTensor(np.array([resize(mask, size, mode='constant', anti_aliasing=False) > 0.5 for mask in masks])).unsqueeze(1)\n", "\n", " indices = np.random.permutation(range(len(images)))\n", " train_part = int(train_part * len(images))\n", " train_ind = indices[:train_part]\n", " test_ind = indices[train_part:]\n", "\n", " train_dataset = (images[train_ind, :, :, :], masks[train_ind, :, :, :])\n", " test_dataset = (images[test_ind, :, :, :], masks[test_ind, :, :, :])\n", "\n", " return train_dataset, test_dataset\n", "\n", "train_dataset, test_dataset = load_dataset(train_size)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Ας σχεδιάσουμε τώρα μερικές από τις εικόνες από το σύνολο δεδομένων για να δούμε πώς φαίνονται:\n" ] }, { "cell_type": "code", "execution_count": 17, "metadata": { "execution": { "iopub.execute_input": "2022-04-08T16:03:58.259127Z", "iopub.status.busy": "2022-04-08T16:03:58.258819Z", "iopub.status.idle": "2022-04-08T16:03:58.266433Z", "shell.execute_reply": "2022-04-08T16:03:58.265489Z", "shell.execute_reply.started": "2022-04-08T16:03:58.259090Z" }, "id": "jP2_-AjIFMpO", "trusted": true }, "outputs": [], "source": [ "def plotn(n, data, only_mask=False):\n", " images, masks = data[0], data[1]\n", " fig, ax = plt.subplots(1, n)\n", " fig1, ax1 = plt.subplots(1, n)\n", " for i, (img, mask) in enumerate(zip(images, masks)):\n", " if i == n:\n", " break\n", " if not only_mask:\n", " ax[i].imshow(torch.permute(img, (1, 2, 0)))\n", " else:\n", " ax[i].imshow(img[0])\n", " ax1[i].imshow(mask[0])\n", " ax[i].axis('off')\n", " ax1[i].axis('off')\n", " plt.show()\n", "\n", "plotn(5, train_dataset)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Θα χρειαστούμε επίσης φορτωτές δεδομένων για να τροφοδοτήσουμε τα δεδομένα στο νευρωνικό μας δίκτυο.\n" ] }, { "cell_type": "code", "execution_count": 16, "metadata": { "execution": { "iopub.execute_input": "2022-04-08T16:03:58.247264Z", "iopub.status.busy": "2022-04-08T16:03:58.246853Z", "iopub.status.idle": "2022-04-08T16:03:58.256661Z", "shell.execute_reply": "2022-04-08T16:03:58.255964Z", "shell.execute_reply.started": "2022-04-08T16:03:58.247222Z" }, "id": "rUGDAa61FMpN", "trusted": true }, "outputs": [], "source": [ "train_dataloader = torch.utils.data.DataLoader(list(zip(train_dataset[0], train_dataset[1])), batch_size=batch_size, shuffle=True)\n", "test_dataloader = torch.utils.data.DataLoader(list(zip(test_dataset[0], test_dataset[1])), batch_size=1, shuffle=False)\n", "dataloaders = (train_dataloader, test_dataloader)" ] }, { "cell_type": "markdown", "metadata": { "id": "ORmas8XhYfS8" }, "source": [ "## SegNet\n", "\n", "Η πιο απλή αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή ονομάζεται **SegNet**. Χρησιμοποιεί ένα τυπικό CNN με συνελίξεις και pooling στον κωδικοποιητή, και ένα αποκωδικοποιητή CNN που περιλαμβάνει συνελίξεις και upsampling. Επίσης, βασίζεται στη batch normalization για να εκπαιδεύσει επιτυχώς ένα πολυεπίπεδο δίκτυο.\n", "\n", "

\n", "\n", "> Εικόνα από αυτήν την εργασία: Badrinarayanan, V., Kendall, A., & Cipolla, R. (2015). [SegNet: A deep convolutional\n", "encoder-decoder architecture for image segmentation](https://arxiv.org/pdf/1511.00561.pdf)\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": { "execution": { "iopub.execute_input": "2022-04-08T16:03:59.239435Z", "iopub.status.busy": "2022-04-08T16:03:59.239186Z", "iopub.status.idle": "2022-04-08T16:03:59.257319Z", "shell.execute_reply": "2022-04-08T16:03:59.256388Z", "shell.execute_reply.started": "2022-04-08T16:03:59.239401Z" }, "id": "QDsSrmbeTbp9", "trusted": true }, "outputs": [], "source": [ "class SegNet(nn.Module):\n", " def __init__(self):\n", " super().__init__()\n", " self.enc_conv0 = nn.Conv2d(in_channels=3, out_channels=16, kernel_size=(3,3), padding=1)\n", " self.act0 = nn.ReLU()\n", " self.bn0 = nn.BatchNorm2d(16)\n", " self.pool0 = nn.MaxPool2d(kernel_size=(2,2))\n", "\n", " self.enc_conv1 = nn.Conv2d(in_channels=16, out_channels=32, kernel_size=(3,3), padding=1)\n", " self.act1 = nn.ReLU()\n", " self.bn1 = nn.BatchNorm2d(32)\n", " self.pool1 = nn.MaxPool2d(kernel_size=(2,2))\n", "\n", " self.enc_conv2 = nn.Conv2d(in_channels=32, out_channels=64, kernel_size=(3,3), padding=1)\n", " self.act2 = nn.ReLU()\n", " self.bn2 = nn.BatchNorm2d(64)\n", " self.pool2 = nn.MaxPool2d(kernel_size=(2,2))\n", "\n", " self.enc_conv3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=(3,3), padding=1)\n", " self.act3 = nn.ReLU()\n", " self.bn3 = nn.BatchNorm2d(128)\n", " self.pool3 = nn.MaxPool2d(kernel_size=(2,2))\n", "\n", " self.bottleneck_conv = nn.Conv2d(in_channels=128, out_channels=256, kernel_size=(3,3), padding=1)\n", " \n", " self.upsample0 = nn.UpsamplingBilinear2d(scale_factor=2)\n", " self.dec_conv0 = nn.Conv2d(in_channels=256, out_channels=128, kernel_size=(3,3), padding=1)\n", " self.dec_act0 = nn.ReLU()\n", " self.dec_bn0 = nn.BatchNorm2d(128)\n", "\n", " self.upsample1 = nn.UpsamplingBilinear2d(scale_factor=2)\n", " self.dec_conv1 = nn.Conv2d(in_channels=128, out_channels=64, kernel_size=(3,3), padding=1)\n", " self.dec_act1 = nn.ReLU()\n", " self.dec_bn1 = nn.BatchNorm2d(64)\n", "\n", " self.upsample2 = nn.UpsamplingBilinear2d(scale_factor=2)\n", " \n", " self.dec_conv2 = nn.Conv2d(in_channels=64, out_channels=32, kernel_size=(3,3), padding=1)\n", " self.dec_act2 = nn.ReLU()\n", " self.dec_bn2 = nn.BatchNorm2d(32)\n", "\n", " self.upsample3 = nn.UpsamplingBilinear2d(scale_factor=2)\n", " self.dec_conv3 = nn.Conv2d(in_channels=32, out_channels=1, kernel_size=(1,1))\n", "\n", " self.sigmoid = nn.Sigmoid()\n", "\n", " def forward(self, x):\n", " e0 = self.pool0(self.bn0(self.act0(self.enc_conv0(x))))\n", " e1 = self.pool1(self.bn1(self.act1(self.enc_conv1(e0))))\n", " e2 = self.pool2(self.bn2(self.act2(self.enc_conv2(e1))))\n", " e3 = self.pool3(self.bn3(self.act3(self.enc_conv3(e2))))\n", "\n", " b = self.bottleneck_conv(e3)\n", "\n", " d0 = self.dec_bn0(self.dec_act0(self.dec_conv0(self.upsample0(b))))\n", " d1 = self.dec_bn1(self.dec_act1(self.dec_conv1(self.upsample1(d0))))\n", " d2 = self.dec_bn2(self.dec_act2(self.dec_conv2(self.upsample2(d1))))\n", " d3 = self.sigmoid(self.dec_conv3(self.upsample3(d2)))\n", " return d3" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Πρέπει να αναφέρουμε ειδικά τη συνάρτηση απώλειας που χρησιμοποιείται για την τμηματοποίηση. Στους κλασικούς αυτόματους κωδικοποιητές, πρέπει να μετρήσουμε την ομοιότητα μεταξύ δύο εικόνων και μπορούμε να χρησιμοποιήσουμε το μέσο τετραγωνικό σφάλμα για να το κάνουμε αυτό. Στην τμηματοποίηση, κάθε εικονοστοιχείο στην εικόνα της μάσκας στόχου αντιπροσωπεύει τον αριθμό της κατηγορίας (κωδικοποιημένο σε one-hot κατά την τρίτη διάσταση), οπότε πρέπει να χρησιμοποιήσουμε συναρτήσεις απώλειας ειδικές για την ταξινόμηση - τη συνάρτηση απώλειας διασταυρούμενης εντροπίας, με μέσο όρο σε όλα τα εικονοστοιχεία. Εάν η μάσκα είναι δυαδική (όπως στο παράδειγμά μας) - θα χρησιμοποιήσουμε τη **συνάρτηση απώλειας δυαδικής διασταυρούμενης εντροπίας** (BCE).\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": { "execution": { "iopub.execute_input": "2022-04-08T16:03:59.259154Z", "iopub.status.busy": "2022-04-08T16:03:59.258856Z", "iopub.status.idle": "2022-04-08T16:03:59.284201Z", "shell.execute_reply": "2022-04-08T16:03:59.283559Z", "shell.execute_reply.started": "2022-04-08T16:03:59.259108Z" }, "id": "2GoR8-huFMpn", "trusted": true }, "outputs": [], "source": [ "model = SegNet().to(device)\n", "optimizer = optim.Adam(model.parameters(), lr=lr, weight_decay=weight_decay)\n", "loss_fn = nn.BCEWithLogitsLoss()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Ο βρόχος εκπαίδευσης ορίζεται με τον συνηθισμένο τρόπο:\n" ] }, { "cell_type": "code", "execution_count": 21, "metadata": { "execution": { "iopub.execute_input": "2022-04-08T16:03:59.286008Z", "iopub.status.busy": "2022-04-08T16:03:59.285826Z", "iopub.status.idle": "2022-04-08T16:03:59.298404Z", "shell.execute_reply": "2022-04-08T16:03:59.297656Z", "shell.execute_reply.started": "2022-04-08T16:03:59.285986Z" }, "id": "HQ_UFglyTbqM", "trusted": true }, "outputs": [], "source": [ "def train(dataloaders, model, loss_fn, optimizer, epochs, device):\n", " tqdm_iter = tqdm(range(epochs))\n", " train_dataloader, test_dataloader = dataloaders[0], dataloaders[1]\n", "\n", " for epoch in tqdm_iter:\n", " model.train()\n", " train_loss = 0.0\n", " test_loss = 0.0\n", "\n", " for batch in train_dataloader:\n", " imgs, labels = batch\n", " imgs = imgs.to(device)\n", " labels = labels.to(device)\n", "\n", " preds = model(imgs)\n", " loss = loss_fn(preds, labels)\n", "\n", " optimizer.zero_grad()\n", " loss.backward()\n", " optimizer.step()\n", "\n", " train_loss += loss.item()\n", "\n", " model.eval()\n", " with torch.no_grad():\n", " for batch in test_dataloader:\n", " imgs, labels = batch\n", " imgs = imgs.to(device)\n", " labels = labels.to(device)\n", "\n", " preds = model(imgs)\n", " loss = loss_fn(preds, labels)\n", "\n", " test_loss += loss.item()\n", "\n", " train_loss /= len(train_dataloader)\n", " test_loss /= len(test_dataloader)\n", "\n", " tqdm_dct = {'train loss:': train_loss, 'test loss:': test_loss}\n", " tqdm_iter.set_postfix(tqdm_dct, refresh=True)\n", " tqdm_iter.refresh()" ] }, { "cell_type": "code", "execution_count": 12, "metadata": { "colab": { "base_uri": "https://localhost:8080/" }, "execution": { "iopub.execute_input": "2022-04-08T16:03:59.302207Z", "iopub.status.busy": "2022-04-08T16:03:59.301979Z", "iopub.status.idle": "2022-04-08T16:17:44.792683Z", "shell.execute_reply": "2022-04-08T16:17:44.791975Z", "shell.execute_reply.started": "2022-04-08T16:03:59.302184Z" }, "id": "MsgM_kZRFMpo", "outputId": "8ff2de4a-ad8d-4b57-bdeb-ecaa90f742e2", "trusted": true }, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "100%|██████████| 30/30 [16:01<00:00, 32.04s/it, train loss:=0.593, test loss:=0.577]\n" ] } ], "source": [ "train(dataloaders, model, loss_fn, optimizer, epochs, device)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Για να αξιολογήσουμε το μοντέλο μας, θα σχεδιάσουμε απλώς τις μάσκες στόχου και τις προβλεπόμενες μάσκες για έναν αριθμό εικόνων:\n" ] }, { "cell_type": "code", "execution_count": 13, "metadata": { "colab": { "base_uri": "https://localhost:8080/", "height": 203 }, "execution": { "iopub.execute_input": "2022-04-08T16:17:44.795590Z", "iopub.status.busy": "2022-04-08T16:17:44.794942Z", "iopub.status.idle": "2022-04-08T16:17:45.663916Z", "shell.execute_reply": "2022-04-08T16:17:45.663160Z", "shell.execute_reply.started": "2022-04-08T16:17:44.795550Z" }, "id": "FXvR7P1FFMpo", "outputId": "16b1f56d-93e0-48a0-d0c2-a8214b537741", "trusted": true }, "outputs": [ { "data": { "image/png": "iVBORw0KGgoAAAANSUhEUgAAAV0AAABICAYAAABV5CYrAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8rg+JYAAAACXBIWXMAAAsTAAALEwEAmpwYAAAWtUlEQVR4nO3deWAM5/8H8PfM7GY3m0ts5CDkkgt1k6T86v5+URRVRUu1KpS6q8f30mqryrelrpZWHdUDpYpSVeLrCII4IuQWIadE5M5mdmZ+fygS2Wz2mJ3djef1Hzv7PE9mdz/zzDyf53koQRBAEARBSIO2dgMIgiCeJCToEgRBSIgEXYIgCAmRoEsQBCEhEnQJgiAkRIIuQRCEhGT6XhxEv/BE5JMd5ndShh5Lzolu5LzUR85JfQ2dE8ZDjcItzRHXZScAIEtbjueWvg2vr89DYGvMah/t5ITUxU/hwosr4EY7AgBYgcNTpyYjYDEL/mqSWeXrou+ckJ4uQRBWd+PNUJzuvP3hv9vInHHoveXIj+5udtnZ0zshcdzqhwEXAOQUg6Te3+H13QdQPjbS7DqMQYKuHaAUClAyvTclBGHXnLsXgqHqhiNPxgmvz9wHmY+3WWWXhbFQUHKdrz3vXIplS9eh7EXpAi8JujaKkjugelhPpG7pitbHZVAeUePGJ1GQBfhZu2kEISpaqUSU9w2dr73imoqynm3MKl91Q3fAfaCXksbyT6QLvKT7ZINkfq2RurQ5/tfrc/jInB+9EAysHuGHHf8aDNUvZ63XQIIQEV9djbiCtkDLc/Vec6aVKPWTwVHH+wzllsFDIzTc2wUeBd63mBlw/ekcwHNm1Kgf6enaGJlfa8i31iClz5a6Afcvs9xv4v3/fgP+/7pYoXUEYRkcrzsUsQIHRbF545GuyWW4w2kaPa6XksYPn/wXKWu7Qdba16w69SFB14Y8CLh7gg/pPW6AI4eI1edBdwqXqGUEYVlF6c11/n+choI67o5ZZVNGLOoVIHdG2oivMPqP88hYGgW+d2cwLVoANGNWG2ojQddG0CoVUj91bzTgPvCRZwK6bE4EIjtauGUEYXnqyxRYof4t/dT4SeBS0iVtC0PRmOKWh9RJX2LTD2vw0sl4uJ9wQ8r6Hih7MRKMh9qs8knQtRE50Z0R33uDUe9Z4nUF87ZtR+G0KJLdQNg1z0M3sbGk7oBZCV8F9fdOgBWXn/WVOeMllyL8FHAUN4Z/jT8/W4WQQyXQ9u9mcpkk6NoAJjgQM6ftgTOtNPq9g1UaHPzXf5G8tguYZm4WaB1BWJ42OwfrNj6HYq7y4f/NuvV3OP95zYqtqk9FO2Clz3ks3LANhdOiAMqoOUQASNC1PprB9QUeiHbLMbkIT8YJScPWgdvlAlmgv3htIwgJtVxzAT1/WIA4DYsd5W7IWhwKvqzM7HI5lRwOJgRHfQarNFj1zlqwg4zv8ZJ7UiurHNkdR4d8BqB+poIxFJQch8L3o9Pn49FynBJ8dbU4DSTsFiWTgVY3h+Ctxr12bigOp8AGVsPbowQAkJfkCf99LOTHE8yeaisGQaNB4Ltn8P7GcaC0HBQZ9VPITJEf4QRPxkmUsmrrpaQRvXoXNkaPBP2/iwa/jwRdK5K19sXT/z6LALl5Abe2Y9024tmR8+Hy0xnRyiTshyzAD3l/a4m7ESx6haVhiPoCuipuoa1cATn12Ah8RyB3dDl6H5+FsIW50ObmWafRtQmCqANnjKsreo67LFp5jxvnUoyY5Um4NSEAXJruCR6PI0HXSmiVCimfeuA3r/2iluvOqKB56S5ctlNWHYAgpMW0DUDyTC+sGLYVQ1RljwVYVYPv85E5I6XfRvTb/DxcJnvbRuAVCe3khJT/tMPPrVYBcLBYPet9T2PSd8+gcKJhgZcEXWugKGQu7IzLz6yEJb4MU4NOYa9bW3D3SkQvm7AxNIPyMT0w4f3fcKDZrb/+07icUoaiEdNhF3puGAfPcWXgKyrEb6cFMa6uqI4MQZX6fjhjnSgUtxcQFZGEXW1WQUVbLuA+sNXvOF7e2hd3JzUeeEnQtQK+VydsemW1xb4MYYpc7GvWDSBBt2mjGdx+NwL7py0z+xEVQ9E40WUbur49F36LYkVqoPGoHk8hL8oFEACfE/fAX77e8B0bzaD8+e7o8vYlvO/9BdxrrSL2aPEcywfcB7b5H8OELf1Q8ryX3uNI0JUYJZMh/y0NIpXizXB5XAeHMrA+7qAysyxWB2FlFIXshRH4c/oyndPFTaGiHbDypY1YuXcMhAuJopRpMJpBzvwIrJ2xDs/8lTl5Zh6HKRcnocU3KjieTHqYyUDJZBC6t0PaTAYxfT5DG5kzAPEHykzxnf8RtJs1U+8xJOhKjIvsgF+6rIG52Qr6MKDAKxkjbzIJe6IZ0h3fTv9CtID7wGCVBjMnuqDtBVGLbVTpuB44OHsZfGv9PZFKBolR3yO3Rzk2FPfEtsSe0FbJ0CX4Jv7T+mt0Vihgyd+RKRiKxoGXlwOY3+AxFg26jIcabHgbaFV1f/7yUhaytBxwhYVP3GBP5nBHBImYraCLO6NCUXslPGMsWo31PZgPb8EVoWyRzNsL4R9eRE+F/iULTTVr0O/4o5mfZGMCtIsLIhacrxNwa/OROWNRi2tY1Lf2RAmFJG0zRWO/b9GDLu3igso+4bg9jsU/uh3EcOe9cH5sSbVCvgYnqvywJqMvKg57wedkGegrqU0+t5RWqTBkwHlJ6rrXQQtPSWqSFiV3QPXfOuHmcAo9OqSjhpPhyhV/BO2oAX3y0hNxEU+dG4i93gdhqblNE1wTsa/bAMiOSNTdDWqNOR4bYGu9VksRLehScgdUD+wEj3/cwHf+K+DxMBm5/rOWNrQDXnIpwkuddgGdgPQ55fggZyjOHeqKgJ1F4K6lNM0fT7Afpnl8C5i1OqhhRvc4j2tOTnY3Eq2PrFVLJC/zQuwzK+smuwcDV4ZXY8xP8xD0/sUmffGWBfrjo9E/1NtlQUyejBMKuijQ8ojFqqijNNgFXox0A17WJsonJ/NthdRv22Pb+hX4OejPWgHXMEFyZ2z1O47r0euwYO/PSF3dE0y7EDGaZlNy+rojTC7NbdFbLY5DExUmSV1SoDu3Q9jePCT33ahzdlFHByXiX16BzLe7mjQf3l6kRvvgeadii9dT0aHx9WfFUqWmJUnrshXmB93Ijgj7NRfpAzY1+EzGGAMcOWSMXo/Jew6heHKUqOtYWhXNgBlQZNEeSm0+MmcUvlkJSm7/X2bGQw3h8xJ85hOv9/w500p8M3kNhCa63CXjocbkoUcl+Q71DL4h2cp1rre0KOGrJKnLFpj36UV2xJCNx/GZT7xIzXlkrHMJdi9ejpwFEU0i8Mpa+WBJuz2S1nm02zcoeaGrpHVaQua0UOwL3WvQsb2UNFJfUTTJ3m5J/2DMbZ4gSV2tlPcAiToIyvwqVD5Bg6Emn1XGQ42O6xIw1z1TxObU5StzxsFZy5A3K8JidUhF26o5OjgUSVqnB+OEfgtj7698b6cYd3e8/OKR+usG6DG9VwwYFxcLtso6cnvhiboNb6pMDrrZE0PxkVecmG3RyVfmjC9mfwXNkB4Wr8uSSgNU8GEangNvKR94XsTtScGS1yuWyqi2eMPd8BWcAGCgcyIoD93bv9gtmkFAe9OX/zRWbrUbIPCS1fckMSno0ioVIsdf1Lu7ppj6OvLoszTWrteKpQSAh/QZGXKKwdhXjtptb7fEXw53K1ysbA2tVGCAZ7Jk9Z2+1haCVitZfU8S03q6gW0w2/OoyE3R74MWiUj+0N1uB4ZcU8twW2udwYKF6gQUDW5rlbrNVe1h7RbYBqqlFwa6XJWkLk7goY4jk1UtxaSgW9K+GdrKpf9QYp9Zg7JR9jkwxOQUIV7T0ip1Kyg5CnrbZ6+FUxl/d5Cg8YVQ1nTykwEADnKoaWnSuI5Vy+F5LF+SugCA0vJgJavN+kwKusWhtGSPFmrzZJygnpkJWmV/t5va/Dv44sYAq9Xv1dryuZ2W4JRlfBbCjtzu4Ivt8++1Ba8fec3gBbnFQN3MxbFKf8nqsza72yNtS+BulAy3wzxMnkPxER9rt+KJkHS1dZN8HsnB8mlwKWwFgn7kpJ0RynGoFuzzsaEp7C7oujMqOEzJs8stx73iquvsdko0zjmXQzlv+LRejcDC80zTy9FFfiGOVVo+C+XvB+eB+Z/ltrfRRdBqkV7ddFYKWZCr/xGo3QVdAFgWvBN0SKC1m2E0RWoeYjXWSWUqq7LdVZn0cbpdiUrB8MT5Q5VuUB+/bcEWWYdQVY0C1tWidRyrohG2plTyVdv4ykoczbb/af+swGFM+kBcHx+g9zjTUsas/NS7mwOD3P72N6zNFRTix4JIq9QtXHKzSr3moovLkcoavkDQe1dGQXs724Itsg6+WoODOe0sVj4n8Ji+bTr4ROnS0pqSdLYcoXtmoHIk3+jGmiYFXc/4GqveJjMUjbIo+5urLbA1OHVd+tStLG05Wp6w05W3CoqQqPE16FCNwMJpn2vTXKGO55CfoH8bGHN8VeKHoA2ZVjt3FdXWf6arEVij4xon8FiQ2xVTp8xB8Kzz4IruNvoek4Ku6vItHK6y7qDQ4JBroJVKq7bBFIps6bM+5maOguy0xNuviIQrr8D27O4GHbupxB8tDkk36i61lic5iywMU85XY+PqYdBmSzfj7XF8omUfnTREI7BYfjcIwdveQL/5s/DCpDfRfs0MbChpPL2TE3g8kzAGSSO8If/zgsGPZUwKutqCQqy50d+Ut4omVJUHyKUPYOZSJ/DQCNI9n8nSlqNgVSAEjXRL9YmK55B5xbD85k9PDW1SW4g/zvlkGraWiL9c54KcfvD+3roXZUri9W40Aot38jsjYukcxPT1R+Dbp+Gy/QyYmHj4LonFnpFP4538znrLeDuvO5pNqTb6YmXaQBrP4d4hH3BkbrbR3C7dwelqaQa1WIFDn9/mw2m3NLtVWIrHJarRC1WuthyBPzbt7yNXdBcrYgaLWuYNthyJn3YEV1oqarm2qpCrwOCkZ9Fr0WwkDGwOr9Wx4ArrL0TFJafh2IooVPI1Osv5vVKBqzM7mHR3YHL2gu/vhTinaYLPziyMS7uBqWcnWbwejcAi/NjrCH8nye73EPM4moX9FWq9x8zJeg4Osfb5CMUYQTtrcFtbLkpZrMBhwL4FcPrF+hdlp1wBrBFZKsZ6EGxHzpsPamgR1N+cbvT5q/pcIW7qyPcu4Crwz2WvAWeumNQWk4Mudz0VE45Hm/p2s8UUhUCosr/BNAgC2nzD4JIFb/ePVdHounYOgqenNYkejDY7BwvPjGnwdY3AImVHaJPepucB2blkvHVrhChlPZcyHGGLUm3iouyWXoNyXvzfBCfweDM74mGwdfr5rOHfE4oCQ9XtWLICh6d3LECLb8+Z3CbT83QFASFra3BBo7v7bWkXrwXY7awjWUw8xv44V/RnuylsBQIOTcHSsePhuyQWfFmZqOVbjSAg7ONSrCz21/nym7f7ouX3SdK2yUr4ykpc/znMrF4hK3AYmjwU1GTGoNF2KSgu38CWUnFT4lLYCoTsmIGMYW7GBdu/lIa7w09WN6tiUUEXhCxNNyv2mDU5Qjh/FWOOvWFOESZhBQ4tTtvxbhKCgKBPriLs4Bso5BpfmOV4NTA6bRA2l3rqHL3O0pYj6vLziJ4+FyGvxUO40PRus7nkNByI7ouPCusOJO0qd0X6P8NsJnhIodW2VHxa1N6k917Q1CB09wxgTDW0N2+J3DLTcUV3sX77UNE6IhtLvDH5nQVoO/8suPwC09rkQEGGR3FGI7A48G1vcHfumNU28+bSCgLClxRjeY8gLGyuPyFYTIk1WnicK4L1b4pMx5eVIfSNKxj4xkIsnrUZI5zq5wcWchV4+uQMtP2wCnxKBnY0ewqbIkcitzcDvvX9qzadpYTfb1VwO3sNAivdZ2AN1KlLOD0iBOGT+oMNrQJfqEDoplLIL0m0VbiN4O7cwd7P+2HK4vPwaWRfQo3A4nINsD6/H07EPIXAXWUIvhAHzgZzmf1XJCCs9Qwc/dsKBMhN329xTPpAlM/3gcu5MyK2Dthe5oNWuzNh7v212QsYcKkZODi3L/p8nYSeCmlSuD7PGwQhI0uSuixJYGvgtSoWXx4dgTkzXPHJgJ0YqLoNVhDw6Z2+OLW2BwK/uwCOvf8IhyssgnJ/EQL26yhL4rZbizYzC20WP/rsm3a+QsOabzuH4bKFGD37KKLd4yH/az+zqzUKbL8bgZM5gdCcUcM9mYNrQiH4m7cRoDlt09+T+x2Ri4iOmoW08XK81fcgXnVNN3iLIo3AotOp1xC08B6Em+bvJaco5VAuaOBGOUIjsFj6/Vi0zo41u1xK0HPFG0S/YNhnRFEofiUSGxatRGeF5dOhwr6eAb9F5v/xDxzmdxq8QorB58RYFAWZlydqgluC4ngwCRlWfSZrzDkBLHhebIxNfFdqYdTNwbbzAy+nQQkCFJlF4HPzwWs0ks0us9Q5YTzUyJ4Yig9n6L4TrI0VOIT8Pg1hs6+DrxBnLWXayQn3fvbGitAdmLBvJsL+fc3ggWl950ScpboEAe5bzmBO0SwMXRKDd9SpohSrywVNDfz3ltj0FdskggBtXj7ovPuLRz+pPTjCOFzRXdAn7j4cnLHPoWXduMIieK+IxZcxI/HbhhtY73u6wWNHpQ5D+Ls3wYkUcAGAr6hAs7EFWOw1BsEZ58CJlOUh3ipjggDlvjgcf649An6binRWnFzC2liBw4u7Z0OIvyZ62QRB2Cb+0jXcmtgK025H6Xx9ROpgCK/IzB7g0ll3Wdn9Bd1FTKsTfWlHbUYmQqbF49XZ87Egt6tos9ZYgUPH2MkI+Si5aS5oQhBEg7jkNNya2Aqj0wbVSZcbkToY3CS5TWViNMYy6+nyHBx/jUPSME8E/2JYWlRDOIHHH5VydNj0JgKmZoEj27AQxBOJS05D9SgOHU6+ilxtOQZdH253ARcQ65luA7S5eQiZW4iByQvx1bzViFQanlubwlZgcfazuLS3HdrsyoN/6mm7ThEjCMJ8XNFdBE3VYkLUXDjGpUMrVieM+mvcS4K7aIvveSNotfBaHYv3Uqej19Iz+KDFZTCU7g52IVeBjwr64NDenvA7UAZcSUErTSwJtgRBPFT8bDu88M8/sCZmEELfvWpWtgLjoUbW66Fw65sHZ3kN0nJaIGgdD+q05bYskmyjMYffz+HidX+0/XcEDgxchXCH+zv6cgKPhBoWY89OhfdPSjgfTUKb0timl51AEITZKkdFYMXHaxGpZDBz9Bq0c49G2LsFJu0Wwqib485mNS53WfOoIxgOHHmawQfzp8Dx1ziRW3+fpLs7am/eQuj0XMzrHI3CLi6ocaHgUCKgxfl7CEhIBHiO9GoJgtCJ7hSOUR8efviYUkHJkd5/E8Zt74+7b3UyundaODwUJ7usAkPVndQ1wJFDwpI/cDihM7QZmWI1/yHJt9QVtFrg/FWoa60mR3JSCYLQi2aQ/q4DDjbPqPfSTwFHsWerMz5eMhHNN58x+LlspTcFBaV7Fu1c90ysnj0YbedmmtNqnexyN2CCIJ4wPdvj16gvG3x5pFM5Ni/6HFmLokDJDOtLtjxegRS24efBMwf+AUYt/u7dJOgSBGHzKnwd4ddIMG3v4Ij9ry6DtndHg8qk4xIxOGZ2g3MJJrklgG3nZ3RbG61X9BIJgiBE5vpnEgYnvtjoOsL+MhWKQw1b/0XQahH2zi10jntZZ7lprBLyAvHXPyFBlyAIm8fdK4HzuHt4+uJ4vcedqJbB+3Cu4eXmF6D1a7kYn/H3eq+9lz4afHqmsU1tlN5VxgiCIAhxkZ4uQRCEhEjQJQiCkBAJugRBEBIiQZcgCEJCJOgSBEFIiARdgiAICf0/lMkLid/d7HcAAAAASUVORK5CYII=", "text/plain": [ "