AutoEncoders and hidden states Analysis
Привет, друзья!Я продолжаю цикл туториалов, посвященных области explainable AI. Так, уже были разобраны метод Logit Lens на примере ViT, зондирование gpt2, CAM на примере Yolo NAS — всё можно найти по статьям в профиле. В этом же туториале мы разберем идею применения автокодировщиков для анализа и извлечения признаков из скрытых состояний модели.В туториале, вы:Изучите или повторите, как работает извлечение признаков в Visual Transformers;Построите и примените автокодировщик для сжатия скрытых представлений, выученных моделью ViT в задаче классификации котиков и собачек;Сравните Vit и PCA в данной задаче.
Logit Lens & ViT model: туториал
Привет!В этом туториале разобран метод для анализа внутренних представлений "логит-линза" (Logit Lens).В результате практики по туториалу, вы:Изучите подход и концепцию Logit Lens;Реализуете Logit Lens для Visual Transformer;Познакомитесь с анализом результатов применения логит-линзы.Приступим! Как всегда, весь код будет на гитхаб — step by step.Logit Lens: о методеМетод Logit Lens был предложен на Lessworng в 2020 году на примере модели GPT-2.
Анализ обработки признаков в YOLO NAS S при помощи CAM
Методы объяснения моделей — практичный инструмент для понимания модели, оценки её точности и стабильности. Однако, часто можно столкнуться с ситуацией, когда фреймворк, в котором метод реализован, просто не "дружит" с реализацией модели. В этом туториале хочу подробно показать CAM (class activation map) для объяснения моделей зрения. Почему CAM?Class Activation Maps (CAM) — базовый инструмент для визуализации того, какие области изображения наиболее важны для модели при принятии решения. Он позволяет понять:Какие признаки извлекает модель на разных слоях свертки;
