AutoEncoders and hidden states Analysis
Привет, друзья!Я продолжаю цикл туториалов, посвященных области explainable AI. Так, уже были разобраны метод Logit Lens на примере ViT, зондирование gpt2, CAM на примере Yolo NAS — всё можно найти по статьям в профиле. В этом же туториале мы разберем идею применения автокодировщиков для анализа и извлечения признаков из скрытых состояний модели.В туториале, вы:Изучите или повторите, как работает извлечение признаков в Visual Transformers;Построите и примените автокодировщик для сжатия скрытых представлений, выученных моделью ViT в задаче классификации котиков и собачек;Сравните Vit и PCA в данной задаче.
