PPTAgent: Генерация и оценка презентаций, выходящая за рамки преобразования текста в слайды

Аннотация

Автоматическая генерация презентаций из документов представляет собой сложную задачу, требующую баланса между качеством контента, визуальным дизайном и структурной связностью. Существующие методы в основном сосредоточены на улучшении и оценке качества контента изолированно, часто упуская из виду визуальный дизайн и структурную связность, что ограничивает их практическую применимость. Для решения этих ограничений мы предлагаем PPTAgent, который комплексно улучшает генерацию презентаций за счет двухэтапного подхода, основанного на редактировании, вдохновленного рабочими процессами человека. PPTAgent сначала анализирует эталонные презентации, чтобы понять их структурные шаблоны и схемы контента, затем разрабатывает контуры и генерирует слайды с помощью кодовых действий для обеспечения согласованности и выравнивания. Для комплексной оценки качества сгенерированных презентаций мы дополнительно представляем PPTEval, структуру оценки, которая оценивает презентации по трем измерениям: Содержание, Дизайн и Связность. Эксперименты показывают, что PPTAgent значительно превосходит традиционные методы автоматической генерации презентаций по всем трем измерениям. Код и данные доступны по адресу https://github.com/icip-cas/PPTAgent.

1. Введение

Презентации являются широко используемым средством передачи информации, ценным за их визуальную эффективность в привлечении и общении с аудиторией. Однако создание высококачественных презентаций требует захватывающего сюжета, визуально привлекательного макета и насыщенного, эффектного содержания. Следовательно, создание полноценных презентаций требует продвинутых навыков презентации и значительных усилий. Учитывая неотъемлемую сложность создания презентаций, растет интерес к автоматизации процесса генерации презентаций за счет использования возможностей обобщения больших языковых моделей (LLM).

Существующие подходы часто используют парадигму генерации текста “конец-в-конец”, сосредотачиваясь исключительно на текстовом содержании, игнорируя при этом дизайн макета и структуру презентации, что делает их непрактичными для реальных приложений. Например, предыдущие исследования рассматривают генерацию презентаций как задачу абстрактного суммирования, ориентируясь в основном на текстовое содержание, упуская из виду интерактивный характер презентаций. Это приводит к простым и визуально неинтересным результатам, которые не привлекают аудиторию.

Однако автоматическое создание визуально насыщенных и структурно ясных презентаций остается сложным из-за сложности форматов данных и отсутствия эффективных структур оценки. Во-первых, большинство презентаций сохраняются в формате XML PowerPoint, который по своей сути утомителен и избыточен. Этот сложный формат создает серьезные проблемы для LLM в интерпретации макета и структуры презентации, не говоря уже о создании привлекательных слайдов в режиме “конец-в-конец”. Во-вторых, и что более важно, отсутствие комплексных структур оценки усугубляет эту проблему. Текущие метрики, такие как перплексия и ROUGE, не могут охватить основные аспекты качества презентации, такие как повествовательная нить, визуальный дизайн и воздействие контента. Более того, оценка на основе ROUGE имеет тенденцию вознаграждать чрезмерное текстовое выравнивание с входными документами, подрывая краткость и ясность, имеющие решающее значение для эффективных презентаций. Эти ограничения подчеркивают насущную потребность в усовершенствовании автоматической генерации презентаций, особенно в улучшении визуального дизайна и разработке комплексных структур оценки.

Вместо того, чтобы создавать сложные презентации с нуля за один проход, презентации обычно создаются путем выбора образцовых слайдов в качестве эталонов, а затем суммирования и переноса ключевого контента на них. Вдохновленные этим процессом, мы разработали PPTAgent, чтобы разложить генерацию презентаций на итеративный рабочий процесс, основанный на редактировании. На первом этапе, получив документ и эталонную презентацию, PPTAgent анализирует эталонные презентации для извлечения семантической информации, предоставляя текстовое описание, которое определяет цель и модель данных каждого слайда. На этапе генерации презентации PPTAgent генерирует подробный конспект презентации и назначает определенные разделы документа и эталонные слайды каждому слайду. Например, фреймворк выбирает вводный слайд в качестве эталонного слайда для представления метаинформации, такой как заголовок и значок. PPTAgent предлагает набор API-интерфейсов для редактирования, которые позволяют LLM динамически изменять эталонный слайд. Разделив процесс на отдельные этапы, а не на генерацию “конец-в-конец”, этот подход обеспечивает согласованность, адаптируемость и бесшовную обработку сложных форматов.

Для всесторонней оценки качества сгенерированных презентаций мы предлагаем PPTEval, многомерную структуру оценки. Вдохновленные другими исследованиями, PPTEval использует парадигму “MLLM-как-судья”, чтобы обеспечить систематическую и масштабируемую оценку. Мы разделили качество презентации на три измерения: Содержание, Дизайн и Связность, предоставляя как количественные оценки, так и качественную обратную связь для каждого измерения. Наши исследования с участием людей подтвердили надежность и эффективность PPTEval.

Результаты показывают, что наш метод эффективно генерирует высококачественные презентации, достигая среднего балла 3,67 по трем измерениям, оцененным PPTEval. Эти результаты, охватывающие широкий спектр областей, подчеркивают высокий процент успешности – 97,8%, демонстрируя универсальность и надежность нашего подхода.

2. PPTAgent

В этом разделе мы сначала установим формулировку задачи генерации презентаций. Затем мы опишем структуру предложенного нами PPTAgent, который работает в два отдельных этапа. На этапе I мы анализируем эталонную презентацию путем кластеризации схожих слайдов и извлечения их схем контента. Этот процесс направлен на повышение выразительности эталонной презентации, тем самым способствуя последующей генерации презентации. На этапе II, получив входной документ и проанализированную эталонную презентацию, мы стремимся выбрать наиболее подходящие слайды и сгенерировать целевую презентацию посредством интерактивного процесса редактирования на основе выбранных слайдов. Обзор нашего предлагаемого рабочего процесса показан на рисунке 2.

2.1. Формулировка задачи

PPTAgent предназначен для создания привлекательной презентации с помощью процесса, основанного на редактировании. Мы предоставим формальные определения как для PPTAgent, так и для традиционного метода, иллюстрируя их расхождение.

Традиционный метод создания каждого слайда S можно описать уравнением 1, где n представляет количество элементов на слайде, а C обозначает исходный контент, состоящий из разделов и рисунков. Каждый элемент на слайде, ei, определяется его типом, содержанием и атрибутами стиля, такими как (Текстовое поле, “Привет”, {граница, размер, положение,…}).

S = ∑ ei = f(C)

В отличие от традиционного метода, PPTAgent использует парадигму генерации, основанную на редактировании, для создания новых слайдов, решая проблемы обработки пространственных отношений и разработки стилей. Этот подход генерирует последовательность действий для изменения существующих слайдов. В рамках этой парадигмы как входной документ, так и эталонная презентация служат входными данными. Этот процесс можно описать уравнением 2, где m представляет количество сгенерированных действий. Каждое действие aᵢ представляет собой строку исполняемого кода, а Rⱼ – это редактируемый эталонный слайд.

A = ∑ aᵢ = f(C | Rⱼ)

2.2 Этап I: Анализ презентации

Для облегчения генерации презентации мы сначала кластеризуем слайды в эталонной презентации и извлекаем их схемы контента. Это структурированное семантическое представление помогает LLM определять, какие слайды редактировать и какой контент передавать на каждом слайде.

Кластеризация слайдов Слайды можно разделить на два основных типа в зависимости от их функциональности: слайды, поддерживающие структуру презентации (например, вводные слайды), и слайды, передающие конкретное содержание (например, слайды с маркированными списками). Мы используем различные алгоритмы кластеризации для эффективной кластеризации слайдов в презентации на основе их текстовых или визуальных характеристик. Для структурных слайдов мы используем LLM для определения функциональной роли каждого слайда и группируем их соответствующим образом, поскольку эти слайды часто имеют отличительные текстовые особенности. Для остальных слайдов, которые в первую очередь сосредоточены на представлении конкретного контента, мы используем иерархический подход к кластеризации с использованием схожести изображений. Для каждого кластера мы выводим шаблоны макета каждого кластера с помощью MLLM. Более подробная информация об этом методе приведена в Приложении C.

Извлечение схемы После кластеризации слайдов для облегчения выбора эталонных слайдов мы дополнительно проанализировали их схемы контента, чтобы обеспечить целенаправленное выравнивание редактирования. Учитывая сложность и фрагментарность реальных слайдов, мы использовали возможности контекстного восприятия LLM для извлечения различных схем контента. В частности, мы определили структуру извлечения, где каждый элемент представлен своей категорией, модальностью и содержанием. На основе этой структуры схема каждого слайда была извлечена с помощью возможностей LLM по следованию инструкциям и структурированному выводу. Подробные инструкции приведены в Приложении Е.

2.3 Этап II: Генерация презентации

На этом этапе мы начинаем с генерации контура, который определяет эталонный слайд и соответствующий контент для каждого слайда в новой презентации. Для каждого слайда LLM итеративно редактируют эталонный слайд, используя интерактивные действия исполняемого кода, чтобы завершить процесс генерации.

Генерация контура В соответствии с предпочтениями человека мы инструктируем LLM создать структурированный контур, состоящий из нескольких записей. Каждая запись определяет эталонный слайд, соответствующие индексы разделов документа, а также заголовок и описание нового слайда. Используя возможности LLM по планированию и суммированию, мы предоставляем как документ, так и семантическую информацию, извлеченную из эталонной презентации, для создания связного и привлекательного контура для новой презентации, который впоследствии управляет процессом генерации.

Генерация слайдов Руководствуясь контуром, процесс генерации слайдов итеративно редактирует эталонный слайд для создания нового слайда. Чтобы обеспечить точное управление элементами слайда, мы реализуем пять специализированных API, которые позволяют LLM редактировать, удалять и дублировать текстовые элементы, а также редактировать и удалять визуальные элементы. Для дальнейшего улучшения понимания структуры слайда мы преобразуем слайды из их необработанного формата XML в представление HTML, которое более интерпретируемо для LLM. Для каждого слайда LLM получают два типа входных данных: текст, полученный из исходного документа на основе индексов разделов, и подписи к доступным изображениям. Затем генерируется новое содержание слайда в соответствии с руководством схемы содержания.

Впоследствии LLM используют сгенерированное содержание, HTML-представление эталонного слайда и документацию по API для создания действий исполняемого кода. Эти действия выполняются в среде REPL, где система обнаруживает ошибки во время выполнения и обеспечивает обратную связь в реальном времени для самокоррекции. Механизм самокоррекции использует промежуточные результаты для итеративного уточнения действий редактирования, повышая надежность процесса генерации.

3. PPTEval

Для решения ограничений существующих автоматизированных метрик для оценки презентаций мы представляем PPTEval, комплексную структуру для оценки качества презентаций с разных точек зрения. Структура предоставляет оценки по шкале от 1 до 5 и предлагает подробную обратную связь для улучшения будущих методов генерации презентаций. Общий процесс оценки показан на рисунке 3, с подробными критериями оценки и примерами, приведенными в Приложении B.

Вдохновленные другими работами, мы выделили три ключевых измерения для оценки качества презентации:

• Содержание: Измерение содержания оценивает информацию, представленную на слайдах, уделяя особое внимание как тексту, так и изображениям. Мы оцениваем качество контента с трех точек зрения: объем информации, ясность и качество текстового контента, а также поддержку, предоставляемую визуальным контентом. Качественный текстовый контент характеризуется ясным, эффектным текстом, который передает необходимый объем информации. Кроме того, изображения должны дополнять и усиливать текстовый контент, делая информацию более доступной и привлекательной. Для оценки качества контента мы используем MLLM на слайдах, поскольку слайды не могут быть легко восприняты в формате обычного текста.

• Дизайн: Хороший дизайн не только привлекает внимание, но и улучшает передачу контента. Мы оцениваем измерение дизайна на основе трех аспектов: цветовые схемы, визуальные элементы и общий дизайн. В частности, цветовая схема слайдов должна иметь четкий контраст, чтобы выделить контент, сохраняя при этом гармонию. Использование визуальных элементов, таких как геометрические фигуры, может сделать дизайн слайда более выразительным. Наконец, хороший дизайн должен придерживаться основных принципов дизайна, таких как избегание перекрывающихся элементов и обеспечение того, чтобы дизайн не мешал передаче контента.

• Связность: Связность необходима для поддержания вовлеченности аудитории в презентацию. Мы оцениваем связность на основе логической структуры и предоставленной контекстной информации. Эффективная связность достигается, когда модель создает захватывающую сюжетную линию, обогащенную контекстной информацией, которая позволяет аудитории легко следить за контентом. Мы оцениваем связность путем анализа логической структуры и контекстной информации, извлеченной из презентации.

4. Эксперимент

4.1 Набор данных

Предварительная обработка данных. Мы использовали инструменты для извлечения как текстового, так и визуального содержимого из документов. Извлеченное текстовое содержимое затем было организовано в разделы. Для визуального контента подписи были сгенерированы с использованием соответствующих моделей. Чтобы минимизировать избыточность, мы идентифицировали и удалили дублирующиеся изображения, если их встраивания изображений имели оценку сходства косинуса выше 0,85. Аналогично, слайды были исключены, если их текстовые встраивания имели оценку сходства косинуса выше 0,8 по сравнению с предыдущим слайдом. Подробная статистика набора данных представлена в таблице 1.

4.2 Экспериментальные установки и базовая линия

Модели. Мы оцениваем наш метод, используя три современные модели: GPT-4o-2024-08-06 (GPT-4o), Qwen2.5-72B-Instruct (Qwen2.5) и Qwen2-VL-72B-Instruct (Qwen2-VL). Эти модели делятся на категории в зависимости от конкретных модальностей, которые они обрабатывают, будь то текст или визуальные, как указано их подписями. В частности, мы определяем конфигурации как комбинации языковой модели (LM) и визуальной модели (VM), например Qwen2.5LM+Qwen2-VLVM.

Во время экспериментов мы допускаем до двух итераций самокоррекции на каждую задачу генерации слайда, создавая 5 × 10 × 10 = 500 презентаций на конфигурацию. Мы используем другие работы для вычисления встраиваний текста и изображения соответственно. Все LLM с открытым исходным кодом развертываются с использованием фреймворка VLLM на кластере из 8 графических процессоров NVIDIA A100. Общая вычислительная стоимость этих экспериментов составляет примерно 500 часов работы GPU.

Базовая линия. В качестве базовой линии мы используем методологию, описанную в другой работе. Этот подход использует многоэтапную модель “конец-в-конец” для создания презентаций, насыщенных повествованием, с алгоритмом ранжирования на основе сходства изображений для добавления изображений на слайды. Базовый метод оценивается с использованием либо GPT-4o, либо Qwen2.5, поскольку он не требует необходимой обработки визуальной информации. Каждая конфигурация генерирует 5 × 10 = 50 презентаций, учитывая, что ей не требуется входная презентация. Мы не сообщаем о проценте успешности и FID базового метода по той же причине.

4.3. Метрики оценки

Мы оценили генерацию презентаций, используя следующие метрики:

• Процент успеха (SR) измеряет надежность задачи генерации, определяя процент презентаций, в которых все слайды успешно сгенерированы.

• Перплексия (PPL) измеряет вероятность того, что языковая модель сгенерирует данную последовательность. Мы рассчитываем среднюю перплексию слайдов в презентации, используя GPT-2. Более низкий показатель перплексии указывает на более плавное текстовое содержание.

• FID измеряет сходство между сгенерированной презентацией и эталонной презентацией в пространстве признаков. Из-за ограниченного размера выборки мы вычисляем FID, используя 64-мерный выходной вектор.

• PPTEval измеряет всестороннее качество презентаций по трем измерениям: связность, содержание и дизайн. Мы используем GPT-4o в качестве модели оценки.

4.4 Результаты и анализ

PPTAgent расширяет возможности LLM для генерации презентаций. Как показано в таблице 2, наш подход позволяет LLM создавать полноценные презентации с замечательным уровнем успеха, достигая ≥ 95% успеха для обоих Qwen2.5LM+Qwen2-VLVM и GPT-40LM+GPT-40VM. Это значительное улучшение по сравнению с наивысшей точностью в 10% для задач редактирования шаблонов на основе сеансов. Это улучшение можно отнести к трем основным факторам: 1) PPTAgent концентрируется на модификации контента, тем самым избегая сложных операций стилизации. 2) Наша оптимизированная конструкция API позволяет LLM с легкостью выполнять задачи. 3) Модуль взаимодействия кода расширяет понимание LLM слайдов и предоставляет возможности для самокоррекции, позволяя им создавать точные действия надежно. Более того, подробная производительность Qwen2.5LM+Qwen2-VLVM в различных областях, как показано в таблице 3, подчеркивает надежность нашего подхода.

PPTAgent значительно улучшает общее качество презентации. Приняв парадигму, основанную на редактировании, PPTAgent позволяет элементам в презентации наследовать хорошо разработанные атрибуты стиля из существующих презентаций. При использовании GPT-4o экспериментальные результаты демонстрируют всесторонние улучшения по сравнению с базовой линией. Мы значительно превосходим базовый метод по измерению дизайна в рамках PPTEval (3,24 против 2,33), поскольку презентации, сгенерированные базовым методом, не имеют базовых дизайнерских усилий. Кроме того, мы добились существенных улучшений в показателях связности (4,39 против 3,28) и содержания (3,25 против 2,98), поскольку семантическая информация, извлеченная на этапе анализа презентации, эффективно направляла LLM.

LLM с открытым исходным кодом превосходят GPT-4o по производительности. GPT-4o последовательно демонстрирует выдающуюся производительность по различным метрикам оценки, подчеркивая свои передовые возможности. Хотя Qwen2-VL демонстрирует ограничения в лингвистической компетентности из-за компромиссов после многомодального обучения, GPT-4o сохраняет явное преимущество в обработке языковых задач. Однако внедрение Qwen2.5 успешно смягчает эти лингвистические недостатки, приводя его производительность к паритету с GPT-4o и достигая наилучшей производительности. Это подчеркивает значительный потенциал LLM с открытым исходным кодом в качестве конкурентоспособных и высокоэффективных агентов для презентаций.

4.5 Исследование абляции

Чтобы лучше понять влияние каждого компонента в нашем предлагаемом методе, мы провели исследования абляции, используя четыре различные конфигурации. В частности, мы оценили метод путем: (1) случайного выбора слайда в качестве целевого для редактирования (без контура), (2) опуская структурную информацию во время генерации контура (без структуры), (3) заменяя представление слайда методом, описанным в другой работе (без CodeRender), и (4) удаляя руководство из схемы слайда (без схемы). Эти конфигурации были протестированы с использованием Qwen2.5LM+Qwen2-VLVM.

Представление кода улучшает понимание LLM. Как показано в таблице 2, удаление компонента Code Render приводит к значительному снижению процента успешности модели (SR) с 95,0 до 74,6. Это подчеркивает критическую роль представления кода в использовании возможностей кодирования LLM для улучшения их общего понимания.

Анализ презентации необходим для создания целевых презентаций. Удаление контура и структурной информации значительно снижает связность (с 4,48 до 3,36/3,45), подчеркивая их решающую роль в поддержании логического потока. Кроме того, отсутствие схемы слайда мешает LLM эффективно генерировать целевой контент, что приводит к снижению процента успеха с 95,0 до 78,8.

4.6 Анализ ошибок

На рисунке 4 показано количество итераций, необходимых для создания слайда с использованием различных моделей. Хотя GPT-4o демонстрирует превосходные возможности самокоррекции по сравнению с Qwen2.5, Qwen2.5 сталкивается с меньшим количеством ошибок на первой итерации (Iter-0). Кроме того, мы наблюдали, что Qwen2-VL чаще сталкивается с ошибками и имеет более низкие возможности самокоррекции, вероятно, из-за его многомодального послеобучения. В конечном счете, все три модели успешно исправили более половины ошибок, демонстрируя, что наш итеративный механизм самокоррекции эффективно обеспечивает успех процесса генерации.

4.7 Эффективность PPTEval

Оценка согласия человека. Несмотря на то, что в другой работе подчеркивалась впечатляющая способность LLM к человеческому пониманию в различных задачах генерации, остается важным оценить корреляцию между оценками LLM и оценками человека в контексте презентаций. Эта необходимость возникает из выводов, указывающих на то, что LLM могут быть неадекватными оценщиками для сложных задач. В таблице 4 показана корреляция между оценками людей и оценками LLM. Средняя корреляция Пирсона 0,71 превышает показатели других методов оценки, что указывает на то, что PPTEval хорошо согласуется с предпочтениями человека.

Более того, тепловая карта на рисунке 5 показывает ограничения существующих метрик по сравнению с измерениями Содержания и Дизайна PPTEval. В наших экспериментах мы заметили, что PPL в основном улавливает плавность текста и восприимчив к фрагментированному характеру текста слайда, что приводит к неэффективным измерениям с частыми выбросами. Аналогично, FID лишь количественно определяет стилистическое сходство с эталонными презентациями, а не качество дизайна, поскольку соответствие эталонным стилям не обязательно указывает на превосходный дизайн. Эти результаты подчеркивают необходимость PPTEval для всесторонней и эффективной оценки презентаций.

5. Связанные работы

Автоматическая генерация презентаций. Недавние предложенные методы для генерации слайдов можно разделить на методы, основанные на правилах, и методы, основанные на шаблонах, в зависимости от того, как они обрабатывают размещение элементов. Методы на основе правил часто сосредотачиваются на улучшении текстового контента, но пренебрегают визуально-ориентированным характером презентаций, что приводит к выводам, которые не имеют привлекательности. Методы на основе шаблонов полагаются на предварительно разработанные шаблоны для создания визуально привлекательных презентаций. Однако их зависимость от обширных ручных усилий по аннотации шаблонов значительно ограничивает масштабируемость и гибкость.

LLM как агенты. Многочисленные исследования изучили потенциал LLM в качестве агентов, помогающих людям в широком спектре задач. Например, показана способность LLM выполнять задачи путем создания исполняемых действий и исправления ошибок на основе обратной связи. Кроме того, представлена система оценки, которая оценивает способность LLM выполнять многооборотные, мультимодальные задачи редактирования слайдов с помощью API, что вдохновило на использование LLM для сложных задач, как предлагается в этом исследовании.

LLM в роли судей. LLM продемонстрировали сильные возможности в следовании инструкциям и восприятии контекста, что привело к их широкому использованию в качестве судей. Дальнейшие исследования улучшили возможности LLM с помощью внешних модулей и функций, в то время как другие работы подтвердили возможность использования мультимодальных больших языковых моделей (MLLM) в качестве судей. Кроме того, был представлен многомерный фреймворк для оценки многооборотных разговоров, который вдохновил на разработку нашего предлагаемого PPTEval.

6. Заключение

В этой статье мы представили PPTAgent, который концептуализирует генерацию презентаций как двухэтапную задачу редактирования презентаций, выполняемую с помощью возможностей LLM по пониманию и генерации кода. Этот подход использовал текстовые особенности и шаблоны макета для организации слайдов в различные функциональные группы. Наши эксперименты с данными из разных областей продемонстрировали превосходство нашего метода. Кроме того, наш предложенный PPTEval обеспечил возможность оценки презентаций. Это исследование обеспечивает новую парадигму для генерации слайдов в неконтролируемых условиях и предлагает новые идеи для будущей работы в области генерации презентаций.

7. Ограничения

Хотя наш метод демонстрирует свою способность создавать высококачественные презентации, остаются присущие проблемы, которые влияют на его универсальную применимость. Например, достижение процента успеха более 95% в нашем наборе данных является впечатляющим, но не абсолютным, что может ограничить его применение. Кроме того, разбор слайдов со сложными вложенными формами групп часто оказывается узким местом, что приводит к менее согласованным результатам. Кроме того, хотя PPTAgent демонстрирует заметные улучшения в оптимизации макета по сравнению с предыдущими подходами, ему все еще не удается использовать весь потенциал визуальных подсказок для уточнения стилистической согласованности. Это часто проявляется в недостатках дизайна, таких как перекрывающиеся элементы, подрывающие визуальную гармонию сгенерированных слайдов. Устранение этих ограничений требует будущих усовершенствований, которые интегрируют визуальную информацию в процесс генерации.

8. Этические соображения

При создании Zenodo10K мы использовали общедоступный API для сбора данных, строго соблюдая условия лицензирования, связанные с каждым артефактом. В частности, артефакты, которые не разрешалось изменять или использовать в коммерческих целях в соответствии с их соответствующими лицензиями, были отфильтрованы для обеспечения соответствия правам интеллектуальной собственности. Кроме того, весь персонал, занимавшийся аннотациями в проекте, получал компенсацию по ставкам, превышающим минимальную заработную плату в их соответствующих городах, что отражает нашу приверженность справедливой трудовой практике и этическим стандартам на протяжении всего процесса разработки набора данных.