Питер Тиль предупреждал Сэма Альтмана о конфликтах безопасности AI незадолго до кризиса OpenAI

Новые отчеты свидетельствуют о более глубокой напряженности в OpenAI, чем считалось ранее: инвестор Питер Тиль предупреждал Сэма Альтмана о внутренних конфликтах незадолго до его увольнения в ноябре 2023 года.

Согласно отчету Wall Street Journal ^[1], основанному на готовящейся к выходу книге «Оптимист: Сэм Альтман, OpenAI и гонка за изобретение будущего» репортера Кича Хейги, Тиль столкнулся с Альтманом во время частного ужина в Лос-Анджелесе. Разговор был сосредоточен на растущих разногласиях между сторонниками безопасности AI и коммерческим направлением компании.

На том ужине Тиль особо предупредил о влиянии движения «Эффективный альтруизм» в OpenAI. «Вы не понимаете, как Элиезер запрограммировал половину людей в вашей компании верить в эту ерунду», — сказал Тиль Альтману, имея в виду исследователя AI Элиезера Юдковски, которого он ранее финансировал.

Альтман отклонил опасения Тиля о поглощении «людьми из сферы безопасности AI», указав на уход Илона Маска из OpenAI в 2018 году ^[2]. И Маск, и Юдковски постоянно поднимали тревогу по поводу экзистенциальных рисков AI. Аналогичные опасения по поводу безопасности позже побудили семь сотрудников OpenAI уйти и основать Anthropic в 2021 году.

Внутренний раскол стал более заметным в 2024 году, когда несколько ключевых фигур в области безопасности AI покинули OpenAI ^[3], включая главного ученого Илью Суцкевера и Яна Лейке ^[4], который возглавлял команду «Superalignment». Лейке позже публично раскритиковал подход компании к безопасности ^[5], заявив, что его команде пришлось бороться за вычислительные ресурсы.

В отчете WSJ говорится, что технический директор Мира Мурати и Суцкевер потратили месяцы на сбор доказательств относительно методов управления Альтмана. Они задокументировали случаи, когда он натравливал сотрудников друг на друга и обходил протоколы безопасности. Сообщается, что во время запуска GPT-4-Turbo Альтман предоставил совету директоров неверную информацию и не был прозрачен относительно структуры своего частного фонда OpenAI Start-up Fund ^[6]. Аналогичные проблемы с поспешным тестированием безопасности возникли после выпуска GPT-4o ^[7] в мае 2024 года.

Когда Мурати попыталась напрямую поднять вопросы с Альтманом, он в ответ стал приглашать на ее личные встречи представителей отдела кадров на протяжении нескольких недель, пока Мурати не решила не делиться своими опасениями с советом директоров.

По данным WSJ, четыре члена совета директоров, включая Суцкевера, решили отстранить Альтмана ^[8] с помощью серии конфиденциальных видеозвонков. Суцкевер подготовил два обширных документа, в которых подробно описывались предполагаемые проступки Альтмана. Совет директоров также решил отстранить Грега Брокмана после того, как Мурати сообщила, что он подорвал ее авторитет, обойдя ее, чтобы напрямую связаться с Альтманом.

Чтобы защитить свои источники, совет директоров изначально ограничился минимальными публичными объяснениями, заявив лишь, что Альтман не был «последовательно откровенен ^[8]». Однако ситуация быстро изменилась, когда возникла угроза массового оттока сотрудников.

И Альтман, и Брокман были восстановлены, а Мурати и Суцкевер подписали письмо в поддержку их возвращения, несмотря на их предыдущие роли в увольнении. Сообщается, что Суцкевер был удивлен поддержкой Альтмана со стороны персонала, поскольку он ожидал, что сотрудники будут рады переменам.

Выводы WSJ противоречат более ранним заявлениям, в частности, утверждению Мурати о том, что она не участвовала в смещении Альтмана ^[9]. Систематический сбор доказательств против него предполагает, что она сыграла центральную роль в событиях, приведших к его смещению. И Мурати ^[10] и Суцкевер ^[11] с тех пор ушли, чтобы основать собственные компании по искусственному интеллекту ^[12].

Расследование добавляет веса более ранним сообщениям о том, что проблемы безопасности AI были центральными для кратковременного отстранения Альтмана ^[13]. Подробный отчет показывает, насколько глубоко эти противоречия проникли в высшее руководство OpenAI, что в конечном итоге привело к значительным изменениям в подходе организации к безопасности ^[14] и разработке AI.

Источник ^[15]