На этой неделе в области искусственного интеллекта: бывшие сотрудники OpenAI требуют безопасности и прозрачности
Привет, друзья, и добро пожаловать в первый бюллетень TechCrunch по искусственному интеллекту. Невероятно рад набирать эти слова — этот бюллетень был долгим в процессе создания, и мы рады наконец поделиться им с вами.
С запуском бюллетеня AI от TC мы закрываем рубрику This Week in AI, ранее известную как Perceptron. Но вы найдете здесь все аналитические материалы, которые мы публиковали в This Week in AI, и даже больше, включая обзор заметных новых моделей искусственного интеллекта.
На этой неделе в области искусственного интеллекта вновь намечаются неприятности для OpenAI.
Группа бывших сотрудников OpenAI рассказали журналисту The New York Times Кевину Русу о том, что они считают грубыми нарушениями безопасности внутри организации. Они, как и другие, покинувшие OpenAI в последние месяцы, утверждают, что компания недостаточно делает для предотвращения потенциально опасного развития ее систем и обвиняют OpenAI в использовании жестких тактик, чтобы предотвратить сотрудников поднимать тревогу.
Группа опубликовала открытое письмо во вторник, призывая ведущие компании в области искусственного интеллекта, включая OpenAI, установить большую прозрачность и больше защиты для жалобщиков. \"Пока нет эффективного государственного контроля за этими корпорациями, нынешние и бывшие сотрудники становятся одними из немногих людей, которые могут привлечь их к ответственности перед обществом\", — гласит письмо.
Можете назвать меня пессимистом, но я ожидаю, что призывы бывших сотрудников останутся без ответа. Трудно представить сценарий, в котором компании по искусственному интеллекту не только согласятся \"поддерживать культуру открытой критики\", как рекомендуют подписавшиеся, но и не будут применять недифференцированные положения или не отомстят против настоящих сотрудников, которые решат высказаться.
Учтите, что комиссия по безопасности OpenAI, которую компания недавно создала в ответ на первоначальную критику своих практик безопасности, состоит исключительно из внутренних сотрудников компании — включая генерального директора Сэма Альтмана. И учтите, что сам Альтман, который когда-то заявлял, что не знал о ограничительных недифференцированных соглашениях OpenAI, сам подписал документы о создании таких соглашений.
Конечно, дела в OpenAI могли бы измениться завтра, но я не задерживаю дыхание. И даже если бы это произошло, довериться было бы сложно.
Новости
Апокалипсис искусственного интеллекта: Платформа на основе искусственного интеллекта ChatGPT от OpenAI, а также Claude компании Anthropic и Gemini и Perplexity компании Google все сегодня утром временно вышли из строя примерно в одно и то же время. Все службы были восстановлены, но причина их сбоя остается неясной.
OpenAI исследует ядерный синтез: OpenAI ведет переговоры с стартапом Helion Energy о сделке, в рамках которой компания по искусственному интеллекту приобрела бы огромные объемы электроэнергии у Helion для обеспечения питанием своих центров обработки данных, сообщает Wall Street Journal. Альтман имеет долю в Helion на сумму 375 миллионов долларов и занимает место в совете директоров компании, но, по данным источников, он отказался от участия в переговорах о сделке.
Стоимость обучающих данных: TechCrunch рассматривает дорогие лицензионные сделки на данные, которые становятся все более обычными в отрасли искусственного интеллекта — сделки, которые угрожают сделать исследования по искусственному интеллекту невозможными для мелких организаций и академических учреждений.
Генераторы ненавистной музыки: Злоумышленники злоупотребляют использованием генераторов музыки на основе искусственного интеллекта для создания гомофобной, расистской и пропагандистской музыки — и публикуют руководства, инструктируя других делать то же самое.
Деньги для Cohere: По информации Reuters, Cohere, стартап по генеративному искусственному интеллекту, привлек 450 миллионов долларов от Nvidia, Salesforce Ventures, Cisco и других в новой траншу, оценивающей Cohere в 5 миллиардов долларов. Источники, близкие к делу, сообщают TechCrunch, что Oracle и Thomvest Ventures — оба возвращающиеся инвесторы — также приняли участие в раунде, оставшемся открытым.
Исследовательский документ недели
В исследовательском документе 2023 года под названием \"Давайте проверим шаг за шагом\", который недавно OpenAI выделила на своем официальном блоге, ученые в OpenAI утверждают, что настроили универсальную генеративную модель искусственного интеллекта компании GPT-4, чтобы достичь лучшей, чем ожидалось, производительности в решении математических задач. Авторы статьи сказали, что подход может привести к моделям, менее склонным к сходу с пути, но они указали на несколько оговорок.
В документе авторы подробно описывают, как они обучили модели вознаграждения для обнаружения галлюцинаций, или случаев, когда GPT-4 допустил ошибки в фактах или ответах на математические задачи. (Модели вознаграждения — это специализированные модели для оценки результатов моделей искусственного интеллекта, в данном случае связанные с математическими результатами от GPT-4.) Модели вознаграждения \"награждали\" GPT-4 каждый раз, когда он правильно шагал по математической задаче, подход, который исследователи называют \"процессным надзором\".
Исследователи говорят, что процессный надзор улучшил точность GPT-4 в решении математических задач по сравнению с предыдущими техниками \"награждения\" моделей — по крайней мере в своих бенчмарках. Они признают, что это не идеально; GPT-4 все равно ошибается в шагах задачи. И неясно, как форма процессного надзора, которую исследователи исследовали, может обобщаться за пределы математической области.
Модель недели
Прогнозирование погоды может не казаться наукой (по крайней мере, когда вы оказываетесь под дождем, как я сейчас), но дело в том, что здесь речь идет о вероятностях, а не о наверняках. И как лучше всего рассчитать вероятности, чем с помощью вероятностной модели? Мы уже видели, как искусственный интеллект был задействован в прогнозировании погоды на временные промежутки от часов до веков, и теперь Microsoft присоединяется к этому процессу. Новая модель Aurora компании обеспечивает прогнозирование на уровне глобальный уровень с разрешением ~0,1° (подумайте на уровне примерно 10 км на сторону).
Обученная на более чем миллионе часов погодных и климатических симуляций (не реальная погода? Хм...), и настроенная на выполнение ряда желательных задач, Aurora превосходит традиционные числовые системы прогнозирования на несколько порядков величины. Более впечатляющим образом, она превосходит GraphCast Google DeepMind в его собственной области (хотя Microsoft выбрала эту область), обеспечивая более точные предположения о погодных условиях на диапазоне от одного до пяти дней.
Конечно, компании вроде Google и Microsoft тоже борются за ваше онлайн внимание, стараясь предложить наиболее персонализированное веб- и поисковое взаимодействие. Точные, эффективные прогнозы погоды первой руки будут важной частью этого, по крайней мере, пока мы не перестанем выходить на улицу.
Grab bag
В мысленном обзоре в прошлом месяце в журнале Palladium Авиталь Бальвит, глава штаба стартапа по искусственному интеллекту Anthropic, полагает, что в ближайшие три года могут быть последними, в которых она и многие другие работники знаний будут работать благодаря быстрым достижениям генеративного искусственного интеллекта. Она считает, что это следует воспринимать как утешение, а не повод для страха, потому что это могло бы \"привести к миру, где люди будут иметь удовлетворение своих материальных потребностей, но иметь и необходимости работать\".
\"Один из признанных исследователей по искусственному интеллекту однажды сказал мне, что он готовится к [этой перемене] путем занятия такими деятельностями, в которых он не очень хорош: джиу-джитсу, серфинг и т. д., и наслаждаясь процессом даже без превосходства\", — пишет Бальвит. \"Так мы можем готовиться к нашему будущему, где нам придется делать вещи из радости, а не из нужды, где у нас больше не будет потребности быть в них лучшими, но мы все равно должны будем выбирать, как заполнить наши дни\".
Это, конечно, оптимистичное видение — но не могу сказать, что я его разделяю.
Если генеративный искусственный интеллект заменит большинство работников знаний в течение трех лет (что мне кажется нереалистичным из-за многих нерешенных технических проблем искусственного интеллекта), это может привести к экономическому краху. Работники знаний составляют значительные доли рабочей силы и обычно являются высокооплачиваемыми — и, следовательно, крупными потребителями. Именно они подталкивают колеса капитализма вперед.
Бальвит делает ссылки на универсальный базовый доход и другие масштабные программы социальной защиты. Но у меня мало веры в то, что страны, как, например, США, которые даже не могут управлять базовым федеральным законодательств
