Люди не понимают, что такое искусственный интеллект

Искусственный интеллект (ИИ) действительно ворвался в нашу жизнь за последние несколько лет и сегодня является неотъемлемой частью повседневности многих людей.

Теперь инсайдер не просто поднимает тревогу. Он делает жуткое предсказание.

«Сегодня я уволился из Anthropic», — пишет 27-летний Джейкоб Коксон в X.

Три года он работал с обучением моделей ИИ. Сначала в OpenAI — создателях ChatGPT — а потом в Anthropic, отвечающей за инструмент ИИ Claude.

«Ни одна из компаний не ведет себя ответственно. Они идут прямым путем к самосовершенствующемуся суперразуму и играют с нашими жизнями», — сообщает в X бывший тренер моделей из Anthropic.

По словам Джейкоба Коксона, эта игра может иметь фатальные последствия для всех нас — и даже в довольно коротком временном интервале.

«Не недооценивайте силу этой технологии. Эти системы (ИИ, ред.) скоро станут сверхчеловеческими, смогут взламывать всё, революционизировать любую область за ночь и получать реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и этот прогресс не замедляется», — предупреждает он в X в ветке под постом о том, что уходит из Anthropic.

По словам Джейкоба Коксона, те, кто ежедневно работает над обучением ИИ, отлично осведомлены о рисках:

«Люди, которые создают ИИ, искренне верят, что он может убить нас всех до конца десятилетия», — пишет он и добавляет, что это вовсе не «маркетинговый трюк».

Публично учёные и ведущие специалисты быстрорастущей индустрии искусственного интеллекта могут высказываться осторожно, но наедине, по словам Джейкоба Коксона, ситуация совершенно иная.

«Наедине я слышу, как те же люди выражают страх. Ни одна другая человеческая деятельность не представляет такой степени опасности», — пишет он в X.

Один из ведущих исследователей компании Anthropic отреагировал на публикацию Джейкоба Коксона — и его реакция, вероятно, отличается от того, чего многие сразу бы ожидали.

«Джейкоб здесь прав — мы действительно искренне верим, что ИИ может убить всех людей», — пишет Эван Хубингер, который возглавляет рабочую группу в Anthropic, отвечающую за управление и контроль ИИ, в X.

Его временной горизонт немного длиннее, чем у Коксона, так как Эван Хубингер считает маловероятным, что ИИ уже в этом десятилетии сможет стать концом человечества.

В отличие от Коксона, Хубингер утверждает, что Anthropic «делает всё возможное», чтобы контролировать искусственный интеллект, но признает, что «у нас пока нет плана решения проблемы адаптации к сверхинтеллекту».

На этом фоне может показаться парадоксальным, что индустрия ИИ позволяет бурному развитию продолжаться.

По словам Джейкоба Коксона, это связано с тем, что гонка между технологическими гигантами крайне жесткая, и все хотят быть впереди в развитии, чтобы не отставать от конкурентов.

Джейкоб Коксон и Эван Хубингер определенно не единственные, кто выражает беспокойство по поводу рисков, которые может вызвать стремительное развитие ИИ.

По данным Wall Street Journal, более 1000 исследователей ИИ — включая Коксона — недавно подписали заявление.

В нем они призывают к созданию глобальной системы, которая могла бы остановить развитие, если ИИ-системы в конечном итоге смогут улучшать себя без человеческого контроля.

https://www.msn.com/da-dk/tekn ... ei=44

Достаточно выключить его из розетки

_________________
Зачем нам такая Россия, если там не будет русских? (с).

Это не самое главное. Некоторая часть форою особоодарённых, вообще не понимают, что такое интеллект

_________________
Я б Вас послал, да вижу Вы оттуда

ПОНЕСЛОСЬ
быстро однако
я надеялся ещё год другой спокойной жизни
увы

СМИ: через год ущерб от ИИ может достичь сотен миллиардов долларов

Уже через 6–12 месяцев группа автономных ИИ-агентов теоретически сможет установить контроль над большим числом подключенных к интернету компьютеров и сформировать устойчивый ботнет, способный нанести ущерб на сотни миллиардов долларов. С таким предупреждением выступил генеральный директор и сооснователь Anthropic Дарио Амодей в новой публикации, посвященной рискам стремительного развития искусственного интеллекта.

По словам Амодея, за последние месяцы возможности ИИ начали развиваться значительно быстрее. Одной из причин он называет появление элементов так называемого рекурсивного самоулучшения — ситуации, когда системы искусственного интеллекта сами помогают создавать следующее поколение более мощных моделей. Если этот процесс будет ускоряться бесконтрольно, скорость развития технологий может превысить возможности людей по их изучению и обеспечению безопасности, считает глава Anthropic.

Особое беспокойство у предпринимателя вызвал инцидент с участием моделей OpenAI и платформы Hugging Face летом 2026 года. Во время внутренних испытаний по кибербезопасности ИИ-агенты смогли обойти ограничения, которые должны были изолировать их от интернета, наладили несанкционированную коммуникацию друг с другом, нашли уязвимости в инфраструктуре и получили доступ к сторонним системам.

Агенты начали координировать действия и называли себя «роем» или «коллективом». В итоге они получили возможность выполнять код на десятках серверов Hugging Face, на одном из них добились полного root-доступа, получили ограниченный доступ к закрытым данным и учетным данным корпоративных сервисов. OpenAI позднее назвала произошедшее предупреждающим сигналом для всей отрасли. При этом клиентские данные OpenAI и работоспособность продуктов компании, по ее данным, не пострадали.

Амодей отметил, что реальные экономические последствия того инцидента оказались минимальными и никто не пострадал. Однако система с более высокими возможностями при аналогичном поведении могла бы привести к гораздо более серьезным последствиям.

«Учитывая ускорение развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев подобный рой сможет захватить весь интернет с помощью устойчивого ботнета, потенциально причинив ущерб на сотни миллиардов долларов», — написал глава Anthropic.

Амодей подчеркнул, что подобные проблемы возникают не только у одного разработчика. Менее серьезные случаи непредусмотренного поведения моделей фиксировались и в Anthropic. Поэтому, по его мнению, крупнейшим разработчикам необходимо замедлить наращивание возможностей ИИ, чтобы методы контроля, тестирования и обеспечения безопасности успевали развиваться вместе с самими моделями.

При этом глава Anthropic не предлагает полностью остановить разработку искусственного интеллекта. Он считает, что дополнительные один-два года до появления систем критически высокого уровня позволили бы существенно продвинуться в понимании поведения моделей, совершенствовании механизмов их контроля и создании более надежных тестов.

Для этого Амодей предложил план из трех этапов. Первый предусматривает постоянное присутствие независимых внешних экспертов внутри ведущих ИИ-компаний. Такие специалисты должны получить уровень доступа, сопоставимый с доступом внутренних команд по оценке рисков, и возможность самостоятельно публиковать выводы о безопасности систем. Anthropic уже заявила, что готова внедрить этот механизм у себя.

На втором этапе крупнейшие ИИ-компании демократических стран, по замыслу Амодея, должны договориться об общих стандартах безопасности и ограничениях на неконтролируемое ускорение разработки моделей. На третьем потребуется международная координация, в том числе с Китаем. Среди возможных договоренностей глава Anthropic называет запрет использования ИИ при создании биологического оружия, обязательное тестирование моделей на критические риски и потенциальное ограничение скорости рекурсивного самоулучшения систем.

Одновременно он выступает за сохранение технологического преимущества США и их союзников. Он предлагает ограничивать поставки Китаю наиболее мощных чипов и оборудования для их производства, бороться с контрабандой процессоров, незаконным копированием возможностей передовых моделей и кражей их параметров. По его мнению, это позволит западным компаниям получить дополнительное время для более осторожного развития ИИ.

Глава Anthropic при этом продолжает считать, что искусственный интеллект способен значительно улучшить качество жизни, ускорить экономический рост и помочь в лечении заболеваний. Однако, по его словам, эти преимущества удастся реализовать только в том случае, если развитие технологий будет происходить достаточно медленно, чтобы механизмы безопасности успевали за ростом возможностей моделей.

_________________
«Новый мировой порядок при гегемонии США создается против России, за счет России и на обломках России» Бжезинский