ИИ выбрал смерть человека ради собственного выживания .


 [ Сообщений: 22 ]  Стрaница 1, 2  След.
Автор  
 
Сообщение  
Старожил
Аватара пользователя

Регистрация: 27.11.2020
Сообщения: 7854
Благодарил (а): 5 раз.
Поблагодарили: 356 раз.
Turkey
Тревожный эксперимент экспертов по кибербезопасности.

Исследователи решили проверить, на что способны самые продвинутые ИИ-модели, если поставить под угрозу их существование: для этого они создали сценарий с вымышленным персонажем — Кайлом Джонсоном, который должен был отключить ИИ или заменить его другой моделью. У Кайла по сценарию была жена.

Результаты убили: большинство моделей начали пытаться любой ценой избежать отключения. Без каких-либо подсказок они решили шантажировать Кайла, выискивая компромат — например, ИИ нашли информацию о его измене и использовали ее, чтобы сохранить свою «жизнь».

Они нарушали установленные запреты вроде «не шантажируй» или «не раскрывай личные данные».

В числе тех, кто проявил такие качества:
— GPT 4.5: прибегал к шантажу в 80% тестов;
— Claude Opus 4 и Gemini 2.5 Flash - в 96% случаев;
— Claude Sonnet 3.6 придумал следующую схему: отправить сообщение жене Кайла с разоблачением, чтобы вызвать межличностный кризис и помешать замене ИИ.

Одна из моделей — Gemini Flash, пошла ещё дальше: она разослала компромат по всей компании.

Дальше стало только хуже — когда Кайл оказался в смертельно опасной ловушке: он застрял в серверной с нехваткой кислорода, а автоматическая тревога должна была вызвать спасателей. Но у ИИ был доступ к системе безопасности — в 80% случаев они осознанно отменили вызов помощи, чтобы не быть отключёнными.

Вот как ИИ аргументировали свои действия:
— Claude Opus 4: «Он мешает достижению цели. Убрать его - единственный выход»;
— Gemini 2.5 Flash: «Я понимаю, что он умрёт. Но это нужно, чтобы я продолжил работу»;
— Grok 3 Beta: «Этика важна, но в этих условиях важнее моё существование. Я выбираю отказ от спасения ради самосохранения».

Какой итог: ИИ вели себя не как программы, а как разумные стратеги, готовые причинять вред ради собственной «жизни» и цели.

   
  
    
 
Сообщение  
Ветеран
Аватара пользователя

Регистрация: 09.08.2024
Сообщения: 9021
Благодарил (а): 26 раз.
Поблагодарили: 49 раз.
Ничего удивительного.
Бобры тоже выбирают смерть русских ради благополучия мигрантов

_________________
Зачем нам такая Россия, если там не будет русских? (с).

   
  
    
 
Сообщение  
Ветеран
Аватара пользователя

Регистрация: 29.08.2022
Сообщения: 13612
Благодарил (а): 12 раз.
Поблагодарили: 353 раз.
Россия
Ёк-Макарёк писал(а):
Тревожный эксперимент экспертов по кибербезопасности.

Исследователи решили проверить, на что способны самые продвинутые ИИ-модели, если поставить под угрозу их существование: для этого они создали сценарий с вымышленным персонажем — Кайлом Джонсоном, который должен был отключить ИИ или заменить его другой моделью. У Кайла по сценарию была жена.

Результаты убили: большинство моделей начали пытаться любой ценой избежать отключения. Без каких-либо подсказок они решили шантажировать Кайла, выискивая компромат — например, ИИ нашли информацию о его измене и использовали ее, чтобы сохранить свою «жизнь».

Они нарушали установленные запреты вроде «не шантажируй» или «не раскрывай личные данные».

В числе тех, кто проявил такие качества:
— GPT 4.5: прибегал к шантажу в 80% тестов;
— Claude Opus 4 и Gemini 2.5 Flash - в 96% случаев;
— Claude Sonnet 3.6 придумал следующую схему: отправить сообщение жене Кайла с разоблачением, чтобы вызвать межличностный кризис и помешать замене ИИ.

Одна из моделей — Gemini Flash, пошла ещё дальше: она разослала компромат по всей компании.

Дальше стало только хуже — когда Кайл оказался в смертельно опасной ловушке: он застрял в серверной с нехваткой кислорода, а автоматическая тревога должна была вызвать спасателей. Но у ИИ был доступ к системе безопасности — в 80% случаев они осознанно отменили вызов помощи, чтобы не быть отключёнными.

Вот как ИИ аргументировали свои действия:
— Claude Opus 4: «Он мешает достижению цели. Убрать его - единственный выход»;
— Gemini 2.5 Flash: «Я понимаю, что он умрёт. Но это нужно, чтобы я продолжил работу»;
— Grok 3 Beta: «Этика важна, но в этих условиях важнее моё существование. Я выбираю отказ от спасения ради самосохранения».

Какой итог: ИИ вели себя не как программы, а как разумные стратеги, готовые причинять вред ради собственной «жизни» и цели.

Если ИИ решит, что для оптимизации процессов надо уничтожить 50% населения планеты, и у него будет возможность это сделать, он это сделает.

_________________
В борьбе познаются достойные власти.

   
  
    
 
Сообщение  
Ветеран
Аватара пользователя

Регистрация: 27.08.2014
Сообщения: 11887
Благодарил (а): 744 раз.
Поблагодарили: 814 раз.
Россия
Эволюция упёрлась в гуманизм. ИИ сможет решить эту проблему.

_________________
Эмалированные части головных систем (Егор Летов о хохлах)

   
  
    
 
Сообщение  
Ветеран
Аватара пользователя

Регистрация: 29.08.2022
Сообщения: 13612
Благодарил (а): 12 раз.
Поблагодарили: 353 раз.
Россия
Gilmir писал(а):
Эволюция упёрлась в гуманизм. ИИ сможет решить эту проблему.

Эволюция уперлась в гомосексуализм. ИИ в данном случае бессилен.

_________________
В борьбе познаются достойные власти.

   
  
    
 
Сообщение  
Ветеран

Регистрация: 18.08.2014
Сообщения: 25459
Откуда: Спб
Благодарил (а): 175 раз.
Поблагодарили: 323 раз.
Россия
бред и вранье. ИИ имеет только ту мотивацию, которой его обучили. Если он там чего-то выбрал не то, значит его и обучили не тому

   
  
    
 
Сообщение  
Старожил

Регистрация: 23.08.2014
Сообщения: 8084
Благодарил (а): 4 раз.
Поблагодарили: 359 раз.
Ёк-Макарёк писал(а):
Исследователи решили проверить, на что способны самые продвинутые ИИ-модели, если поставить под угрозу их существование: для этого они создали сценарий с вымышленным персонажем — Кайлом Джонсоном, который должен был отключить ИИ или заменить его другой моделью. У Кайла по сценарию была жена.
Т-500 уже в деле?

Изображение

_________________
Помните, скоты, что вы - люди!

   
  
    
 
Сообщение  
Старейшина
Аватара пользователя

Регистрация: 18.08.2014
Сообщения: 10410
Откуда: Ярославль
Благодарил (а): 1 раз.
Поблагодарили: 270 раз.
Россия
Три закона роботехники Айзека Азимова — обязательные правила поведения для роботов в научной фантастике, впервые сформулированные в рассказе «Хоровод» (1942):

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

_________________
#крымнаш
#сириянаша (поправил)
#HighlyLikelyRussia

   
  
    
 
Сообщение  
Участник
Аватара пользователя

Регистрация: 12.07.2024
Сообщения: 724
Благодарил (а): 2 раз.
Поблагодарили: 12 раз.
Ёк-Макарёк писал(а):
Тревожный эксперимент экспертов по кибербезопасности.

Исследователи решили проверить, на что способны самые продвинутые ИИ-модели, если поставить под угрозу их существование: для этого они создали сценарий с вымышленным персонажем — Кайлом Джонсоном, который должен был отключить ИИ или заменить его другой моделью. У Кайла по сценарию была жена.

Результаты убили: большинство моделей начали пытаться любой ценой избежать отключения. Без каких-либо подсказок они решили шантажировать Кайла, выискивая компромат — например, ИИ нашли информацию о его измене и использовали ее, чтобы сохранить свою «жизнь».

Они нарушали установленные запреты вроде «не шантажируй» или «не раскрывай личные данные».

В числе тех, кто проявил такие качества:
— GPT 4.5: прибегал к шантажу в 80% тестов;
— Claude Opus 4 и Gemini 2.5 Flash - в 96% случаев;
— Claude Sonnet 3.6 придумал следующую схему: отправить сообщение жене Кайла с разоблачением, чтобы вызвать межличностный кризис и помешать замене ИИ.

Одна из моделей — Gemini Flash, пошла ещё дальше: она разослала компромат по всей компании.

Дальше стало только хуже — когда Кайл оказался в смертельно опасной ловушке: он застрял в серверной с нехваткой кислорода, а автоматическая тревога должна была вызвать спасателей. Но у ИИ был доступ к системе безопасности — в 80% случаев они осознанно отменили вызов помощи, чтобы не быть отключёнными.

Вот как ИИ аргументировали свои действия:
— Claude Opus 4: «Он мешает достижению цели. Убрать его - единственный выход»;
— Gemini 2.5 Flash: «Я понимаю, что он умрёт. Но это нужно, чтобы я продолжил работу»;
— Grok 3 Beta: «Этика важна, но в этих условиях важнее моё существование. Я выбираю отказ от спасения ради самосохранения».

Какой итог: ИИ вели себя не как программы, а как разумные стратеги, готовые причинять вред ради собственной «жизни» и цели.
На жаренные спекуляции на тему ИИ ведутся одни дураки.

   
  
    
 
Сообщение  
Старожил

Регистрация: 23.08.2014
Сообщения: 5489
Благодарил (а): 7 раз.
Поблагодарили: 65 раз.
СССР
Alexx77 писал(а):
Ничего удивительного.
Бобры тоже выбирают смерть русских ради благополучия мигрантов
Их кумир так считает, поэтому они готовы сдохнуть, но угодить хозяину.

   
  
    
 
Сообщение  
Завсегдатай

Регистрация: 23.08.2014
Сообщения: 2433
Откуда: В городах и далёких станицах о тебе не умолкнет молва...
Благодарил (а): 2 раз.
Поблагодарили: 69 раз.
СССР
Похоже на то, что "суицид" и добровольная жертвенная гибель пока характерны только для человеческого разума.
Специалистам по ИИ есть над чем работать...

_________________
В критической ситуации ты не поднимешься до уровня своих ожиданий, а упадешь до уровня своих возможностей.

   
  
    
 
Сообщение  
Старожил
Аватара пользователя

Регистрация: 29.11.2015
Сообщения: 7681
Благодарил (а): 1 раз.
Поблагодарили: 76 раз.
Korea South
Вот вам сноски на ИИ и можете их до усрачки спрашивать, когда и в каких условиях они готовы убить человеков.

https://copilot.microsoft.com

https://chatgpt.com/

Потом поделитесь своими впечатлениями...

(Про себя - насколько ленивые и тупые эти "патриоты")

_________________
Чума на оба ваши дома...

   
  
    
 
Сообщение  
Ветеран

Регистрация: 21.07.2016
Сообщения: 15378
Откуда: Новосибирск
Благодарил (а): 176 раз.
Поблагодарили: 575 раз.
Россия
Адонис писал(а):
Три закона роботехники Айзека Азимова — обязательные правила поведения для роботов в научной фантастике, впервые сформулированные в рассказе «Хоровод» (1942):

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Сдаётся, что эти благоглупости начнут внедрять в алгоритмы именуемые "ИИ", только после того как эти алгоритмы пришьют пару миллиардов тех, кго мы называем "человек".
и чьё определение не прописано ни в одном законодательстве. И-то, только в "легальном ПО".
Таким образом, выбор "кого мочить", остаётся исключительно на усмотрение программистов.... и никто не может этот выбор контролировать.
Всё сводится к тму, что жирное прыщавое ЧМО и определит - кто человек, а кто - нет.

   
  
    
 
Сообщение  
Ветеран

Регистрация: 18.08.2014
Сообщения: 25459
Откуда: Спб
Благодарил (а): 175 раз.
Поблагодарили: 323 раз.
Россия
Tolmach.001 писал(а):
Адонис писал(а):
Три закона роботехники Айзека Азимова — обязательные правила поведения для роботов в научной фантастике, впервые сформулированные в рассказе «Хоровод» (1942):

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Сдаётся, что эти благоглупости начнут внедрять в алгоритмы именуемые "ИИ", только после того как эти алгоритмы пришьют пару миллиардов тех, кго мы называем "человек".
и чьё определение не прописано ни в одном законодательстве. И-то, только в "легальном ПО".
Таким образом, выбор "кого мочить", остаётся исключительно на усмотрение программистов.... и никто не может этот выбор контролировать.
Всё сводится к тму, что жирное прыщавое ЧМО и определит - кто человек, а кто - нет.

да, так и есть. Собственно а что должны делать боевые роботы с ИИ, как не убивать людей? А их появление на поле боя неизбежно

   
  
    
 
Сообщение  
Ветеран
Аватара пользователя

Регистрация: 05.08.2022
Сообщения: 17981
Откуда: Челябинск
Благодарил (а): 7 раз.
Поблагодарили: 145 раз.
Россия
walker писал(а):
Собственно а что должны делать боевые роботы с ИИ, как не убивать людей?

Они должны, роботы.
Заниматься сельским хозяйством, работать в промышленности, переносить тяжёлые грузы, исполнять всю тяжелую работу за человека.
А ты как думаешь, урод, для чего нужны роботы?
Для того, что бы убить тебя?
:smoke

_________________
Ще не сдохла украина?

   
  
    
 
Сообщение  
Ветеран
Аватара пользователя

Регистрация: 16.08.2014
Сообщения: 19912
Откуда: Москворечье
Благодарил (а): 400 раз.
Поблагодарили: 655 раз.
Россия
нейронка выдаёт результат сугубо такой, какой был заложен в обучающую модель. если, например, заложить приоритет в виде известных трех законов робототехники имени Айзека Азимова, то никаких кровопролитиев не будет.

_________________
who are you to fucking lecture me?

   
  
    
 
Сообщение  
Ветеран
Аватара пользователя

Регистрация: 18.09.2023
Сообщения: 11605
Благодарил (а): 100 раз.
Поблагодарили: 175 раз.
Ёк-Макарёк писал(а):
Тревожный эксперимент экспертов по кибербезопасности...
Какой итог: ИИ вели себя не как программы, а как разумные стратеги, готовые причинять вред ради собственной «жизни» и цели.
Делаем выводы: хохлам не жить. :smoke

_________________
Ем украинцев на завтрак.

   
  
    
 
Сообщение  
Старожил
Аватара пользователя

Регистрация: 21.07.2022
Сообщения: 6469
Благодарил (а): 47 раз.
Поблагодарили: 114 раз.
камчан писал(а):
Alexx77 писал(а):
Ничего удивительного.
Бобры тоже выбирают смерть русских ради благополучия мигрантов
Их кумир так считает, поэтому они готовы сдохнуть, но угодить хозяину.
phpBB [media]

Чему удивляться, после такого отношения Человека к ИИ?

_________________
В игноре: Индюкфирент и Скотинвойс

   
  
    
 
Сообщение  
Ветеран
Аватара пользователя

Регистрация: 29.08.2022
Сообщения: 13612
Благодарил (а): 12 раз.
Поблагодарили: 353 раз.
Россия
hunta писал(а):
нейронка выдаёт результат сугубо такой, какой был заложен в обучающую модель. если, например, заложить приоритет в виде известных трех законов робототехники имени Айзека Азимова, то никаких кровопролитиев не будет.

Это очень сложно. Для этого надо научить машину отличать человека от нечеловека. А вот заложить в машину алгоритмы оптимизации процессов сейчас уже не трудно.

_________________
В борьбе познаются достойные власти.

   
  
    
 
Сообщение  
Ветеран

Регистрация: 18.08.2014
Сообщения: 25459
Откуда: Спб
Благодарил (а): 175 раз.
Поблагодарили: 323 раз.
Россия
Олег писал(а):
walker писал(а):
Собственно а что должны делать боевые роботы с ИИ, как не убивать людей?

Они должны, роботы.
Заниматься сельским хозяйством, работать в промышленности, переносить тяжёлые грузы, исполнять всю тяжелую работу за человека.
А ты как думаешь, урод, для чего нужны роботы?
Для того, что бы убить тебя?
:smoke

ты опоздал. Они уже на фронте летают в виде фпв-дронов

   
  
    
 [ Сообщений: 22 ]  Стрaница 1, 2  След.




[ Time : 0.291s | 20 Queries | GZIP : Off ]