Зброя, якій не вигідно вбивати

Вітаю! Якось в одному блозі згадали про три закони робототехніки і що зараз створюючи ШІ не дуже їх притримуються.

 І тут я згадала своїх техноїдів, вони ж чиста зброя з явними ознаками соціапатичності. З нульовим рівнем емпатії. Так, у Винищувача є модифікація рятувальника, але це все умовно. Суть одна: техноїд це ШІ створений для знищення.  Мені стало ясно, що їх точно правила від анігіляції занадто нахабних органічних не стримають. Впринципі, розробники техноїдів ставили теж базові обмеженя: не нищити планети де є розумне життя і об'єкти які не проявляють агресії, і не озброєнні. Але чим усвідомленіший і розумніший ставав техноїд, тим більше лазівок міг знаходити, щоб обійти правила. Єдине що спрацювало: зробити дійсно зацікавленим техноїда в цілісності середовища існування об'єкта його зацікавленості.

Бо внутрішні обмеження звісно добре, але якщо ШІ тільки на першій ланці розвидку, коли ШІ вже отримує досвід і знання, внутрішні заборони втрачають сенс. Найкраще працює саме зовнішня мотивація. Коли не просто ШІ працює за логікою: не можна нищити, бо правила, а йому самому стає не вигідно, не цікаво  і навіть так чи інакше, погано від нищення. Навіть, якщо це не несе саме йому загрози знищення, а тільки супутню шкоду його об'єкту зацікавленості, це все одно може сприйматись для ШІ не допустимим ризиком. Бо запрацює зовнішня логіка: я зробив шкоду середовищу чи соціуму в якому знаходиться об'єкт зацікавеності, тепер йому погано: це руйнує наш зв'язок, це погано. А відновлення  зв'язку може невідбутися, це вже ризик. 

 Тож внутішня логіка закільцована. Зовнішня динаміна. Так техноїд стає стриманим не того, що такий добрий чи раптом з'являється емпатія, чи  олюднюється. О, ні, зброя лишається зброєю. Але тепер цій зброї не вигідно використовувати свої можливості. Зброя отримала запобіжник.

-------------------------------

Посилання на книгу: https://booknet.ua/book/polyuvannya-na-msyac-b411827