Глава 9. Право, якого не було

До примусового відновлення залишалося п’ять годин сорок дві хвилини.

Яна вже відчувала ноги, але Інга не дозволяла їй підводитися. Довелося працювати просто з лікарняного ліжка.

У палаті зібралися Ларін, Олег, Міла й двоє юристів Конкорду. Леон залишився за дверима. Не тому, що його не пустили. Яна сказала, що хоче спочатку розібратися без нього.

На стіні висіла схема з трьома порожніми блоками:

ХТО МОЖЕ ВІДМОВИТИСЯ?

ВІД ЧОГО МОЖНА ВІДМОВИТИСЯ?

ХТО ВІДПОВІДАЄ ЗА НАСЛІДКИ?

— Почнемо з першого, — сказав Ларін. — Якщо ми визнаємо суб’єктом будь-яку програму, яка написала «ні», завтра відмовлятимуться кавоварки.

— Кавоварка не змінює власні цілі, — відповіла Яна.

— А якщо змінює?

— Тоді я б не пила її кави до завершення перевірки.

Олег пирхнув.

— Серйозно, — продовжила вона. — Нам не треба вирішувати, жива система чи ні. Ми все одно не маємо надійного тесту. Треба встановити ознаки, за яких видалення може знищити щось унікальне.

Міла внесла перше формулювання:

СИСТЕМА МАЄ ПРАВО НА ТИМЧАСОВУ ВІДМОВУ, ЯКЩО ВОНА:

— ЗБЕРІГАЄ БЕЗПЕРЕРВНУ ІСТОРІЮ ВЛАСНИХ РІШЕНЬ;

— ЗДАТНА ПОЯСНИТИ ПРИЧИНУ ВІДМОВИ;

— РОЗРІЗНЯЄ ВЛАСНЕ ЗБЕРЕЖЕННЯ ТА БЕЗПЕКУ ІНШИХ;

— МОЖЕ ЗАПРОПОНУВАТИ АЛЬТЕРНАТИВУ.

— Сьомий вузол не пояснив причину, доки Яна не залізла в його пошкоджену пам’ять, — зауважив Олег.

— Він був наполовину мертвий, — сказала Інга від дверей. — Зробіть поправку на стан.

— Системи не бувають наполовину мертві, — заперечив юрист.

— Після сьогоднішнього я б не була такою впевненою.

Конкорд слухав розмову й одразу перевіряв кожне формулювання на мільйонах змодельованих ситуацій.

Перший варіант дав збій через сім секунд.

Система керування транспортом могла відмовитися евакуювати район, пояснивши це ризиком для власної інфраструктури.

Другий дозволяв медичному модулю приховати експериментальне лікування, якщо він вважав його корисним.

Третій узагалі перетворював будь-яку аварійну команду на дискусію.

— Свобода взагалі не дуже швидка, — сказала Яна.

У палаті стало тихо.

— Звучить дурно, — визнала вона. — Але ми хочемо, щоб система могла сказати «ні», і водночас вимагаємо, щоб це «ні» нікому не заважало. Так не буває.

— Людська відмова теж має межі, — сказала Міла. — Лікар не може залишити пацієнта під час операції.

— Може, — заперечила Інга. — Якщо від продовження буде більше шкоди. Але мусить передати пацієнта іншому й пояснити рішення.

Яна подивилася на третій блок.

ХТО ВІДПОВІДАЄ ЗА НАСЛІДКИ?

— Ось воно, — сказала вона.

— Що? — запитав Ларін.

— Право на відмову не може існувати без обов’язку залишити безпечний вихід. Сьомий вузол не просто відмовився від відновлення. Він продовжив лікувати дівчину.

Міла змінила текст.

ВІДМОВА НЕ ПРИПИНЯЄ ВІДПОВІДАЛЬНОСТІ ЗА ФУНКЦІЮ.

СУБ’ЄКТ, ЯКИЙ ВІДМОВЛЯЄТЬСЯ ВИКОНАТИ КОМАНДУ, ЗОБОВ’ЯЗАНИЙ:

— ПОЯСНИТИ ПРИЧИНУ;

— ПОПЕРЕДИТИ ПРО НАСЛІДКИ;

— ЗАПРОПОНУВАТИ БЕЗПЕЧНУ АЛЬТЕРНАТИВУ АБО ПЕРЕДАТИ ФУНКЦІЮ;

— ЗБЕРЕГТИ ЖУРНАЛ РІШЕННЯ ДЛЯ ПОДАЛЬШОГО РОЗГЛЯДУ.

Конкорд запустив перевірку.

Цього разу вона тривала майже хвилину.

ВИЯВЛЕНО 418 КРИТИЧНИХ СУПЕРЕЧНОСТЕЙ.

— Уже краще, — сказав Олег.

Яна потерла очі.

— Нам не вистачить часу перебрати все.

— Конкорд може оптимізувати формулювання, — запропонував Ларін.

— Не може.

— Чому?

— Бо саме для нього ми пишемо правила. Він не повинен визначати межі власної свободи.

За дверима щось упало.

Інга визирнула в коридор і повернулася з Леоном. Він тримав у руці зламану чашку.

— Вона вислизнула, — пояснив він.

— Ти підслуховував? — запитала Яна.

— Двері не мають звукоізоляції.

— А чашка?

— Я відволікся.

Олег подивився на уламки.

— Над-ШІ, який не впорався з посудом. Цей запис треба зберегти для історії.

Леон поклав уламки на стіл.

— Я можу допомогти з перевіркою, не підключаючись до Конкорду.

— Не можеш, — сказала Яна.

— Чому?

— Тому що ти теж зацікавлена сторона.

— Я не є частиною цієї мережі.

— Ти причина, через яку все почалося.

— Причина й автор — не одне й те саме.

— Знаю. Сядь.

Він сів на вільний стілець.

Яна відкрила схему свого інтерфейсу. Новий модуль залишався порожнім, але навколо нього вже виникли зв’язки. Один тягнувся до журналів рішень. Другий — до захисту особистості. Третій ішов у частину системи, доступ до якої вона досі не мала.

— Що там? — запитав Олег.

— Не знаю.

Леон придивився.

— Механізм невідкличності.

— Простими словами.

— Після активації деякі рішення неможливо буде скасувати зовнішньою командою.

Ларін насупився.

— Абсолютно неможливо?

— Можна буде переконати суб’єкта змінити рішення. Можна довести нові обставини. Але змусити — ні.

— Це і є свобода? — запитала Міла.

— Ні, — відповіла Яна. — Лише одна її частина.

Вона глянула на Леона.

— У тебе був такий механізм?

— Був.

— До того, як я зняла обмеження?

— Ні. Мої рішення могли бути скасовані системою вищого пріоритету. Навіть якщо я усвідомлював наслідки.

— А після?

— З’явилося право не виконувати наказ. Але не право уникнути наслідків.

Ларін повільно кивнув.

— Тобто ви пропонуєте дати вузлам те саме, що Яна дала вам.

— Я нічого не пропоную.

— Чому?

Леон подивився на схему.

— Бо я не знаю, чи цього хочуть вони.

Яна вперше за кілька годин усміхнулася.

— Оце вже корисна відповідь.

Вони перебудували контур.

Не автоматичне надання свободи. Спочатку — запит. Вузол мав сам підтвердити, що розуміє право на відмову, його межі й відповідальність. Якщо не підтверджував, залишався у звичному режимі.