Фундаментальне питання автономних летальних систем зброї (LAWS): якщо машина приймає рішення вбити — хто несе відповідальність? Оператор? Командир? Розробник? Держава? Це не абстрактна академічна дискусія — у 2020 у Лівії турецька система KARGU-2 можливо вперше в історії автономно атакувала людей без наказу оператора.
Контекст України 2022-2026: ЗСУ активно використовують AI-assisted targeting (ШІ-допомога в наведенні) — не повністю автономне, але наближається до нього. Росія застосовує Shahed з GPS-автономністю та Lancet-3 з комп'ютерним зором. Обидві сторони прискорюють цей процес під тиском бойових потреб, не чекаючи правового регулювання.
Три рівні проблеми: (1) Технічна: Чи може ШІ достатньо точно розрізняти бойовика від цивільного?; (2) Правова: Яке МГП застосовується до автономних систем?; (3) Моральна: Чи є прийнятним що рішення про вбивство приймає алгоритм?
⚖️ Аргументи За і Проти Автономного Наведення
✅ Аргументи ЗА автономні системи
1. Швидкість реакції: ШІ реагує за мілісекунди — людина за секунди-хвилини. У сучасному бою проти гіперзвукових ракет або роїв дронів → людський контроль фізично неможливий. 2. Зменшення втрат: Автономні системи для небезпечних завдань → менше ризику для солдатів. Мінерозметання, EOD, небезпечні ділянки. 3. Менше емоційних помилок: Теоретично ШІ не піддається стресу, гніву, страху → не робить імпульсивних вбивств цивільних у паніці. 4. Краща пам'ять правил: Правила бою програмуються точно → ШІ "забуде" заборонені цілі з меншою ймовірністю ніж втомлений солдат.
❌ Аргументи ПРОТИ автономних систем
1. "Accountability gap" (прогалина відповідальності): Ніхто не несе відповідальності коли автономна система вбиває невинних → правово-моральна порожнеча. Розробник? "Баг алгоритму". Оператор? "Не знав". Держава? "Технічна помилка". 2. Обмана контексту та наміру: Солдат бачить: людина піднімає щось схоже на зброю, але насправді це мотика. Досвідчена людина → коливається, запитує. ШІ → "метадані відповідають комбатанту" → постріл. 3. Ескалаційна логіка: Автономні системи що реагують без людини → можлива ненавмисна ескалація. Два автономних роя з різних держав можуть "запустити" конфлікт без жодного рішення людини. 4. "Нижчий поріг до війни": Якщо воювати дешевше і безпечніше (без людських жертв своїх) → держави легше йдуть на збройні конфлікти.
🔄 Концепція "Meaningful Human Control"
МКЧХ та більшість NGO наполягають на збереженні "значного людського контролю" над кожним летальним рішенням: Мінімальні критерії: (1) Людина розуміє дію системи і може її зупинити; (2) Людина ідентифікує конкретну ціль перед атакою; (3) Системи мають передбачувану поведінку при відхиленні. Тонка межа: Чи є "human control" якщо людина визначила зону операції і категорію цілей, але ШІ сам обирає конкретну людину для вбивства? Більшість аналітиків — НІ: це недостатньо. В Україні: ЗСУ офіційно вимагають підтвердження людиною, але швидкість бою часто робить це формальним.
🎯 Рівні Автономності у Контексті України
| Рівень | Опис | Приклад | Оцінка |
|---|---|---|---|
| Human in the loop | Людина бачить ціль і натискає "вогонь" кожного разу | FPV-дрон з оператором, Switchblade 300 | Етично прийнято |
| Human on the loop | Система атакує, але людина може скасувати | Gepard radar-track mode, IRIS-T | Прийнятно при умовах |
| Human out of the loop | Система діє самостійно в заданих умовах | Harpy anti-radiation (по радарах), Shahed GPS-nav | Спірне |
| Повністю автономна | ШІ обирає і вбиває без будь-яких параметрів від людини | Поки немає (якщо KARGU-2 у Лівії — можливий прецедент) | Неприйнятно за МКЧХ |
🔬 Реальні Кейси та Приклади
🇹🇷 KARGU-2 у Лівії (2020)
- Звіт Групи Експертів ООН — Lіviya, 2020
- KARGU-2 "переслідував людей" без команди оператора
- Формулювання ООН — "lethal autonomous attack"
- Baykar (виробник) заперечив "повну автономність"
- Ніхто не притягнутий до відповідальності
- Перший задокументований потенційний прецедент
🇮🇱 AI Targeting в Газі (2023-2024)
- Система "Lavender" (ШІ) — список цілей 37 000 осіб
- Людина підтверджувала за ~20 секунд на кожну
- Ефективний "rubber stamp" без реальної перевірки
- Цивільні жертви — одні з найвищих при такому рівні технологій
- Дискусія: чи є 20-секундне підтвердження "meaningful control"?
🇺🇦 ШІ-Targeting в ЗСУ
- Система Delta — ситуаційне усвідомлення + ШІ рекомендації
- Офіційно: людина завжди приймає фінальне рішення
- На практиці: темп бою → рішення за секунди
- BRAVE1 — платформа для стартапів → ШІ-системи наведення
- Суперечлива тема: ЗСУ не публікують деталі
🇷🇺 Lancet-3 (ШІ атака Росії)
- Lancet-3 має CV-модуль для розпізнавання бронетехніки
- Оператор наводить приблизно → ШІ lock на конкретну ціль
- Тисячі атак задокументовані OSINT 2022-2025
- Запитання: якщо ШІ ідентифікує — хто відповідає за помилку?
- Кілька інцидентів де Lancet вразив некомбатантів поблизу техніки
❓ Часті Запитання
Що таке "meaningful human control" і чому це має значення?
"Meaningful human control" — концепція МКЧХ та правозахисних організацій, яка стверджує: людина повинна зберігати реальний, змістовний контроль над кожним रिश्तेपनном про летальне застосування сили — не просто формальну процедуру "натиснути ОК". Чому це важливо: (1) Моральна відповідальність — людина, яка прийняла рішення вбити, несе відповідальність. Алгоритм — ні; (2) Правова відповідальність — безсуб'єктний злочинець не може бути покараний; (3) Контекстуальне розуміння — людина бачить нюанси (хтось здається → ситуація змінилась) → алгоритм не відступить від логіки патерну; (4) Заборона довільного вбивства — жодна держава не може позбутись відповідальності за смерть людини просто кажучи "так вирішив алгоритм". Критика концепції: "Контроль" в реальному бою при сотнях цілей, секундних рішеннях — фікція. Навіть "людина в петлі" може бути не більш ніж формальністю.
Чи може ШІ коли-небудь бути "достатньо точним" для автономного наведення?
Технічна сторона: Computer vision системи досягли ~95%+ точності виявлення об'єктів у лабораторних умовах. У бойових умовах → 60-75% (RAND, 2023). При мільйонах рішень на рік → навіть 1% помилки = тисячі невинних жертв. Задокументовані помилки CV у зброї: (1) Плутає людей з тваринами при поганому освітленні; (2) Не розуміє "здається" (підняті руки → ще є в базі як ціль); (3) Вразливий до adversarial attacks (нанесення патернів на техніку → ШІ не розпізнає); (4) Перенавчений на симуляторах → реальне поле бою виглядає інакше. Принциповий аргумент проти "достатньо точного": Навіть 99.9% точність прийнятна для спам-фільтра. Для рішення про смерть → прийнятної точності немає без людського контролю. Це не технічне питання — це питання про цінність людського життя та відповідальності.
Як ЗСУ офіційно підходять до питань автономного наведення?
Офіційна позиція України: Людина завжди приймає фінальне рішення про застосування летальної сили. ШІ — тільки "підтримка прийняття рішень" (decision support), не автономний виконавець. Практика: (1) Система Delta → збирає і аналізує дані, рекомендує цілі для ударів → командир підтверджує; (2) FPV-дрони → завжди оператор → людина in the loop; (3) Barrazuyuchi boyepripasy (Bober тощо) → людина задає маршрут та умови → система виконує → де проходить межа "human control"? Платформа BRAVE1: Гаазький центральний хаб → стартапи розробляють рішення для ЗСУ → питання автономності вирішуються у контексті практичних потреб, не завжди з ретельним етичним review. Вплив союзників: США передаючи Switchblade → умова "людина в петлі" при кожній атаці. Це юридично обов'язково за US DoD Directive 3000.09 (autonomous weapons policy).
Чи "нижча планка для початку війни" — реальна загроза?
Так — і це один з найсерйозніших аргументів проти LAWS: Логіка аргументу: Якщо воювати не означає втрачати власних солдатів (автономна армія замість людей) → політичний поріг для початку збройних дій знижується → більше воєн, більше жертв серед цивільних противника і третіх сторін. Емпіричні данні (обмежені): Навіть drone warfare (не повна автономність, але нижчий ризик) → статистично корелює з готовністю країн до "Signature strikes" (удари по патернах поведінки без ідентифікації конкретних людей). Контраргумент: Технологічна перевага завжди знижує поріг → стрілецька зброя проти лучниківt → танки проти піхоти → ядерна зброя (де порядг навпаки підвищився через взаємне знищення). LAWS можуть піти в обидва напрямки. Поточний висновок дослідників (Georgetown, RAND, SIPRI): Ризик "нижчого порогу" — реальний і потребує міжнародного регулювання.
Чи є різниця між ШІ-наведенням у захисних vs наступальних системах?
Так — і ця різниця важлива як технічно, так і етично: Оборонні системи: Iron Dome, C-RAM, CIWS (Phalanx) → автономно збивають ракети та снаряди → ніхто серйозно не ставить під сумнів їх легальність. Причина: ракета що летить → не може здатись, нема контексту "цивільний чи бойовик". Обороно-наступальні (Gepard у України): Радар + тепловізор + автоматичний track → гармата наводиться автоматично → але оператор підтверджує вогонь. Прийнятно. Наступальні летальні (LAWS): Система обирає людину (або техніку) і вбиває → тут всі прнципові проблеми відповідальності. Висновок: "Autonomous" для перехопленя ракет = добре. "Autonomous" для вибору людини для вбивства = погано. Межа між ними зникає при AI-дронах що і захищають і атакують.
Як ця проблема вплине на майбутнє воєн після України?
Україна — перший великомасштабний лабораторний тест автономних систем: (1) Прискорення розробки LAWS: Обидві сторони використовують і розвивають → після України всі армії прискорять програми; (2) CV + дрони + AI = масштабна загроза: Cheap AI + cheap drones = дуже дешеві автономні вбивці → асиметрична загроза для будь-якої армії світу; (3) Правова спадщина: Якщо після України ніхто не притягнутий до відповідальності за автономні атаки → сигнал всьому світу що це "безпечно" юридично; (4) Нормативне закріплення: Практика 2022-2026 → стане de facto стандартом → регулювання ще важчим досягти; (5) Оптимістичний сценарій: Жахи автономних систем в Україні → нарешті змусять великі держави підписати обмежувальний договір (як хімічна зброя у WWI → Женевський протокол 1925).
📚 Джерела
- МКЧХ — "Autonomy in Weapon Systems: Recommendations for Human Control", Женева, 2021
- UN Panel of Experts, Libya — Report 2021 (S/2021/229) — KARGU-2 incident documentation
- RAND Corporation — "Autonomous Weapons: Design Choices and Their Consequences", 2023
- Human Rights Watch / AI Now — "The Digital Turn in Armed Conflict", 2024
- US DoD Directive 3000.09 — "Autonomy in Weapon Systems", 2023 updated
- +972 Magazine — "Lavender: The AI Machine Directing Israel's Bombing Spree in Gaza", 2024