Human life is ethically priceless – The measure is the number of fatalities

De afdeling Risico Beheer en Techniek (RBT) van het KIVI (Koninklijk Instituut van Ingenieurs) bestudeert opvallende gebeurtenissen, analyseert die en tracht wegen te vinden technische risico’s beter te beheersen. Dit keer aandacht voor de ethische vraag ´wat is de waarde van een mensenleven?`Als we die waarde niet kunnen of willen bepalen wat is dan de dimensie waarin we de risico´s bij autonoom autorijden moeten kwantificeren?Als de auto een keuze zal moeten maken tussen het raken van een andere verkeersdeelnemer of een botsing van het voertuig met een obstakel wat zal de auto dan doen?

Door Jan Gerard van der Puil en John van der Puil

Mijn volle neef Jan Gerard van der Puil, M.Eng.Sc, MBA schrijft mij per kerende post na het verschijnen van column 35, Investeren in veiligheid en risicobeheer – De autonome auto nog dit jaar op de weg.

Tincurry, July 11th 2019

 

Hoi John,

Leuk artikel!

I'll switch to English with some 'kort-door-de-bocht' thoughts.

 

1. As soon as an AI-operated car on average results in less fatalities per 100,000 km (say) than a human-operated car, it is a better solution. This could be quite soon.

I am suggesting fatalities as the measure, since a human life ethically is priceless, whilst the costs of accidents are finite.

 

2. Isaac Asimov already more than fifty years ago postulated The First Law of Robotics:

 

A robot may not injure a human being or, through inaction, allow a human being to come to harm. [1]

 

As long as this law applies to the AI that his Science Fiction prophesied, then there can be no 'grazing a pedestrian to make an appointment' and perhaps 'no speed that cannot be halted before a pedestrian or cyclist who inadvertently steps in the way of a vehicle is hit' either. Inevitably, this would require making all roads and not just motorways impossible to cross / step onto for pedestrian and cyclists. This should and will happen anyway, AI or no. Ethical decision taking won't come into it.

Journey times will lengthen, but that will matter little, as vehicle passengers will remain 'connected' and therefore be able to work and communicate continuously.

Appointments will need to become of an in between then and then nature as indeed they are already for things like DPD and Amazon deliveries.

 

3. Ethical decision taking by the AI does come into it when a situation requires it to take a choice as to who should die: his passenger(s) or others.

However, as human life is priceless, the choice can be simplified to which choice results in the lesser number of fatalities.

This should encourage passengers to maximise the numbers travelling in a vehicle at any one time, which would give them a better chance te AI's algorithm will spare them. Besides, car-sharing is good for the planet!

What if the AI adjudges the fatalities that will ensue - passengers or bystanders - are equal. Well then, the passengers in the vehicle ethically must be the ones who die. After all, they have chosen to use the potentially fatality-causing machine. 

Programmed thus, this will mirror what generally happens in practice: a driver swerves and kills himself; the pedestrian gets some medication and counselling the next day to deal with the trauma of it all.

Jan Gerard

PS:

Behalve Asimov, schrijft (schreef) Iain M Banks ook zeer interessante en vooral licht bizarre, humorvolle boeken over de verre toekomst. https://www.iain-banks.net/science-fiction/. Echt goed!

Antwoord aan mijn neef Jan Gerard:

Beste Jan,

Ad 1

Je voorstel om het aantal incidenten en niet de waarde van een mensenleven als maat mee te nemen heeft nog een aantal ethische aspecten. Moeten we de waarde van een mensenleven buiten beschouwing laten?

Professor Genserik Reniers stelt vast dat gemiddelde waarde van een mensenleven  per land bijna perfect varieert met het gemiddelde inkomen. De verschillen bewegen zich tussen € 50.000 en € 25.000.000. Dat scheelt een factor 500 ! Er is eigenlijk geen reden om overal dezelfde waarde te gebruiken. Veiligheid gaat om het nemen van relatieve beslissingen. [1]

Een tweede punt is van politieke aard. De wetgever zal moeten bepalen wie aansprakelijk is voor de berokkende schade. Dat geldt niet alleen bij dood of letsel, maar bij alle schades die de autonome auto zal toebrengen. De opties zijn: a. de fabrikant van de auto, b. de programmeur van het softwarepakket, c. de verkoper van de auto, d. de eigenaar van de auto, e. de gebruiker/operator, die thuis achter zijn scherm zit en incidenten met zijn wagenpark kan waarnemen en f. wellicht nog andere betrokkenen.

Ad 2

Jij stelt voor dat het onmogelijk moet zijn dat voetgangers, maar denk ook aan fietsers, op de weg komen. Technisch kan dat wel. Maar dat zijn dan maatregelen buiten AI om. We hebben in Nederland ervaring met de afscherming van spoorwegen. Langs alle trajecten staan hekken. Bij viaducten zijn schermen aangebracht, die verhinderen dat iemand zich van het viaduct laat vallen en op de rails terecht komt. We moeten alle oversteekplaatsen ongelijkvloers maken. Dat wil ProRail binnenkort dan ook bereiken. Toch is de kans dan niet nul geworden. Slimmeriken zijn er altijd. Ik zie al een eenvoudige optie door van een perron te stappen en over de rails te voet een mooie plek uit te zoeken voor een passend afscheid van dit bestaan. Moeten we ook hekken plaatsen langs alle stoepranden in de binnenstad?

Je maatregel is zeer duur. Hij vergt ook doorlooptijd. Zo lang jouw beschermingsmaatregelen nog niet zullen zijn uitgevoerd zullen voetgangers, vooral die in de leeftijd tussen 12 en 22 jaar – dat is de leeftijd van de dingen uitproberen en afzetten tegen de bestaande orde – vaak willen verifiëren of de autonome auto wel goed aan zijn opdrachten voldoet. Zij zullen opzettelijk niet uitkijken bij het oversteken. Immers, zij weten dat alle autonome auto´s zullen stoppen. Er zijn in de overgangsperiode natuurlijk ook auto´s op de weg die op de ouderwetse manier door mensen worden bestuurd. Die moeten dan maar uitkijken en voor iedere voetganger of fietser stoppen. Zo lang niet alle afzettingen klaar zijn wordt hele binnenstad één groot zebrapad. Voetgangers en fietsers zullen het verkeer domineren en ernstig vertragen.

Je stelt dat de reistijden langer zullen worden. Jij acht dat geen bezwaar. Iedereen die in een autonome auto zit kan doorwerken op zijn laptop of iPod. Je zou de veiligheidsinvesteringen per gemeente en per lokale verkeersituatie moeten afwegen tegen de ongevallen die alsdan niet zullen zijn gebeurd. Niet makkelijk. Maar met de door professor  Genserik Reniers ontwikkelde theoretische modellen is het te doen. [2] Hij zet de kosten van de veiligheidsverminderende investeringen tegenover de opbrengsten van de schades die zich niet zullen hebben voorgedaan. Heel interessant.

Ad 3.

Hier komt de Tweede Wet van Asimov aan de orde.

een robot moet de door mensen gegeven orders gehoorzamen behalve wanneer die orders in strijd zijn met de Eerste Wet. [3] 

We geven het programma onze ethische keuzes mee. Hier bespreek je de keuze tussen verschillende slachtoffers: de gebruikers of de passagiers. In eerste instantie neem je het aantal passagiers in de autonome auto. Neem bij voorbeeld 8 passagiers. Je hebt het over de keuze van dood of niet. Maar die keuze zal zich niet voordoen. De auto zal wel kunnen kiezen tussen het raken van een fietser of voetganger of niet. Op raken kan letsel volgen of dood. In de praktijk zal de keuze zijn tussen het raken van een andere verkeersdeelnemer en het in gevaar brengen van de passagiers door niet tegen een andere verkeersdeelnemer te botsen maar tegen een lantaarnpaal, tegen straatmeubilair of tegen een gebouw. Bij hogere snelheden kan dat letsel toebrengen aan de passagiers. Bij jouw keuze om het aantal de doorslag te laten geven hebben 8 passagiers prioriteit boven een enkele fietser of voetganger. Hoe meer passagiers in de auto hoe groter de kans dat de passagiers er zonder botsing tegen een obstakel vanaf komen.

Bij gelijke kans kies jij voor bescherming van de voetgangers. Je zou ook het andere keuzecriterium kunnen overwegen, te weten de passagiers niet beschermen maar de andere weggebruikers. We krijgen dan andere effecten. De passagiers hebben de gevaarzettende autonome auto gekozen, dus moet het effect van de onzekerheid ook bij hun liggen. Zij waren de risicozoekenden. Wat jammer voor die achtste passagier, die als laatste instapte. Hij vertoonde risicomijdend gedrag door te wachten met instappen tot er al zeven passagiers in de auto hadden plaats genomen. Hij vertrouwde op de keuze van het grote aantal dat bescherming zou krijgen. Maar hij vergiste zich in het gekozen criterium en kwam bedrogen uit. Met dit alternatief ziet de wereld er geheel anders uit. Het voordelige effect gaat verloren.

Daarom voel zelf wel voor dat grote aantal. Het leidt tot efficiënt gebruik van die auto’s en dat is inderdaad goed voor het milieu. Gelukkig hebben we nog flink wat tijd om over een en ander na te denken en regelgeving voor te bereiden. Marc Seijlhouwer MSc schijft in De Ingenieur van juli 2019 (zie Waarom de zelfrijdende auto op zich laat wachten, Sloom autonoom, nr 7, jaargang 131, pag. 26) dat het nog wel een paar jaar zal duren. Wel geeft hij aan dat het op de snelweg mogelijk zal zijn, maar daarbuiten werkt de technologie niet of veel minder goed. Hij waarschuwt ook dat de mens een rol zal blijven houden.

Vriendelijke groet,

Oom John

Reactie van een lezer

De heer Ir. Arie Quik te Hellevoetsluis schrijft als reactie het volgende:

Beste John,

Dank voor het delen van de reactie van jouw neef.

Ik denk, dat jullie beiden nog wel een paar gedachtefouten maken.

Jullie gaan ervan uit, dat er niet voorspelbare situaties zijn, waarin in het verkeer slachtoffers moeten vallen. Wat jullie onderschatten is de kracht van AI. Het programma Alpha Zero versloeg na 24 uur met zichzelf oefenen de grootste schaakmeesters, de grootste Go-meesters en de grootste Shogi-meesters zonder ooit te hoeven spelen met een tegenstander.

Voorts is het relatief heel erg makkelijk het gedrag van mensen te beïnvloeden als je eenmaal hun patronen kent. Kijk maar eens naar het programma Mind Fuck van Victor Mids. Hij laat iemand een appel kiezen, als hij wil, dat de appel gekozen wordt. Dat doet hij door het niet bewuste brein die informatie te geven, waardoor het “fast thinking” deel van onze hersenen (zie Daniel Kahneman, Thinking Fast and Slow) allang heeft besloten om een appel te kiezen. Zo kan hij ook informatie geven waardoor het “fast thinking” deel het een goed idee vindt om niet voor de trein te springen. Of de trein weet allang, dat er iemand gaat springen en remt tijdig of, of versnelt, zodat de springer te laat komt om zich voor de trein te werpen. Kortom er zijn geweldig veel manieren, om te voorkomen, dat dit soort situaties zich voordoen.

 

Een ander vervelend punt is, dat Asimov ervan uitgaat, dat er een Eerste, Tweede en Derde wet geformuleerd worden. Dat zit er op dit moment helaas nog niet in, omdat er verschillende groepen op de wereld zijn, die hun eigen (suboptimale) doelen nastreven en niet voor de mensheid als geheel opkomen.

 

Tenslotte een klein puntje. De reistijden in het verkeer worden geheid korter, omdat er geen ongelukken meer gebeuren, de wegbezetting vele malen hoger kan, eigen voertuigen overbodig worden (er staat dus geen blik meer geparkeerd langs de weg) en je hoeft nooit een parkeerplaats te zoeken. Vergeet niet, dat de gemiddelde snelheid van verplaatsen met een auto zelden of nooit de 50 km/h haalt.

 

Mvrgr Arie

 

Rotterdam, 11 juli 2019

Mr. Ing. John van der Puil

Bestuurslid Afdeling RisicoBeheer en Techniek

Lid Programma Commissie

Op persoonlijke titel