Un jurado de Florida ha condenado Tesla a pagar 243 millones de dólares por la muerte de Naibel Benavides el 25 de abril del 2019. Ha sido declarada un 33% culpable de la muerte de la chica de 22 años. Aquel día George McGee conducía su Tesla Modelo S con el autopiloto puesto. Cuando se aproximaba a un cruce le cayó el móvil y se allanó para recogerlo mientras mantenía el pie al acelerador. El vehículo picó contra un SUV que estaba aparcado correctamente, mató la chica e hirió su novio. El Tesla iba además de 80 km/h. Los abogados de Tesla argumentan que el pie al acelerador impidió que el autopiloto evitara el choque. A banda, el manual está claro cuando dice que “es responsabilidad del conductor, estar alerta, conducir con seguridad y controlar el vehículo”. En el caso del Sr. McGee: cero de tres. Aun así, el jurado lo ha declarado culpable solo en un 66%.
En el momento del accidente el conductor no estaba mirando la carretera ni tenía las manos al volante. Recordamos que estaba atareado buscando el móvil. Aun así, el autopiloto permitió que, sin “estar alerta, conducir con seguridad y controlar el vehículo”, pasara un cruce además de 80 km/h. Otros fabricantes utilizan cámaras que controlan si el conductor está mirando la carretera y emiten un aviso.

La razón de carácter psicológico es más sutil y a la vez más profunda. Autopiloto se puede traducir por piloto automático, un término connotado y qué puerta a un equívoco. Los demandantes acusaron Tesla de “desinformar” con videos trucados y con afirmaciones engañosas, como que “nuestro sistema de conducción es más seguro que un humano”. Todo esto hace que el conductor de un Tesla, cuando té el autopiloto puesto, tenga una falsa sensación de seguridad que el puerta a bajar la guardia; a medida que el coche toma decisiones acertadas, aumenta la confianza que la próxima también lo será. Hasta que no lo es.

La Sociedad de Ingenieros de Automoción (SAE) define seis niveles de automatización de la conducción, que van del 0 –sin automatización– a la automatización total del nivel 5. Las campañas de Tesla, las promesas incumplidas de Musk y el mismo nombre de autopiloto nos sitúan de manera velada al nivel 5 de automatización, y no: los Tesla tienen nivel 3. Este decalaje entre capacidades reales de un sistema y su percepción lleva a la falsa sensación de seguridad.

Pero esto no es exclusivo de los Tesla. Ni siquiera de los automóviles. estamos expuestos siempre que usamos un sistema de predicción basado en IA como ChatGPT, Copiloto, Claude o el autopiloto. Cuando nos asiste en la investigación, la escritura de código de programación o en simulaciones financieras, no podemos estar nunca seguros de si podemos estar seguros. Y esto nos hace un 66% responsables de las consecuencias negativas. - Josep María Ganyet.