11/10/2026 Perfil - Nota - Reportaje - Pag. 36
"Las máquinas solo deberían usarse para fortalecer la autodeterminación humana" JORGE FONTEVECCHIA Filósofa alemana, profesora de Filosofía en la Universidad de Gotinga, autora de "La inteligencia artificial y el fin del arte" y una de las principales referentes de la ética de las máquinas en su país, estuvo en Buenos Aires para el encuentro Pausar la IA, organizado por el Goethe-Institut. Sostiene que dejar que las máquinas tomen decisiones morales puede ser aceptable en algunos ámbitos y no en otros, y que si se programara para decidir sobre la vida o la muerte de las personas, debería ser -La ética de las máquinas, tal como la define en "Cuestiones fundamentales de la ética de las máquinas", no se pregunta cómo deben relacionarse los seres humanos con una tecnología, como ocurrió con la energía nuclear, sino si es posible construir máquinas capaces de tomar y ejecutar por sí mismas decisiones morales, y si deberíamos hacerlo. ¿Qué cambia en la ética como disciplina cuando la pregunta moral deja de dirigirse a quien usa un artefacto y pasa a dirigirse al artefacto mismo? -Lo particular de la ética de las máquinas es que no se pregunta si la tecnología es moralmente buena o mala, sino si las máquinas pueden tomar decisiones morales por sí mismas. Por eso a la disciplina también se la llama moral artificial, a diferencia de la moral humana. Y la ética es la disciplina que reflexiona sobre la posibilidad de una moral artificial. Es decir, cómo podemos hacerlo técnicamente, qué enfoques morales habría que implementar y, de manera todavía más general, si deberíamos hacerlo, si es correcto darles a las máquinas la capacidad de tomar, en última instancia, decisiones morales sobre los seres humanos, o si no deberíamos hacerlo en ciertos ámbitos. Ese es, en definitiva, el punto de vista que defiendo, que en ciertos ámbitos o aplicaciones está bien hacerlo, pero que en otros no deberíamos. En cierto sentido es interesante, porque hoy el tema también se discute muchas veces bajo el nombre de alineamiento de la inteligencia artificial. -Cuando analiza los dilemas de la conducción autónoma, señala que una persona al volante puede decidir según la situación concreta, mientras que el comportamiento de un sistema autónomo queda fijado de antemano, y que al programarlo restringimos nuestra propia posibilidad de apartarnos de una evaluación moral previa que, llegado el momento, ya no nos parece adecuada. ¿Cómo cambia la naturaleza de una decisión moral cuando tiene que tomarse antes de que ocurra la situación que la reclama? -La moral depende del contexto. En el fondo, ese es el núcleo de toda esta cuestión. ¿Qué significa eso exactamente? Significa que la decisión correcta depende del contexto moral y también, por ejemplo, de las relaciones morales. Una situación sería, ante un dilema de ese tipo, si uno debería sacrificarse a sí mismo o a sus propios hijos. Y obviamente sería moralmente aceptable salvarse a uno mismo o salvar a los propios hijos. Pero habría un problema al programar eso como una regla general, porque significaría que todos tendrían derecho a proteger a sus propios hijos. ¿Y qué pasa entonces con los hijos de las demás personas? Parecen tener los mismos derechos. Entonces, en realidad, no es posible formular un principio general que tenga en cuenta este tipo de dependencia del contexto. Y otra cuestión es que, si queremos programar máquinas que en definitiva decidan sobre la vida o la muerte de las personas, creo que sería el Estado el que tendría que encargarse de esa programación o decidir qué algoritmos se usan. Porque, en general, es deber del Estado proteger a sus ciudadanos, y las decisiones sobre la vida y la muerte no podrían quedar en manos de empresas privadas ni nada por el estilo. Pero ahí surge un conflicto, porque los dilemas suelen tratar de casos en los que se supone que hay que sacrificar a personas inocentes para que otras puedan sobrevivir, por ejemplo, por una cuestión de números. Y eso es un problema, porque el Estado violaría su deber de proteger a sus ciudadanos si sacrificara a personas inocentes por una razón así. Por eso creo que el Estado tendría que acordar los principios que se aplican en esas situaciones, pero no podría, en definitiva, optar por principios que impliquen sacrificar a personas inocentes. -A quienes dicen que la decisión moral no la toma la máquina sino el ser humano que la programa, usted les responde que, cuanto más avanza la inteligencia artificial, más se desdibuja esa frontera, y pone como ejemplo a AlphaGo, el programa de Google DeepMind cuyas jugadas ni sus propios desarrolladores pueden anticipar. ¿A quién pertenece una decisión moral que nadie programó de manera directa y que nadie puede prever? -Es una parte esencial de la visión más amplia que defiendo en el libro, y es que los sistemas de inteligencia artificial pueden ser agentes. Tienen capacidades de agencia, y eso es lo que los distingue de otros tipos de tecnología que no las tienen. Y esa es una de las razones por las que también sostengo que la inteligencia artificial no es una herramienta. Mucha gente dice que es una herramienta pero yo creo que no lo es, porque una herramienta depende realmente de que alguien la use con un propósito claro, y acá no es así. Entonces, ¿qué la convierte en un agente? Nosotros la programamos, y eso significa que sí le damos cierto objetivo o ciertas capacidades, pero no podemos prever ni controlar cómo se ponen en práctica esas capacidades en cada situación concreta. Y AlphaGo es un buen ejemplo, porque el sistema juega al Go mucho mejor que los programadores que lo crearon. Ellos no podrían ganarle a un gran maestro de ese juego, pero el programa sí puede, aunque nadie sabe exactamente cómo llega a tomar sus decisiones. Por ejemplo, hay una situación en la que está claro que un ser humano probablemente habría hecho otra jugada que la del sistema artificial, y esa jugada terminó siendo decisiva. Es decir, puede actuar de manera racional y orientada a un objetivo, y sus acciones son imprevisibles e incontrolables. Eso es lo que la define, a diferencia de otras tecnologías, como la energía nuclear, que por supuesto también implican riesgos. Se podría decir que no podíamos prever ciertos incidentes, ni siquiera ciertos accidentes, pero la idea sería que esos riesgos pudieran eliminarse en la mayor medida posible, o reducirse casi a cero. Y creo que con la inteligencia artificial es distinto, porque eso es justamente lo que queremos de ella, que haga por nosotros cosas que no podemos hacer, que resuelva problemas que no podemos resolver por nuestra cuenta, y eso implica esas cualidades de agente. Eso es lo que la diferencia de otras tecnologías y de las herramientas. -Su concepción de la ética aplicada no consiste en deducir principios morales generales para aplicarlos a cada ámbito, sino en movilizar intuiciones morales y argumentos propios de cada contexto, algo que, según escribe, tiene la ventaja de evitar el desacuerdo de fondo sobre cuál es la teoría moral correcta. ¿Cómo se traslada ese modo de razonar, atento a cada contexto, a la construcción de una máquina moral? -En general, adheriría a una posición que se le atribuye a John Rawls, el filósofo estadounidense, teórico de la justicia, que por un lado parte de las intuiciones morales, pero también intenta derivar de ellas principios más generales, buscando un equilibrio entre esas intuiciones y esos principios. Así que creo que, para hacer ética, sí necesitamos cierto nivel de abstracción o de generalidad. Hay varias posibilidades prácticas para implementar eso en las máquinas morales. Una posibilidad sería un enfoque basado en casos, usar datos sobre decisiones morales que tomaron seres humanos y alimentar a la máquina con ellos. La máquina, en definitiva, intenta derivar nuevas decisiones a partir de ese conjunto de datos, generalizando en cierto sentido. En el engaño realmente creemos que algo es así. Ese es el núcleo del engaño. Por ejemplo, si alguien me engaña haciéndome creer que es mi amigo, diríamos: "Yo realmente creo que esta persona es mi amiga", pero no es así. En cambio, en la ilusión sabemos que no es así, pero aun así tenemos, en el caso de la empatía, un sentimiento correspondiente. Muchas veces uso la ilusión de Müller-Lyer para explicarlo. Es una ilusión óptica. Tenemos dos flechas, una con las puntas orientadas hacia un lado y la otra con las puntas hacia el otro lado. Las dos flechas tienen el mismo largo, pero, según hacia dónde apunten las puntas, se percibe una diferencia de largo. No es una diferencia real. Simplemente uno la percibe así. Y aunque uno sepa que tienen el mismo largo, las sigue viendo como si tuvieran distinto largo. Eso es lo que quiero decir con ilusión. Lo sabemos, pero igual reaccionamos de la misma manera, y creo que eso también pasa con la empatía. Sabemos que los robots no tienen sentimientos o que no sienten dolor, por ejemplo, pero igual tenemos ese sentimiento empático, porque el sistema del dolor no distingue entre esos estímulos. -Usted cuenta que una serie sueca sobre robots humanoides la llevó a repensar su explicación del valle inquietante, la idea del ingeniero japonés Masahiro Mori según la cual los robots casi idénticos a un ser humano nos producen rechazo: en la serie, el robot que cuida a un hombre mayor despierta ese rechazo y, sin embargo, también despierta empatía. ¿Qué le mostró ese personaje sobre la relación entre el rechazo y la empatía? -La idea original de Mori (N. del E.: Masahiro Mori, ingeniero japonés en robótica que formuló en 1970 la hipótesis del valle inquietante) se planteaba muchas veces en términos de empatía, algo así como cuanto más parecido al ser humano se vuelve un estímulo o un artefacto, más empatía provoca. Y eso traza una curva, hasta cierto punto. Cuando esos artefactos se vuelven muy parecidos a los humanos, aparece ese valle, la curva se quiebra y la gente, en lugar de reaccionar con empatía, empieza a reaccionar con una sensación de inquietud. Y durante mucho tiempo pensé: "Eso suena razonable". Pero hay un personaje de la serie sueca Real Humans que creo que es claramente inquietante en algún sentido. Es Odi, que cuida a una persona mayor, y en la serie todavía es un modelo bastante simple, que tiene ciertos defectos, por ejemplo en los gestos o expresiones faciales que, en algún sentido, resultan un poco inadecuadas. Y creo que eso es lo que uno siente claramente como inquietante. Entonces, el personaje, o el robot, cae en el valle inquietante. Pero, por otro lado, cuando a este robot lo venden como esclavo sexual, creo que empezamos a sentir empatía a pesar de esa inquietud. Y esa fue la razón por la que, de manera experimental, pensé que en realidad tenemos que separar estos dos aspectos, la empatía y la inquietud. Es decir, sí, existe ese punto en el que los robots caen en el valle inquietante, pero no es correcto plantearlo en términos de empatía, porque igual pueden despertar empatía. -En "La inteligencia artificial y el fin del arte", usted distingue entre el artista que usa la inteligencia artificial como una herramienta más y los productos artísticos que generan los programas casi sin intervención humana. ¿Qué distingue a una obra de arte de un producto artístico generado por un programa? -Como estamos hablando de los tres libros, quizás sea interesante decir algo sobre la manera en que se relacionan entre sí. Porque creo que, en cierto sentido, son independientes, es decir, se puede leer cada uno por separado, pero juntos forman una visión más amplia, un panorama más completo. Y la pregunta que me interesaba en todos los casos era si la inteligencia artificial puede hacer ciertas cosas que muchas veces se consideraron propias del ser humano. En el primer caso se trataba de la toma de decisiones morales, y creo que mi respuesta fue una posición equilibrada, y sí, en un sentido funcional las máquinas pueden tomar decisiones morales, pero no son agentes morales plenos y no tienen ningún derecho moral. En el segundo libro se trataba de la empatía, también como raíz de la moral y como una de las raíces, al menos, del estatus moral y de las obligaciones morales. Y en ese sentido mi respuesta fue más negativa, al decir que los sistemas artificiales pueden reconocer emociones, pero no pueden sentirlas, al menos en el estado actual de la técnica. Pero sí pueden despertar emociones en nosotros, es decir, nosotros reaccionamos emocionalmente ante ellas, y esa es también una asimetría éticamente relevante, porque nos vuelve manipulables por estas máquinas. Pueden manipular nuestros sentimientos o, más bien, las personas que las programan, que las venden y demás pueden, en definitiva, manipularnos. Y el tercero era sobre el arte, y también me interesaba saber si hay un factor genuinamente humano en el arte, o si la inteligencia artificial puede generar arte, si puede ser verdaderamente artística. Lo que me interesaba principalmente, como usted ya señaló, no era el arte asistido por inteligencia artificial. Creo que eso no está en discusión. Por supuesto, las personas pueden usar la inteligencia artificial para hacer arte, como herramienta, como apoyo. Pero ¿puede la inteligencia artificial generar arte de verdad? ¿Puede existir un arte generado por inteligencia artificial en el que el logro artístico le corresponda a la inteligencia artificial? Y ahí mi respuesta es negativa. Una manera de llegar a eso es preguntarse cuáles son los criterios, ¿cómo podemos decidir si una máquina puede crear arte o no? Uno de los criterios que se propusieron fue el llamado test de Turing estético. El test de Turing original lo desarrolló Turing ya en los años cincuenta, y él decía, más o menos: "Queremos saber si las máquinas pueden pensar, y les propongo un criterio suficiente para resolver esta cuestión". Pongamos a un ser humano de un lado de una pantalla y a una computadora del otro, que mantienen una conversación, todavía por escrito, y si la computadora logra hacerle creer a la persona que es un ser humano, entonces la computadora pasó el test de Turing, lo que alcanza para atribuirle la capacidad de pensar. Y la idea era aplicar esto al arte y decir: tenemos un artefacto, y si un ser humano piensa que es una obra de arte, entonces el sistema artificial pasó el test de Turing. Y, de hecho, el test de Turing estético se superó bastante temprano, ya en los años sesenta, como lo muestra un trabajo de Michael Noll. Noll tiene una relación particular conmigo, aunque no lo conozco personalmente, en Stuttgart ocupé la cátedra que había sido de Max Bense, con otra persona en el medio. Max Bense fue un filósofo que en su momento fue realmente un pionero de la estética computacional, y tenía todo un grupo de personas trabajando en estos temas, y Michael Noll era uno de ellos. Él tomó un dibujo de Piet Mondrian, Composición con líneas, y escribió un programa capaz de producir imágenes al estilo de esa obra. Después les mostró los resultados a cien personas, y la mayoría no fue capaz de distinguirlos correctamente, es decir, de identificar cuál había hecho la computadora y cuál era el dibujo de Mondrian. Y, además, más personas prefirieron la imagen generada por la computadora antes que la de Mondrian. Entonces, ¿qué nos dice eso? Hay algo raro, porque en esa época las computadoras estaban muy lejos de las capacidades que tiene hoy la inteligencia artificial. Eran bastante simples y todavía ocupaban una habitación entera. Es un poco extraño que el test de Turing estético ya se haya superado en esa época. Y creo que eso nos dice más bien algo sobre nuestra propia tendencia a antropomorfizar, que también es relevante en la empatía con los sistemas de inteligencia artificial. Porque creo que hay una cuestión más general, solemos tratar lo que parece humano, lo que se comporta como un humano o lo que parece hecho por un humano como si fuera humano o como si lo hubiera hecho un humano. Y eso también vale para los artefactos que parecen obras de arte. Eso ya es extraño. Lo otro es que, si miramos los últimos cien años de historia o de teoría del arte, queda bastante claro que la idea de que podemos distinguir el arte por su apariencia externa es realmente ingenua y está superada. Ya en 1917 Marcel Duchamp tomó un mingitorio y lo puso en un museo. Lo firmó como R. Mutt, pero era un mingitorio común y corriente. Otro ejemplo es la Brillo Box de Andy Warhol, una obra de arte muy famosa en la que Warhol reprodujo la apariencia externa de las cajas de esponjas jabonosas de la marca Brillo, que en esa época se compraban en cualquier supermercado, y las apiló como si estuvieran en un depósito. Así que creo que uno de los sentidos de estas obras es mostrar que las obras de arte no pueden distinguirse de lo que no es arte por su apariencia externa o manifiesta, y eso es exactamente lo que intenta hacer el test de Turing. Por eso ya resulta bastante evidente que el test de Turing no puede funcionar para las obras de arte. Pero creo que es interesante, porque las obras generadas por inteligencia artificial dan vuelta la situación: en los readymades de Warhol y en la Fuente de Duchamp tenemos obras de arte que parecen objetos comunes. En cambio, en el arte generado por inteligencia artificial tenemos cosas que parecen obras de arte, pero que en realidad no lo son, y por eso las llamo fake art. -En su libro "Inteligencia artificial y empatía" distingue entre simular la empatía y tenerla, y considera que tener empatía es indispensable para el comportamiento moral. ¿Por qué la diferencia entre simular una emoción y sentirla tiene consecuencias morales? ¿Qué diferencia hay entre conmoverse con un personaje que sabemos inventado y conmoverse con una máquina que tenemos enfrente? -Creo que hay algunas similitudes, es cierto. Pero la diferencia principal es que los sistemas artificiales son lo que se llama artefactos relacionales. Es decir, pueden iniciar un comportamiento por sí mismos, pueden reaccionar al comportamiento del usuario y también pueden, al menos, simular que tienen ciertos estados mentales. Si tu inteligencia artificial te dice: "Entiendo cómo te sentís", está simulando un determinado estado mental. Y, al menos en el caso de los robots, hay otra diferencia, que es que compartimos un espacio físico. En la ficción, creo que no pasa nada de esto. Los personajes de ficción no son, en cierto sentido, proactivos, porque siguen un guion, ya sea en el cine, en el teatro o en las novelas. Expresan ciertos motivos, pero está claro que no son personajes de ficción, y no tenemos realmente la impresión de estar interactuando nosotros mismos con un personaje así. Tampoco reacciona a nada de lo que hacemos: la historia se desarrolla de una manera o de otra independientemente de lo que hagamos nosotros. Y en muchos casos no compartimos un espacio físico. El teatro sería un caso en el que sí lo compartimos, pero los otros criterios siguen valiendo. Así que creo que esas son las diferencias principales. -La empatía que sentimos por los robots no es, en su planteo, un engaño sino una ilusión: sabemos que el robot no siente y, sin embargo, reaccionamos ante él con empatía. ¿Qué dice esa ilusión sobre cómo funciona nuestra propia empatía? -Quizás empiezo por la definición de empatía, porque tal vez no a todo el mundo le queda claro por qué no puede haber una empatía genuina. Tengo tres criterios con los que definí la empatía, que son necesarios cada uno por separado y suficientes en conjunto. El primer criterio es que tiene que haber una congruencia de sentimientos. Es decir, yo, como quien siente empatía, tengo que sentir lo mismo que siente la persona hacia la que dirijo mi empatía. Entonces, ¿qué significa "lo mismo"? No tenemos el mismo sentimiento en un sentido individual. No es exactamente el mismo caso particular, sino el mismo tipo de sentimiento. Por ejemplo, la empatía con el dolor: si empatizamos con alguien que siente dolor, tenemos un sentimiento congruente. Pero ahí entra la segunda condición, hay una asimetría. Tenemos ese sentimiento porque la otra persona lo tiene, y ese sentimiento es más adecuado a la situación de la otra persona. En la empatía con el dolor, por ejemplo, yo no estoy experimentando ese estímulo doloroso en carne propia, sino que lo siento de manera empática, como una copia. Y la tercera condición es la conciencia del otro: soy consciente de que ese no es realmente mi propio sentimiento, sino el sentimiento de la otra persona. Y creo que la fortaleza de esta definición es que nos permite distinguir la empatía de otros sentimientos relacionados, por ejemplo, de la comprensión racional de los sentimientos. Si entiendo racionalmente lo que usted siente, no tengo por qué tener un sentimiento congruente. Simplemente puedo generalizar, por ejemplo, que la gente se enoja si le robás algo. Otro ejemplo, que se acerca más a la empatía, sería el contagio emocional. Es lo que pasa cuando los chicos pequeños escuchan llorar a un bebé o a otro nene, y ellos también se ponen a llorar. En ese sentido creo que se acerca, porque hay una congruencia de sentimientos. Se experimenta el dolor, pero el niño pequeño no tiene conciencia del otro, no se da cuenta de que ese sentimiento no es suyo, sino de la otra persona. Y también hay una diferencia con la compasión. En la compasión nos preocupamos por el bienestar de otra persona, pero no hay congruencia de sentimientos. Por ejemplo, si sentimos compasión por una amiga que le donó toda su fortuna a un gurú, puede que nos preocupe su bienestar, pero no compartimos en absoluto su entusiasmo en ese gurú. Esa es la fortaleza de esta definición. Pero también deja claro por qué los sistemas artificiales no pueden sentir empatía, porque no pueden tener sentimientos, al menos en el estado actual de la técnica. No pueden sentir nada y, por eso, no puede haber empatía genuina. Tampoco puede haber conciencia del otro, porque no hay conciencia. -Aunque los robots no tienen derechos morales, usted considera que maltratarlos no es moralmente indiferente, porque daña nuestra propia capacidad de empatía, que tenemos el deber de cultivar. El argumento sigue la estructura del que Kant formuló sobre los animales. ¿Qué tipo de obligación moral nace frente a algo que no tiene derechos? -En primer lugar, digo que es un argumento indirecto a favor de la relevancia moral de nuestro comportamiento hacia los robots. "Indirecto" significa que no proviene del estatus moral de los propios robots, sino solo de los efectos que tienen sobre nosotros. En cambio, un argumento moral directo dependería del estatus moral de una persona, por ejemplo, como decía Kant, de la dignidad de una persona, que es la que da origen a ciertas obligaciones morales que uno tiene. Eso no ocurre en el caso de los robots. Es un argumento indirecto, que depende de los efectos que el maltrato a un robot tiene sobre nosotros, sobre nuestras propias capacidades morales. Y creo que la empatía es una de las fuentes de la moral. No es la única fuente, pero es una de las fuentes centrales y fundamentales de la moral. En el argumento trato de mostrar que el maltrato a los robots socava nuestra capacidad de juicio moral, nuestra motivación moral y el desarrollo moral de los niños. Y quizás un camino para pasar de la definición de empatía a este argumento sea preguntarse por qué actuamos con empatía hacia los robots, en primer lugar. Creo que la razón tiene que ver con nuestro sistema de empatía, al menos con la empatía perceptiva, que no consiste en ponerse en el lugar del otro: a veces sentimos empatía simplemente porque percibimos una determinada situación. Y creo que la empatía con el dolor es un caso muy claro. Si vemos que alguien está siendo maltratado, sentimos empatía. O, por supuesto, también en otros casos. Pensemos en un niño. Si vemos que un niño toca una hornalla caliente, sentimos empatía, porque sabemos que ese estímulo es doloroso. Vemos al niño retirar la mano y vemos su cara contraída por el dolor. Y creo que esos estímulos nos provocan empatía. Pero el sistema de empatía perceptiva no distingue entre los estímulos humanos y ciertos estímulos de robots que se parecen a los humanos en algunos aspectos fundamentales. Una explicación de la empatía con el dolor, por ejemplo, es que activa el sistema de neuronas espejo en el cerebro. Es decir, empiezan a activarse las mismas neuronas que se activarían si uno mismo sintiera dolor. Esa sería, por así decirlo, la explicación más de "hardware" de cómo funciona la empatía, en este caso la empatía perceptiva, como un fenómeno de resonancia. Y eso también funciona con los robots. Creo que no hay manera de limitar el sistema de empatía perceptiva de forma tal que reaccione solo a los estímulos humanos y deje de reaccionar a los estímulos de los robots. Y de ahí viene el peligro de que, si empezamos a maltratar a los robots de manera habitual, nuestra capacidad de sentir empatía quede debilitada. Si empezamos a tomar distancia, por ejemplo, si intentamos apagar nuestras reacciones empáticas, creo que eso también va a ocurrir en otros casos, con seres humanos. Y esa es la razón por la que la empatía se ve dañada si no reaccionamos ante ella como corresponde, es decir, deteniendo el maltrato al robot o incluso ayudando al robot, ayudando a quien lo necesita en esos casos. Y la empatía es fundamental para el juicio moral, porque creo que es la raíz. Empezamos a sentir que el dolor es malo. Lo sentimos en nosotros mismos cuando nos duele algo, pero también lo sentimos cuando sentimos dolor de manera empática. Sigue siendo una sensación mala. Y creo que eso es la raíz del juicio de que sentir dolor es malo. Eso se generaliza en algún momento, hasta decir: "No deberíamos causarles dolor a otras personas". Por supuesto, intervienen otros aspectos. Por ejemplo, puede que tengamos que causar dolor por buenas razones, pero la idea sería no infligir dolor sin una buena razón. Por eso creo que la empatía está en la raíz del punto de vista moral, para entender esto y también para aplicarlo a los sentimientos de otras personas, no solo a los míos. La motivación moral es el otro aspecto. El hecho de que el dolor se sienta mal también nos motiva a detenerlo, en nuestro propio caso, pero también cuando se trata de un dolor empático. Y creo que esta motivación, por ciertas razones etiológicas, también es más fuerte cuando se trata de dejar de causar dolor nosotros mismos que cuando se trata de ayudar a otras personas. Creo que esa es una motivación menos intensa, más débil. Estas son las dos cuestiones centrales, el juicio moral y la motivación moral. Y después está el desarrollo moral. Creo que ahí se trata de cómo los niños aprenden el juicio moral y la motivación moral, y la empatía también cumple un papel fundamental en eso, de modo que el argumento ya vale para los adultos, pero quizás sea todavía más fuerte en el caso de los niños, porque ellos todavía están desarrollando esas capacidades, y no deberíamos impedirles que desarrollen sus capacidades morales. Es decir, es una especie de deber moral desarrollar nuestras capacidades morales y cuidarlas. Y quizás haya un punto interesante, porque usted lo señaló en relación con la distinción entre engaño e ilusión. Creo que el problema, y eso es lo que estamos viendo con la inteligencia artificial y con la manera en que funciona ahora mismo, es que el nivel de imprevisibilidad es bastante alto en este tipo de tecnología, o en esta forma de implementarla. Por eso, una manera quizás más restringida sería un enfoque clásico, que intenta partir de principios morales y hacer que la máquina los aplique a situaciones concretas. Ahí aparece el problema de que hay que salvar la distancia entre el principio moral general y la situación concreta. Y yo lo propongo, pero para un ámbito de aplicación muy específico. Me interesaba pensar cómo podríamos diseñar un sistema artificial que pudiera ser útil para el cuidado de personas mayores, para ayudar a que la gente pueda quedarse más tiempo en su casa, y la idea era que un sistema así iba a enfrentarse a situaciones moralmente relevantes. Por ejemplo, una situación muy simple y básica sería recordarle a la persona que tome sus medicamentos. Quizás algunas personas quieren que se lo recuerden muy seguido, y otras no quieren que se lo recuerden tanto, porque les parece paternalista. O, en otra situación, si alguien no se mueve durante un tiempo dentro de su departamento, ¿el sistema debería dar una alarma a algún tipo de servicio de atención médica, a los familiares o a quien sea? Y, otra vez, hay personas que valoran muchísimo su privacidad, y eso no les gustaría para nada. Otras personas priorizan la seguridad y prefieren no correr ningún riesgo, así que el sistema debería funcionar, más bien, con un control permanente. Y entonces la idea era cómo podíamos tener en cuenta esas diferencias morales, esas diferencias en la manera en que cada persona evalúa moralmente ciertas situaciones. Diría que parece haber cierto margen de diferencias, y que deberíamos tenerlas en cuenta. Pero también tendríamos que equilibrarlas con el nivel más general que mencioné antes, y por eso intenté clasificar ciertos tipos de valores y ciertos niveles que pueden alcanzarse en las decisiones individuales. Pensemos, por ejemplo, en la privacidad. Hay un abanico de opciones de privacidad entre alta prioridad o baja prioridad, pero probablemente no sin ninguna prioridad. Es decir, un sistema sin ninguna privacidad no parece ser realmente admisible desde el punto de vista moral, o no parece moralmente bueno. Así que la idea era equilibrar esas diferencias individuales, pero también alcanzar ese nivel general, o cierto marco, distinguiendo los valores que son importantes en el ámbito del cuidado de personas mayores en general. Y ese es, desde mi punto de vista, el enfoque que tiene sentido: no hacer ética de las máquinas para todo el campo de las decisiones, sino para ciertos campos de aplicación bien determinados, ya sea la conducción autónoma, el cuidado de personas mayores u otros. -Escribió que la moral humana está fragmentada y es en parte contradictoria, y que construir sistemas artificiales con capacidades morales obliga a unificarla y volverla coherente, lo que podría ser incluso un avance para la ética como teoría. ¿Qué pasa con los matices y las tensiones de nuestra vida moral cuando tienen que traducirse a un sistema que solo puede operar sobre la base de la coherencia? -Eso forma parte de los intereses más teóricos de este proyecto de la ética de las máquinas, porque, por un lado, está el interés práctico, es decir, cuanto más autónomas e inteligentes se vuelven las máquinas, más urgente es la necesidad de que tomen decisiones morales. O, dicho al revés, van a enfrentarse a decisiones morales, y esas decisiones pueden ser más deliberadas, como en la conducción autónoma, donde la idea es que, si queremos hacerlo, tenemos que desarrollar máquinas que puedan tomar ese tipo de decisiones. Pero las máquinas también pueden verse involucradas en situaciones moralmente relevantes de manera no intencional. Pensemos, por ejemplo, en los sistemas de inteligencia artificial que evalúan postulaciones laborales. A veces estos sistemas terminan discriminando, aunque nadie haya tenido realmente la intención de que fueran discriminatorios. Es un efecto de los datos y de los algoritmos que usan, pero fue un efecto no buscado. Ese es otro caso en el que las máquinas pueden verse en situaciones moralmente relevantes, pero de manera no buscada. Ese es el interés práctico. En cuanto al interés más teórico del que usted hablaba, si hacemos moral artificial o ética de las máquinas, una de las motivaciones es también: ¿no podemos aprender algo sobre la moral humana? Una idea es que, en definitiva, la mente humana también es algo parecido a una computadora, de modo que si podemos modelar la toma de decisiones morales en sistemas artificiales, quizás también podamos aprender algo sobre cómo lo hacen los seres humanos. La otra idea tiene que ver con más con la teoría ética en sí misma, ¿no sería un incentivo para volver más coherentes las teorías éticas, para eliminar contradicciones y cosas por el estilo? Por un lado, eso parece una virtud teórica, y creo que es algo a lo que aspiramos en general cuando construimos teorías en ética, pero también en otros campos. Pero, por otro lado, también hay cierto peligro, sobre todo en la moral, que por buscar coherencia se eliminen los casos difíciles, aunque quizás esos casos planteen, en definitiva, verdaderos desafíos morales. Ese es el otro lado de la cuestión. Así que es una moneda de dos caras, por razones de coherencia, uno podría decidir no tener en cuenta ciertos casos que no encajan en su teoría. Y después, por supuesto, están las limitaciones técnicas, porque, más allá de la coherencia teórica, tenemos que implementarlo, y ese es otro nivel en el que se produce cierta pérdida de información, porque nos vemos obligados a descomponer estas teorías éticas y estos desafíos en elementos que realmente podamos programar, o que podamos usar para entrenar a las máquinas con datos y desarrollar esa capacidad de tomar decisiones morales. -Según una idea que viene de Immanuel Kant, la capacidad de actuar moralmente es la raíz de la dignidad humana, y de ahí se desprende que, al delegar decisiones morales en las máquinas, podríamos estar renunciando a lo que nos define como seres humanos. Usted sostiene que esa objeción no invalida la ética de las máquinas, pero sí orienta cómo deberían diseñarse. ¿Cómo debería reflejarse esa idea de dignidad en el diseño de una máquina moral? -A primera vista, uno podría pensar que la idea kantiana va realmente en contra de todo el proyecto de la ética de las máquinas, porque diría: "Si las máquinas pueden tomar decisiones morales, entonces tendrían una especie de dignidad, del mismo modo que la tienen los seres humanos". Creo que eso es un malentendido. Y otra posición importante que defiendo en el libro es que la agencia es una cuestión de dimensiones y de grados. Creo, por ejemplo, que una rana también es un agente. No es un agente humano y le faltan ciertas capacidades, pero es un agente. Los sistemas artificiales también son agentes, aunque no en el sentido humano pleno, y también son agentes morales, pero en un sentido muy limitado, en un sentido funcional. Es decir, en el mejor de los casos pueden procesar información moral, pueden detectar información moralmente relevante y procesarla. Pero no son agentes morales plenos en el sentido humano, es decir, no pueden fijarse sus propios fines, que para Kant es el criterio para ser un agente moral, que uno mismo pueda determinar los fines que quiere perseguir. Y eso le da un valor especial, incondicional, porque uno no es simplemente un medio para un fin, sino un fin en sí mismo. Y creo que eso es lo que las máquinas no pueden hacer. No pueden fijarse sus propios fines y no son fines en sí mismas, y esa es una de las razones por las que no son agentes morales plenos. Son solo agentes morales funcionales, por eso tampoco tienen dignidad en el sentido en que la tienen los seres humanos, ni tienen un estatus moral directo ni derechos morales. Pero ¿cómo podemos hacer realidad la dignidad en estas decisiones? En definitiva, depende, en primer lugar, de los principios morales o de los valores que intentemos implementar. Y, por otro lado, creo que depende del uso que hagamos de estas máquinas y de la manera en que se distribuye la responsabilidad. Yo defiendo tres principios de la ética de las máquinas, a los que con el tiempo agregué un cuarto. El primer principio dice que las máquinas solo deberían usarse para fortalecer la autodeterminación humana. Es decir, no deberían usarse para reemplazar la autodeterminación de las personas ni para manipular a los seres humanos. Deberían usarse para darles más capacidades y, en definitiva, más libertad. El segundo es que las máquinas no deberían usarse en situaciones en las que se trate de decisiones sobre la vida y la muerte de seres humanos, porque creo que sería una especie de ofensa contra la dignidad de las personas que dejemos que una máquina decida si esta persona va a vivir o si va a morir, porque es una forma de instrumentalización. En una decisión así, uno convierte a una persona en un objeto sobre el que decide una máquina, y esa persona no tiene nada que decir en esa decisión. El tercer punto está relacionado y dice que tiene que haber un ser humano que asuma la responsabilidad por las decisiones, y eso es algo que puede verse bien, por ejemplo, en los casos de discriminación. Uno podría decir: "Quizás se podrían usar sistemas artificiales para evaluar postulaciones laborales". Pero, en definitiva, tendría que haber un ser humano que pueda tener en cuenta las consideraciones sobre la discriminación. Supongamos que alguien se postuló para un trabajo y tiene la sensación de que lo discriminaron. Entonces tendría que existir la posibilidad de presentar una objeción y decir: "Acá hubo discriminación". Y eso requiere de un ser humano que pueda asumir la responsabilidad, que pueda reconstruir cómo se llegó a esa decisión o, en definitiva, corregirla si realmente se trató de un caso de discriminación. Y eso es, por supuesto, algo que también deriva de la dignidad humana. El cuarto principio lo agregué, en realidad, a partir de otro libro, el libro sobre la empatía y la inteligencia artificial, porque me di cuenta de que los principios de la ética de LA ÉTICA DE LAS MÁQUINAS. "Lo particular de la ética de las máquinas es que no se pregunta si la tecnología es moralmente buena o mala, sino si las máquinas pueden tomar decisiones morales por sí mismas". LA IA Y EL FIN DEL ARTE. "Me interesaba saber si hay un factor genuinamente humano en el arte, o si la inteligencia artificial puede generar arte, si puede ser verdaderamente artística". IA Y EMPATÍA. "Los sistemas artificiales pueden reconocer emociones, pero no pueden sentirlas, al menos en el estado actual de la técnica. Pero sí pueden despertar emociones en nosotros". "Las decisiones sobre la vida y la muerte no podrían quedar en manos de empresas privadas." "El uso de la IA como compañía me preocupa porque no hace más que simular relaciones sociales." "Hay que salvar la distancia entre el principio moral general y la situación concreta." "Hay que hacer ética de las máquinas para campos bien determinados, no para todas las decisiones." Los sistemas artificiales son agentes morales, pero solo en un sentido funcional. Menciones: Catrin Misselhorn, Universidad de Gotinga, Buenos Aires, Goethe-Institut, Jorge Fontevecchia, AlphaGo, Google DeepMind, John Rawls, Masahiro Mori, Odie, Real Humans, Marcel Duchamp, R. Mutt, Andy Warhol, Michael Noll, Max Bense, Piet Mondrian, Alan Turing, Hi, AI, Chuck, Immanuel Kant, Sol Bacigalupo
 
 
 
 |
||
   |
