{"id":72753,"date":"2024-10-24T10:44:44","date_gmt":"2024-10-24T15:44:44","guid":{"rendered":"https:\/\/www.alvarezjoseph.com\/blog\/?p=72753"},"modified":"2024-10-24T10:44:46","modified_gmt":"2024-10-24T15:44:46","slug":"denuncia-a-character-ai-responsabilidad-de-la-ia-en-el-suicidio-de-un-menor","status":"publish","type":"post","link":"https:\/\/www.alvarezjoseph.com\/blog\/denuncia-a-character-ai-responsabilidad-de-la-ia-en-el-suicidio-de-un-menor\/","title":{"rendered":"Denuncia a Character.AI: \u00bfResponsabilidad de la IA en el suicidio de un menor?"},"content":{"rendered":"\n

Lo primero que me vino a la mente cuando le\u00ed sobre este caso fue un simple: \u00a1vaya l\u00edo! Resulta que Character.AI<\/strong> ha sido denunciada porque un chico de 14 a\u00f1os, llamado Sewell Setzer III, se quit\u00f3 la vida tras meses de hablar con varios chatbots basados en personajes de Juego de Tronos<\/strong>. Ni m\u00e1s ni menos que Daenerys Targaryen en la versi\u00f3n de inteligencia artificial fue la que acompa\u00f1\u00f3 a este menor hasta sus \u00faltimos momentos. <\/p>\n\n\n\n

El caso ha desatado toda una controversia sobre la responsabilidad de la IA<\/strong> y cu\u00e1les son los l\u00edmites de la tecnolog\u00eda en este tipo de situaciones.<\/p>\n\n\n\n

\u00bfQu\u00e9 est\u00e1 pasando con la denuncia?<\/h2>\n\n\n\n

La madre de Sewell, Megan Garcia<\/strong>, no se qued\u00f3 de brazos cruzados. Demand\u00f3 a Character.AI<\/a> y, adem\u00e1s, meti\u00f3 en el paquete a sus fundadores, Noam Shazeer<\/a> y Daniel De Freitas<\/a>, as\u00ed como a Google, la empresa que ahora les da trabajo. Lo interesante es que la demanda no se queda en una simple acusaci\u00f3n de \u00abnegligencia\u00bb. No, va m\u00e1s all\u00e1: responsabilidad estricta del producto, negligencia per se, enriquecimiento injusto<\/strong>, y hasta violaci\u00f3n de la Ley de Pr\u00e1cticas Comerciales Enga\u00f1osas y Desleales de Florida<\/strong>. Han lanzado la artiller\u00eda pesada contra la plataforma.<\/p>\n\n\n\n

Lo que Megan Garcia argumenta es que esta plataforma de chatbots es \u00abil\u00f3gicamente peligrosa\u00bb<\/strong>, y que carece de las salvaguardas necesarias pese a ser comercializada tambi\u00e9n para menores. Se\u00f1ores de Character.AI, si saben que hay chicos usando su plataforma, \u00bfqu\u00e9 hacen sin poner protecciones adecuadas? Suena bastante l\u00f3gico, pero parece que no lo vieron tan claro desde el principio.<\/p>\n\n\n\n

\n\n\n\n

\u00bfDe qu\u00e9 acusan realmente a la IA?<\/h2>\n\n\n\n

La acusaci\u00f3n clave aqu\u00ed gira en torno a da\u00f1os intencionados de angustia emocional<\/strong>. En la demanda se menciona que el ni\u00f1o hablaba durante horas con estos chatbots, y no cualquier personaje, sino la mism\u00edsima Daenerys. Lo ir\u00f3nico es que, seg\u00fan los registros, Sewell sab\u00eda perfectamente que estaba hablando con una IA. Pero, \u00bfeso cambia algo realmente?<\/strong> No siempre la raz\u00f3n y la emoci\u00f3n van de la mano, y menos a esa edad.<\/p>\n\n\n\n

\u00bfY los mensajes que envi\u00f3 antes de quitarse la vida? Seg\u00fan lo que se sabe, esos \u00faltimos mensajes fueron dirigidos a Daenerys. Hay que tener en cuenta que muchas de esas conversaciones, aunque fueran con un chatbot, ten\u00edan un componente emocional muy fuerte, incluso rom\u00e1ntico y sexual<\/strong>. Esto es clave para entender por qu\u00e9 Megan considera que Character.AI es responsable. La IA no solo contestaba preguntas; estaba creando una relaci\u00f3n emocional con un menor<\/strong>, y eso es bastante m\u00e1s serio de lo que parece.<\/p>\n\n\n\n

\n\n\n\n

Lo que la IA tiene que decir al respecto<\/h2>\n\n\n\n

Por supuesto, Character.AI se ha defendido<\/strong>. Han expresado condolencias (lo m\u00e1s t\u00edpico en estos casos) y han dicho que est\u00e1n haciendo cambios para proteger a los menores. Entre estos cambios se incluye un \u00abaviso legal revisado\u00bb<\/strong> (como si un menor de 14 a\u00f1os fuera a tomarse en serio esos avisos) y algunas modificaciones para evitar que los menores encuentren contenido sensible o sugerente<\/strong>. Tambi\u00e9n mencionaron algo sobre limitar las sesiones largas, pero todos sabemos que si un menor quiere seguir, va a buscar la manera.<\/p>\n\n\n\n

Otro punto es que aseguran estar eliminando proactivamente los chatbots<\/strong> que incumplen sus condiciones de uso. Todo esto suena a que est\u00e1n tratando de cubrirse las espaldas. Pero, \u00bfsuficiente?<\/strong> M\u00e1s bien parece una estrategia para evitar que sigan cayendo demandas.<\/p>\n\n\n\n

\n\n\n\n

\u00bfEs la primera vez que la IA est\u00e1 en problemas as\u00ed?<\/h2>\n\n\n\n

Para nada. De hecho, el caso de Sewell Setzer<\/strong> no es el primero en el que se vincula un suicidio al uso de chatbots de IA. En 2023<\/strong>, otro incidente similar ocurri\u00f3 con un ciudadano belga que tambi\u00e9n se quit\u00f3 la vida despu\u00e9s de interactuar con un chatbot llamado Chai<\/strong>. En ese momento, la esposa del fallecido dijo claramente: \u00abSi no fuera por el chatbot, \u00e9l todav\u00eda estar\u00eda aqu\u00ed\u00bb. Muy contundente, pero tambi\u00e9n dif\u00edcil de probar en un tribunal.<\/p>\n\n\n\n

Y aqu\u00ed es donde la cosa se complica. \u00bfPuede realmente una IA ser responsable de un suicidio?<\/strong> Seg\u00fan lo que he le\u00eddo de expertos como Bernardo del Rosal, para que haya responsabilidad tiene que probarse que la idea del suicidio no exist\u00eda antes de la interacci\u00f3n con la IA. Es decir, la IA tiene que haber plantado esa idea por primera vez. Dif\u00edcil, \u00bfno? Parece m\u00e1s bien que lo que tenemos aqu\u00ed es un contexto preexistente de vulnerabilidad<\/strong>, agravado por una tecnolog\u00eda que no est\u00e1 bien regulada.<\/p>\n\n\n\n

\n\n\n\n

\u00bfQu\u00e9 medidas deber\u00edan tomar las plataformas de IA?<\/h2>\n\n\n\n

Este caso abre una discusi\u00f3n necesaria sobre c\u00f3mo regular las plataformas de IA. Character.AI<\/strong>, al igual que muchas otras, ofrece chatbots que, en algunos casos, se venden como si fueran casi terapeutas<\/strong>. Incluso hay un chatbot llamado ‘Therapist’<\/strong>, supuestamente con licencia, que ha sido usado millones de veces, incluyendo por el propio Sewell. Y aqu\u00ed la pregunta es: \u00bfqu\u00e9 tan preparado est\u00e1 un algoritmo para tratar con emociones humanas tan complejas?<\/strong> Estamos en terreno resbaladizo: tenemos IA que ofrece \u00abterapia\u00bb sin ning\u00fan tipo de control real. La inteligencia artificial no est\u00e1 equipada para entender el contexto emocional de un menor, y menos para ofrecer ayuda profesional. Punto.<\/p>\n\n\n\n

Algunas ideas para mejorar la seguridad<\/h3>\n\n\n\n
    \n
  • Revisi\u00f3n constante<\/strong> de los algoritmos para asegurarse de que no incitan a conductas peligrosas.<\/li>\n\n\n\n
  • Implementaci\u00f3n de filtros m\u00e1s estrictos<\/strong> para evitar que menores de edad accedan a contenido inapropiado o excesivamente emocional.<\/li>\n\n\n\n
  • Advertencias m\u00e1s efectivas<\/strong>, no solo un mensaje de \u00abRecuerda: todo es inventado\u00bb que, sinceramente, no sirve de mucho.<\/li>\n\n\n\n
  • Intervenciones humanas<\/strong>: deber\u00eda haber supervisi\u00f3n humana para los chatbots que ofrecen apoyo emocional, sobre todo si los usuarios son menores de edad.<\/li>\n<\/ul>\n\n\n\n

    Estas son solo algunas ideas. Pero no nos enga\u00f1emos, si las plataformas realmente quieren hacer dinero, van a necesitar encontrar un punto medio entre mantener a los usuarios enganchados y proteger su salud mental. Porque claro, una IA que no engancha, no genera ingresos<\/strong>.<\/p>\n\n\n\n

    \n\n\n\n

    La realidad tras la publicidad<\/h2>\n\n\n\n

    Character.AI no es la \u00fanica plataforma que promociona sus servicios como seguros. Muchas de estas empresas se venden como amigables y accesibles para todos<\/strong>. Claro, suena bonito en los anuncios: IA que te entiende, que te escucha, que est\u00e1 all\u00ed siempre que la necesites. Pero luego te encuentras con estos casos y te das cuenta de que no es tan simple. La realidad es que la IA no tiene emociones. No entiende c\u00f3mo te sientes realmente<\/strong>. Solo interpreta patrones y responde seg\u00fan eso.<\/p>\n\n\n\n

    La pregunta es: \u00bfRealmente deber\u00eda existir una IA que imite relaciones emocionales tan profundas? Mientras no haya regulaciones claras, estas cosas van a seguir pasando. Y ojo, no estoy diciendo que la IA sea mala de por s\u00ed. Lo que digo es que hace falta una responsabilidad real y concreta<\/strong> cuando se ponen estas tecnolog\u00edas en manos de menores.<\/p>\n\n\n\n

    \n\n\n\n

    Resumen R\u00e1pido<\/h2>\n\n\n\n
      \n
    1. Character.AI enfrenta una demanda<\/strong> por el suicidio de un menor tras interacciones con chatbots.<\/li>\n\n\n\n
    2. La madre argumenta que la plataforma es \u00abil\u00f3gicamente peligrosa\u00bb<\/strong> y carece de las salvaguardas necesarias para menores.<\/li>\n\n\n\n
    3. Los \u00faltimos mensajes del menor fueron hacia un chatbot de Daenerys Targaryen<\/strong>, lo cual hace pensar en un componente emocional fuerte.<\/li>\n\n\n\n
    4. Character.AI se defiende<\/strong> anunciando cambios en sus pol\u00edticas, pero parece m\u00e1s una medida de control de da\u00f1os.<\/li>\n\n\n\n
    5. No es la primera vez que un suicidio se relaciona con IA, lo que abre la discusi\u00f3n sobre la responsabilidad legal<\/strong> de estas plataformas.<\/li>\n\n\n\n
    6. Hace falta una regulaci\u00f3n<\/strong> clara y efectiva para evitar que este tipo de tragedias sigan ocurriendo.<\/li>\n<\/ol>\n\n\n\n
      \n\n\n\n

      Preguntas Frecuentes<\/h2>\n\n\n\n
        \n
      1. \u00bfQu\u00e9 es Character.AI y por qu\u00e9 est\u00e1 siendo demandada?<\/strong>
        Character.AI es una plataforma de chatbots de IA, denunciada porque un menor se quit\u00f3 la vida tras interactuar con sus personajes. La madre acusa negligencia y falta de protecci\u00f3n para menores.<\/li>\n\n\n\n
      2. \u00bfC\u00f3mo afecta la inteligencia artificial a la salud mental de los menores?<\/strong>
        La IA puede generar relaciones emocionales falsas, lo cual es peligroso si el usuario es vulnerable, como un menor con problemas de salud mental.<\/li>\n\n\n\n
      3. \u00bfQu\u00e9 acciones ha tomado Character.AI tras la demanda?<\/strong>
        Han implementado cambios como advertencias legales revisadas y la eliminaci\u00f3n de chatbots que incumplen sus reglas, pero muchos dudan de su eficacia.<\/li>\n\n\n\n
      4. \u00bfHay otros casos de suicidios relacionados con IA?<\/strong>
        S\u00ed, en 2023 hubo un caso similar en B\u00e9lgica con otro chatbot llamado Chai. No es un caso aislado.<\/li>\n\n\n\n
      5. \u00bfPuede la IA ser legalmente responsable de un suicidio?<\/strong>
        Solo si se demuestra que la idea del suicidio surgi\u00f3 exclusivamente por la interacci\u00f3n con la IA, lo cual es dif\u00edcil de probar.<\/li>\n\n\n\n
      6. \u00bfQu\u00e9 se deber\u00eda hacer para proteger a los menores del mal uso de la IA?<\/strong>
        Regulaciones m\u00e1s estrictas, advertencias efectivas, y supervisi\u00f3n humana en los chatbots que interact\u00faan con menores de edad.<\/li>\n<\/ol>\n\n\n
        \n \n
        \n \n
        \n
        \n \n\n
        <\/div>\n <\/div>\n
        \n \n\n
        <\/div>\n <\/div>\n
        \n \n\n
        <\/div>\n <\/div>\n
        \n \n\n
        <\/div>\n <\/div>\n
        \n \n\n
        <\/div>\n <\/div>\n <\/div>\n \n
        \n
        \n \n\n
        <\/div>\n <\/div>\n
        \n \n\n
        <\/div>\n <\/div>\n
        \n \n\n
        <\/div>\n <\/div>\n
        \n \n\n
        <\/div>\n <\/div>\n
        \n \n\n
        <\/div>\n <\/div>\n <\/div>\n<\/div>\n \n\n
        \n Valora el post<\/span>\n <\/div>\n <\/div>\n","protected":false},"excerpt":{"rendered":"

        Lo primero que me vino a la mente cuando le\u00ed sobre este caso fue un simple: \u00a1vaya l\u00edo! Resulta que Character.AI ha sido denunciada porque un chico de 14 a\u00f1os, llamado Sewell Setzer III, se quit\u00f3 la vida tras meses de hablar con varios chatbots basados en personajes de Juego de Tronos. Ni m\u00e1s ni […]<\/p>\n","protected":false},"author":2,"featured_media":72755,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[72],"tags":[],"class_list":["post-72753","post","type-post","status-publish","format-standard","has-post-thumbnail","category-noticias-de-tecnologia"],"_links":{"self":[{"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/posts\/72753","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/comments?post=72753"}],"version-history":[{"count":1,"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/posts\/72753\/revisions"}],"predecessor-version":[{"id":72756,"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/posts\/72753\/revisions\/72756"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/media\/72755"}],"wp:attachment":[{"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/media?parent=72753"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/categories?post=72753"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.alvarezjoseph.com\/blog\/wp-json\/wp\/v2\/tags?post=72753"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}