El tribunal de apelaciones dijo que 21 de 23 citas en un escrito inicial eran falsas. Las autoridades estatales se apresuran a enfrentar el uso generalizado de la inteligencia artificial
por Khari Johnson
Un abogado de California deberá pagar una multa de 10,000 dólares por presentar una apelación en un tribunal estatal llena de citas falsas generadas por la herramienta de inteligencia artificial ChatGPT.
La sanción parece ser la mayor emitida por un tribunal de California en relación con invenciones de la IA y vino acompañada de una contundente opinión que declaró que 21 de las 23 citas de casos mencionados en el escrito inicial del abogado eran inventadas. También señaló que numerosos tribunales federales y de otros estados ya han enfrentado a abogados por citar autoridad legal inexistente.
“Por lo tanto publicamos esta opinión como advertencia”, continuó el fallo. “En pocas palabras, ningún escrito, alegato, moción u otro documento presentado en cualquier tribunal debe contener citas —ya sea provistas por una IA generativa o cualquier otra fuente— que el abogado responsable de presentar el escrito no haya leído y verificado personalmente.”
La opinión, emitida hace 10 días por el Segundo Distrito de Apelaciones de California, es un claro ejemplo de por qué las autoridades jurídicas estatales se apresuran a regular el uso de la IA en el sistema judicial. Hace dos semanas, el Consejo Judicial del estado emitió directrices que requieren que los jueces y el personal de los tribunales prohíban la IA generativa o adopten una política sobre su uso antes del 15 de diciembre. Mientras tanto, la Barra de Abogados de California está considerando si debe reforzar su código de conducta para incluir diversas formas de IA, tras una solicitud de la Corte Suprema de California el mes pasado.
El abogado del área de Los Ángeles multado la semana pasada, Amir Mostafavi, dijo al tribunal que no leyó el texto generado por el modelo de IA antes de presentar la apelación en julio de 2023, meses después de que OpenAI promocionara a ChatGPT como capaz de aprobar el examen de abogacía. Un panel de tres jueces lo sancionó por presentar una apelación frívola, violar las reglas del tribunal, citar casos falsos y desperdiciar el tiempo de la corte y el dinero de los contribuyentes, según la opinión.
Mostafavi dijo a CalMatters que redactó la apelación y luego usó ChatGPT para intentar mejorarla. Afirmó que no sabía que añadiría citas de casos o inventaría información. Cree que es irreal esperar que los abogados dejen de usar IA. Se ha convertido en una herramienta importante, así como las bases de datos en línea reemplazaron a las bibliotecas jurídicas, y hasta que los sistemas de IA dejen de “alucinar” información falsa, sugiere que los abogados que la usen procedan con precaución.
“Mientras tanto vamos a tener víctimas, vamos a tener daños, vamos a tener destrozos”, dijo. “Espero que este ejemplo ayude a otros a no caer en el hoyo. Yo estoy pagando el precio.”
La multa impuesta a Mostafavi es la sanción más costosa emitida contra un abogado por un tribunal estatal en California y una de las más altas en la historia relacionadas con el uso de IA por abogados, según Damien Charlotin, quien enseña un curso sobre IA y derecho en una escuela de negocios en París. Él rastrea casos de abogados que citan jurisprudencia falsa, principalmente en Australia, Canadá, Estados Unidos y el Reino Unido.
En un caso ampliamente difundido en mayo, un juez federal en California ordenó a dos bufetes pagar 31,100 dólares en honorarios a la defensa y a la corte por los costos asociados con el uso de “investigación falsa generada por IA”. En ese fallo, el juez dijo haberse sentido engañado, afirmó que casi citó material falso en una orden judicial y declaró: “Se necesita una fuerte disuasión para asegurar que los abogados no sucumban a este atajo fácil.”
Charlotin cree que los tribunales y el público deben esperar un aumento exponencial de estos casos en el futuro. Cuando empezó a rastrear escritos judiciales con IA y citas falsas a principios de este año, encontraba unos pocos casos al mes. Ahora ve varios al día. Los modelos de lenguaje producen falsedades con seguridad, especialmente cuando no hay hechos que las respalden.
“Cuanto más difícil es sostener tu argumento legal, más tenderá el modelo a alucinar, porque intentará complacerte”, dijo. “Ahí es donde entra el sesgo de confirmación.”
Un análisis de mayo de 2024 del RegLab de la Universidad de Stanford encontró que, aunque tres de cada cuatro abogados planean usar IA generativa en su práctica, algunos sistemas generan “alucinaciones” en una de cada tres consultas. Detectar material falso en escritos legales podría volverse más difícil a medida que los modelos crezcan.
Otro rastreador de casos en que abogados citan jurisprudencia inexistente por uso de IA identifica 52 de estos en California y más de 600 en todo el país. Se espera que esa cifra aumente en el futuro cercano porque la innovación de la IA avanza más rápido que la formación de los abogados, dijo Nicholas Sanctis, estudiante de derecho en Capital University Law School en Ohio.
Jenny Wondracek, quien dirige el proyecto de rastreo, dijo que espera que la tendencia empeore porque todavía encuentra abogados que no saben que la IA inventa cosas o creen que las herramientas legales pueden eliminar todo el material falso generado por los modelos de lenguaje.
“Creo que veríamos una reducción si (los abogados) entendieran lo básico de la tecnología”, afirmó.
Al igual que Charlotin, sospecha que hay más casos inventados por IA en los tribunales estatales que en los federales, pero la falta de métodos de presentación estandarizados dificulta la verificación. Dijo que se encuentra con más casos falsos entre abogados sobrecargados o personas que eligen representarse a sí mismas en tribunales de familia.
Sospecha que el número de escritos presentados por abogados que usan IA y citan casos falsos seguirá aumentando, pero agregó que no solo los abogados incurren en esta práctica. En semanas recientes, documentó tres casos de jueces que citaron autoridad legal inexistente en sus decisiones.
Mientras California analiza cómo tratar la IA generativa y las citas de casos falsos, Wondracek dijo que pueden considerar enfoques de otros estados, como suspensiones temporales, exigir a los abogados sorprendidos que tomen cursos para comprender cómo usar éticamente la IA, o que enseñen a estudiantes de derecho a evitar cometer el mismo error.
Mark McKenna, codirector del Instituto de Tecnología, Derecho y Política de UCLA, elogió multas como la de Mostafavi por castigar a abogados por “una abdicación de su responsabilidad como representante de alguien”. Cree que el problema “empeorará antes de mejorar”, porque ha habido una prisa entre facultades de derecho y firmas privadas por adoptar la IA sin pensar en la manera adecuada de usarla.
El profesor de la Facultad de Derecho de UCLA, Andrew Selbst, está de acuerdo, señalando que los secretarios que trabajan para jueces son recién graduados de derecho, y los estudiantes están siendo bombardeados con el mensaje de que deben usar IA o quedarse atrás. Educadores y otros profesionales reportan sentir presiones similares.
“Esto nos lo están imponiendo a todos”, dijo. “Se está impulsando en firmas y escuelas y muchos otros lugares, y aún no hemos enfrentado las consecuencias de eso.”
