Desafíos de la ciberseguridad y la privacidad frente al desarrollo de la Inteligencia Artificial.

Marvin G. Soto
5 min readJan 3, 2024
Imagen tomada de Internet

Durante la Segunda Guerra Mundial, la Oficina de Información de Guerra de EEUU creó carteles que animaban a las personas a evitar hablar sin cuidado. El mensaje era: “Los labios sueltos hunden barcos”.

Los expertos en propaganda en ese momento y los historiadores, desde entonces, han argumentado que el objetivo principal de estos y otros carteles similares era realmente asustar a la gente para que no difundiera rumores o verdades que contuvieran malas noticias que podrían dañar la moral o producir tensión entre grupos de estadounidenses.

Este adagio encuentra un nuevo significado en el contexto de las redes sociales y herramientas generativas de IA, como OpenAI ChatGPT, Google Bard, Microsoft Copilot, entre otras.

La AI ha sido anunciada como “cambiadores del juego de la productividad”, no obstante; existen preocupaciones sobre las implicaciones de seguridad y privacidad.

Ampliando un poco los tecnicismos del asunto, las herramientas de IA se basan en modelos de lenguaje grande (LLM, Large Language Models). Un LLM es un algoritmo entrenado en una gran cantidad de datos basados en texto, generalmente extraídos de Internet abierto.

El algoritmo analiza las relaciones entre diferentes palabras y las convierte en un modelo de probabilidad. Entonces es posible darle al algoritmo un “mensaje”, que proporcionará una respuesta basada en las relaciones de las palabras en su modelo.

Imagen tomada de Internet

Por lo general, los datos en su modelo son estáticos después del entrenamiento inicial. Sin embargo, se puede ajustar con capacitación sobre datos adicionales y “aumento rápido” al proporcionar más contexto sobre la pregunta.

En las manos equivocadas, las herramientas de AI generativa, podrían tener consecuencias desastrosas. Si bien la mayoría de la gente los usa para divertirse o para hacer su vida más fácil, los ciberdelincuentes pueden usar la tecnología para estar más informados, ser más eficientes o convincentes.

Como estas herramientas están en Internet, no podemos vigilar, ni limitar su acceso, por lo que no podemos evitar que se utilicen con fines nefastos.

Está claro que estas poderosas herramientas basadas en IA están aquí para quedarse, y siempre habrá personas malas que explotarán esta tecnología para promover sus agendas. De hecho, un estudio de la Universidad de Brown y una encuesta reciente de Thales atisba que los riesgos de seguridad de las herramientas de IA generativa preocupan al 75 % de las personas. Según la misma encuesta, las principales preocupaciones de seguridad identificadas son el riesgo de divulgar información personal o sensible (42%), la amenaza de desinformación o difusión de noticias falsas (41%), el potencial para crear código malicioso (38%) y los correos electrónicos de phishing más convincentes (37 %). Otra preocupación común es que un LLM pueda ‘aprender’ de sus indicaciones y ofrecer esa información a otras personas que consultan cosas relacionadas y existe también el riesgo de que la tecnología extraiga datos que no debería. Es decir, que invada la privacidad de los internautas.

Imagen tomada de Internet

Un LLM no agrega automáticamente información de consultas a su modelo para que otros consulten; sin embargo, la consulta será visible para la organización que proporciona la herramienta. Esas consultas se almacenan y los proveedores las utilizarán para desarrollar aún más el servicio. Es decir, se podrían, al igual que casos conocidos en redes sociales, monetizar o aprovechar la información recolectada con fines aún no delimitados.

Otro riesgo, que aumenta a medida que más empresas tecnológicas producen LLM, es que las consultas en línea pueden ser pirateadas, filtradas o puestas a disposición del público. Estas preguntas podrían incluir información potencialmente identificable por el usuario (PII).

Hemos sabido, en esa línea, que la autoridad de privacidad italiana prohibió ChatGPT en Italia, citando violaciones y preocupaciones de privacidad. Según la autoridad, OpenAI la empresa detrás de ChatGPT, carece de una base legal que justifique “la recopilación y el almacenamiento masivo de datos personales… para ‘entrenar’ los algoritmos” de ChatGPT.

Bien sabemos que estamos en la era del periodismo clickbait y el auge de las redes sociales, puede ser un desafío diferenciar entre noticias falsas y auténticas. Detectar historias falsas es vital porque algunas difunden propaganda, mientras que otras conducen a páginas maliciosas. Recuerden el mensaje: “Los labios sueltos hunden barcos” y pues claro, existe el temor de que los LLM puedan difundir o normalizar información errónea.

Se plantean preocupaciones morales en caso de que se aprovechen las limitaciones de tales herramientas. Incluso ha habido algunas demostraciones increíbles de cómo los LLM pueden ayudar a escribir malware. En este contexto, la preocupación es que un LLM podría ayudar a alguien con intenciones maliciosas, pero con conocimientos rudimentarios, a crear herramientas que de otro modo no podrían implementar.

Imagen tomada de Internet

Muchos investigadores han demostrado que los autores de malware también pueden desarrollar software avanzado con ChatGPT, como un virus polimórfico que cambia su código para evadir la detección o para ofuscarse inteligentemente ante algoritmos.

Igualmente, los LLM se destacan en la replicación de estilos de escritura, existe entonces el riesgo de que los delincuentes utilicen LLM para escribir correos electrónicos de phishing convincentes, incluidos correos electrónicos en varios idiomas. Estas capacidades pueden ayudar a los atacantes con altas capacidades técnicas que carecen de habilidades lingüísticas a generar correos electrónicos de phishing convincentes en el idioma nativo de sus objetivos.

No podemos cegarnos por la emoción por lo que puede ofrecer la IA generativa, debemos permanecer en alerta máxima ante posibles nuevas amenazas. De hecho, empresas y consumidores pueden comenzar limitando los datos a los que acceden estas herramientas basadas en IA.

Estas herramientas solo estarán tan informadas como los datos que las alimentan, por lo que se deben hacer esfuerzos para cifrar los datos confidenciales o personales para garantizar que permanezcan protegidos.

Las empresas son responsables de generar conciencia sobre los nuevos riesgos de fraude, como los delincuentes que se hacen pasar por ellos para engañar a los clientes para que proporcionen información personal. La tecnología no es infalible y la privacidad de los datos es medular.

--

--

Marvin G. Soto

Pensador, innovador, luchador, enamorado de su profesión, apasionado por las letras… de dificil renunciar y lejano a rendirse…