¿Por qué las herramientas como ChatGPT podrían generar ciberataques?
Según Xutan Peng, estudiante de doctorado en Shieffeld que codirigió la investigación, “muchas empresas simplemente no son conscientes de este tipo de amenazas y, debido a la complejidad de los chatbots, incluso dentro de la comunidad, hay cosas que no se entienden del todo”.
“En este momento, ChatGPT está recibiendo mucha atención. Es un sistema independiente, por lo que los riesgos para el servicio en sí son mínimos, pero lo que descubrimos es que se puede engañar para que produzca código malicioso que puede causar graves daños a otros servicios”, agregó.
El equipo que llevó a cabo la investigación describió este uso como una “vulnerabilidad”. De hecho, en Baidu-UNIT, pudieron obtener configuraciones confidenciales su servidor y dejaron una parte de él fuera de servicio.
Incluso Baidu respondió a estos resultados y catalogó estas vulnerabilidades como “altamente peligrosas”. En la misma línea, la compañía tomó medidas, solucionó estas amenazas de sus sistemas y recompensó económicamente a los autores del estudio.
“Los usuarios de sistemas de texto a SQL deben ser conscientes de los riesgos potenciales destacados en este trabajo. Los modelos de lenguaje grandes, como los utilizados en los sistemas ‘Text-to-SQL’, son extremadamente potentes, pero su comportamiento es complejo y puede resultar difícil de predecir“, manifestó el Dr. Mark Stevenson, profesor titular del grupo de investigación de Procesamiento del Lenguaje Natural de la Universidad de Sheffield.
Además, agregó que su equipo sigue trabajando en ello, “en la Universidad de Sheffield estamos trabajando actualmente para comprender mejor estos modelos y permitir que se alcance todo su potencial de forma segura”.