São Paulo/SP – 29 de junho de 2023 – TRUST AI e a Adequação ao Artificial Intelligence Risk Management Framework (AI RMF) – Pontos de Atenção e Desafios
*Rodrigo Santiago
Visão Geral AI RMF
O AI RMF (Artificial Intelligence Risk Management Framework) do NIST (National Institute of Standards and Technology) é um conjunto de diretrizes e práticas recomendadas para gerenciar riscos relacionados a utilização da inteligência artificial (IA).
O objetivo do AI RMF é ajudar as organizações a identificar, avaliar e mitigar os riscos relacionados à IA em seus processos, sistemas e aplicativos. Ela fornece uma estrutura para gerenciar e minimizar os riscos de privacidade, segurança, ética e confiabilidade associados à implementação de sistemas de IA.
Embora grande parte dos processos de gestão de risco direcionem esforços geralmente aos impactos negativos, o framework AI RMF do NIST oferece abordagens para minimizar os impactos negativos previstos nos sistemas de IA e identificar oportunidades para maximizar os impactos positivos. Gerir de modo eficaz o risco de potenciais danos, além de conduzir a sistemas de IA mais confiáveis e, apresentando benefícios para as pessoas (indivíduos, comunidades e sociedade), organizações e sistemas/ecossistemas.
A gestão dos riscos pode permitir que os criadores e utilizadores de IA compreendam os impactos e tenham visibilidade das limitações e incertezas inerentes aos seus modelos e sistemas, o que, por sua vez, pode melhorar o desempenho e a confiabilidade global destes e a probabilidade de as tecnologias de IA serem utilizadas de forma benéfica.
A metodologia do AI RMF foi concebida para fazer frente a novos riscos à medida que estes possam surgir. Esta dinâmica é particularmente importante quando os impactos não são facilmente previsíveis e as aplicações estão a evoluir.
Embora alguns riscos e benefícios da IA sejam bem conhecidos, pode ser difícil avaliar os impactos negativos e o grau de danos. Abaixo citamos exemplos de potenciais danos que podem estar relacionados a utilização de sistemas de IA.
Impactos a Pessoas
Dano a imagem, direitos, integridade física ou psicológica e impacto financeiro;
- Dano a grupos / comunidades como atos de discriminação direcionados;
- Impacto na participação democrática do cidadão ou ao acesso a serviços básicos (saúde e educação).
Impactos a Organizações
- Impacto as operações de negócio;
- Vazamentos de informações e impactos financeiros;
- Dano a reputação e imagem da empresa diante do mercado.
Impactos ao Ecossistema
- Impacto nas cadeias de suprimentos, aos sistemas financeiros e a sistemas interligados globalmente;
- Impactos ao meio ambiente, aos recursos naturais do planeta.
Os esforços de gestão dos riscos da IA devem ter em conta que os seres humanos podem partir do princípio de que os sistemas de IA funcionam bem em todos os contextos.
Por exemplo, quer sejam corretos ou não, os sistemas de IA são frequentemente vistos como sendo mais objetivos do que os humanos ou, como oferecendo maiores capacidades do que o software geral.
Desafios para a gestão do risco da IA
Medição do Risco
Os riscos ou falhas da IA que não estão bem identificados ou não são adequadamente compreendidos são difíceis de medir de forma quantitativa ou qualitativa. Alguns desafios da medição dos riscos incluem:
- Acompanhamento dos riscos emergenciais;
- Disponibilidade de métricas confiáveis;
- Risco em contextos reais;
- Referência humana.
Tolerância aos Riscos
A tolerância ao risco é o nível de risco aceitável para as organizações ou para a sociedade sendo específicos de cada aplicação e o caso de utilização.
Embora o AI RMF possa ser utilizado como guia para a priorização dos riscos, ele não contempla a tolerância ao risco. A tolerância ao risco refere-se à disponibilidade da organização ou da solução da IA para suportar o risco de forma a conseguir manter a disponibilidade de suas atividades e atingir os seus objetivos. A tolerância ao risco pode ser influenciada por requisitos legais ou regulamentares.
Priorização dos Riscos
A tentativa de eliminar totalmente o risco pode se tornar improdutiva na prática, porque nem todos os incidentes e falhas poderão ser eliminados.
Expectativas irrealistas sobre o risco podem levar as organizações a alocar recursos de uma forma que torne a triagem de riscos ineficiente ou impraticável ou, que desperdice recursos. Para esse item o AI RMF indica que a adoção de uma cultura de gestão do risco pode ajudar as organizações a reconhecer a diferença entre os riscos e realizar uma priorização mais assertiva.
Integração da governança organizacional e gestão de riscos
A gestão do risco da IA deve ser integrada e incorporada em estratégias e processos mais abrangentes de gestão de risco corporativo. Tratar os riscos da IA juntamente com outros riscos críticos, como cibersegurança e privacidade, produzirá um resultado mais integrado e eficiências organizacionais.
O AI RMF pode ser utilizado juntamente com boas práticas e outros frameworks para gerir riscos do sistema de IA ou riscos empresariais mais amplos. Exemplos de riscos incluem:
- Preocupações com a privacidade relacionadas com a utilização de dados para treinar sistemas de IA;
- Preocupações de segurança relacionadas com a confidencialidade, integridade e disponibilidade do sistema e dos seus dados de entrada e de saída;
- Segurança geral do software e hardware fundamentais para sistemas de IA,
- Implicações energéticas e ambientais associadas às exigências de computação com muitos recursos.
AI RMF CORE
O Núcleo do AI RMF (AI RMF Core) fornece resultados e ações que permitem o diálogo, a compreensão das atividades para gerir os riscos da IA, além do desenvolvimento de forma responsável e confiável. O núcleo é composto por quatro funções: GOVERNAR (Govern), MAPEAR (Map), MEDIR (Measure), e GERIR (Manage).
Cada uma destas funções está dividida em categorias e subcategorias, e estas, são subdivididas em ações e resultados específicos. Importante ressaltar que as ações não constituem uma lista de verificação que será auditada, nem são necessariamente um conjunto ordenado de passos, mas sim, orientações para atingir um grau de gestão de risco aceitável.
Solução Trust IA
A solução Trust AI é um conjunto de atividades que em seu escopo abrange todo o ciclo de vida da IA, desde a concepção e desenvolvimento dos modelos, até a sua implantação e monitoramento contínuo.
O Trust AI tem como objetivo principal estabelecer um ambiente seguro e confiável para a implementação e utilização de sistemas de IA seguindo as diretrizes do AI RMF (Artificial Intelligence Risk Management Framework) do NIST.
Considerando as orientações reforçadas pelo framework, A SAFEWAY desenvolveu uma abordagem dividida em quatro atividades, considerando os principais controles de governança que devem ser atingidos para a utilização de um sistema de IA com maior nível de segurança.
Os focos são:
Avaliação de Riscos:
Identificação e avaliação dos riscos associados à implementação e utilização de sistemas de IA. Envolve a análise de ameaças potenciais, vulnerabilidades e impactos adversos.
Governança e Políticas
Estabelecimento de políticas, diretrizes e processos claros para o uso e o desenvolvimento de ias garantindo a responsabilidade, a transparência e a conformidade com os requisitos legais e éticos necessários dentro dos processos.
Desenvolvimento ético:
Implementação de boas práticas éticas no desenvolvimento e na utilização de sistemas de IA considerando a privacidade, a equidade dos para garantir a confiança do usuário.
Monitoramento e auditoria:
Adoção de mecanismos contínuos de monitoramento, auditoria e detecção de anomalias para garantir a conformidade, a detecção precoce de problemas e a adaptação às mudanças nas condições operacionais.
Principais benefícios
- Confiança e aceitação: O Trust AI visa aumentar a confiança nas tecnologias de IA. Ao implementar práticas que garantem a segurança, a transparência e a ética no uso da IA, as organizações podem conquistar a confiança dos usuários e do público em geral. Isso é fundamental para a adoção e aceitação dessas tecnologias.
- Responsabilidade e prestação de contas: O Trust AI incentiva as organizações a serem responsáveis pelo desenvolvimento, implantação e uso de sistemas de IA. Isso envolve a definição de diretrizes claras e a aderência a princípios éticos para garantir que os sistemas de IA sejam usados de forma responsável.
- Transparência: A transparência é um aspecto crítico do Trust AI. Os sistemas de IA devem ser capazes de fornecer explicações claras e compreensíveis sobre como chegam às suas decisões. Isso permite que os usuários entendam o processo de tomada de decisão e identifiquem possíveis preconceitos ou vieses indesejados.
- Privacidade e segurança: O Trust AI busca garantir a privacidade e a segurança dos dados utilizados pelos sistemas de IA. Isso envolve a implementação de medidas robustas de proteção de dados e a conformidade com regulamentações relevantes, como o Regulamento Geral de Proteção de Dados (GDPR) da União Europeia.
- Qualidade e desempenho aprimorados: Ao seguir os princípios do Trust AI, as organizações podem melhorar a qualidade e o desempenho de seus sistemas de IA. A transparência e a responsabilidade permitem uma avaliação mais precisa dos sistemas, identificando áreas de melhoria e ajustando o processo de desenvolvimento para obter melhores resultados.
Conclusão
A combinação da solução AI RMF com estratégias para gestão de riscos e governança desempenha um papel fundamental quando se trata de utilizar e confiar na inteligência artificial. À medida que a IA continua a desempenhar um papel cada vez mais significativo em várias áreas da sociedade, é essencial abordar os riscos associados a ela de maneira proativa e estratégica.
A confiança na IA depende da capacidade de identificar, compreender e mitigar esses riscos, garantindo que os sistemas de IA sejam seguros, confiáveis e éticos.
*Rodrigo Santiago é gerente de GRC na Safeway.
Como podemos Ajudar?
A SAFEWAY é uma empresa de consultoria em Segurança da Informação reconhecida pelos seus clientes por oferecer soluções de alto valor agregado por meio de projetos que atendam integralmente às necessidades do negócio. Em 15 anos de experiência, acumulamos diversos projetos de sucesso que nos renderam credibilidade e destaque em nossos clientes, os quais constituem em grande parte as 100 maiores empresas do Brasil.
Hoje através de 25 parcerias estratégicas com fabricantes globais e de nosso SOC, a SAFEWAY é considerada uma one stop shopping com as melhores soluções de tecnologia, processos e pessoas. A SAFEWAY pode ajudar sua organização com a implementação de uma solução de IA de forma segura. Caso deseje mais informações, entre em contato com nossos especialistas!
