인공지능의 발달이 너무나 빠르게 진화해가는 것을 경험하면서 문득 섬득한 생각이 들게 되었다. 이것은 비단 나만의 경험은 아니라 생각한다. 이데 인공지능이 인간을 해치거나 지배할 가능성에 대비하기 위한 국제적인 노력은 다양한 형태로 진행되고 있는데 이 부분에 대해서 알아보고 정리해서 알려드리고자 한다.
주요 국제 협력 및 이니셔티브:
- AI 안전 연구소 네트워크: 여러 국가에서 AI 안전 연구소(AISI)를 설립하여 고급 머신러닝 모델의 기술적 연구 및 평가를 공동으로 진행하고 있습니다. 2023년 11월 영국에서 개최된 첫 번째 AI 안전 정상회담을 시작으로, 2024년 5월 한국의 AI 서울 정상회담, 2025년 2월 프랑스의 파리 AI 액션 정상회담 등이 개최되었습니다. 미국은 국제 AI 안전 연구소 네트워크의 첫 번째 의장국이며, 호주, 캐나다, EU, 프랑스, 일본, 케냐, 한국, 싱가포르, 영국 등이 참여하고 있습니다.
- 글로벌 파트너십: 글로벌 AI 파트너십(GPAI)은 AI의 책임 있는 개발과 사용을 위한 국제 협력 이니셔티브로, AI 위험을 식별하고 해결하기 위한 프로젝트 SAFE와 같은 활동을 진행하고 있습니다.
- OECD AI 정책 관측소: OECD는 신뢰할 수 있는 AI를 위한 도구 및 지표 카탈로그를 개발하고 있으며, 프로젝트 SAFE와 협력하여 AI 위험 매핑을 진행하고 있습니다.
- 유네스코: 유네스코는 2021년 193개국이 채택한 '인공지능 윤리에 관한 권고'를 통해 AI 윤리에 대한 최초의 글로벌 표준을 제시했습니다. 또한, AI 윤리 및 거버넌스 글로벌 관측소를 설립하여 정책 입안자, 규제 기관, 학계, 민간 부문 및 시민 사회를 위한 글로벌 자원을 제공하고 있습니다.
- 국제 표준화 노력: 국제표준화기구(ISO)와 국제전기기술위원회(IEC)의 공동 기술위원회(JTC 1) 산하 SC 42 인공지능 분과위원회에서 AI 국제 표준화를 주도하고 있습니다.
- AI 안전 연구 및 개발: 민간 기업과 연구 기관들은 AI 안전을 위한 기술적 연구에 집중하고 있습니다. Anthropic, Google DeepMind, OpenAI 등 주요 AI 기업들은 AI 시스템의 안전성, 제어 가능성, 신뢰성을 향상시키기 위한 연구를 진행하고 있습니다. Schmidt Sciences는 AI 시스템의 안전 속성을 이해하는 데 중요한 기초 과학 연구를 위한 AI 안전 과학 프로그램을 출범시키기도 했습니다.
- 정부 규제: 각국 정부는 AI 위험을 관리하기 위한 규제 및 정책을 마련하고 있습니다. EU의 AI 법안은 AI 시스템을 위험 수준에 따라 분류하고 규제하며 , 미국에서는 연방거래위원회(FTC)를 비롯한 여러 기관이 기존 법률을 통해 AI 관련 소비자 피해를 방지하려 노력하고 있습니다.
주요 AI 위험 관리 분야:
- 오용 방지: 강력한 AI 시스템이 악의적인 목적으로 사용되는 것을 방지하기 위한 연구와 지침 개발.
- 통제력 상실 방지: AI 시스템이 예상치 못한 방식으로 작동하거나 인간의 통제를 벗어나는 것을 방지하기 위한 기술 개발.
- 편향성 및 차별 감소: AI 시스템이 기존 사회적 편향을 반영하거나 증폭시켜 불공정한 결과를 초래하는 것을 방지하기 위한 노력.
- 투명성 및 설명 가능성 확보: AI 시스템의 의사 결정 과정을 이해하고 설명할 수 있도록 하는 연구.
구체적으로 진행중인 실예를 찾아보았다.
AI 안전 연구소 네트워크:
- 미국 AI 안전 연구소 (US AISI): 합성 콘텐츠의 위험 관리, 기반 모델 테스트, 고급 AI 시스템의 위험 평가 등 세 가지 주요 영역에 중점을 두고 있습니다. 특히 국가 안보 및 공공 안전과 관련된 AI 모델의 연구 및 테스트를 위해 미국 정부 내 여러 기관과 협력하는 TRAINS (Testing Risks of AI for National Security) 태스크포스를 구성했습니다 .
- 영국 AI 안전 연구소 (UK AISI): AI 거버넌스를 위한 제품 개발, 평가 과학 개선, 더 안전한 AI 시스템을 위한 새로운 접근 방식 연구 등을 진행합니다. 예를 들어, 민감한 데이터를 사용하여 AI 시스템을 안전하게 미세 조정하는 방법, 훈련 데이터에서 편향성을 분석하는 기술, 핵심 개발 결정에 대한 광범위한 의견 수렴 프로세스 등을 개발할 수 있습니다 .
- EU AI 사무소: AI 안전 연구를 수행하고, 평가 도구를 개발하며, AI 시스템을 테스트합니다. 또한, EU AI 법률의 시행을 감독하고, 금지된 AI 사례를 단속하며, 고위험 AI 시스템에 대한 표준을 설정하는 역할을 합니다.
글로벌 파트너십: 글로벌 AI 파트너십 (GPAI): AI의 책임 있는 개발과 사용을 위한 국제 협력 이니셔티브로, 프로젝트 SAFE를 통해 AI 위험을 식별하고 해결하기 위한 노력을 진행하고 있습니다. 여기에는 AI 감사 프레임워크, 런타임 모니터링 시스템, 악의적인 사용 방지를 위한 레드 팀 구성, 이상 징후 감지 및 AI 시스템의 통제력 상실 방지를 위한 봉쇄 전략 등이 포함됩니다.
OECD AI 정책 관측소: 신뢰할 수 있는 AI를 위한 도구 및 지표 카탈로그를 개발하고 있으며, 프로젝트 SAFE와 협력하여 AI 위험 매핑을 진행하고 있습니다. 여기에는 AI 시스템의 공정성, 견고성, 안전성, 투명성 등을 측정하기 위한 다양한 기술적 지표와 방법론이 포함됩니다.
유네스코: '인공지능 윤리에 관한 권고'를 통해 AI 윤리에 대한 최초의 글로벌 표준을 제시하고, AI 윤리 및 거버넌스 글로벌 관측소를 설립하여 정책 입안자, 규제 기관, 학계, 민간 부문 및 시민 사회를 위한 글로벌 자원을 제공하고 있습니다.
AI 안전 연구 및 개발:
Anthropic: AI 시스템이 인간에게 해로운 결정을 내리도록 유도하거나, 코드에 미묘한 버그를 삽입하거나, 테스트 중에 위험한 기능을 숨기는 등의 "사보타주" 평가를 수행하여 모델의 잠재적 위험을 식별하고 있습니다. 또한, AI 시스템의 내부 작동 방식을 이해하고 안전성을 향상시키기 위한 "기계적 해석 가능성(Mechanistic Interpretability)" 연구를 진행하고 있습니다 .
Google DeepMind: AI 시스템의 오용, 오정렬, 실수 및 구조적 위험을 포함한 네 가지 주요 위험 영역을 식별하고, 이러한 위험을 완화하기 위한 기술적 접근 방식을 개발하고 있습니다. 특히 사이버 공격과 같은 악의적인 사용을 방지하기 위한 위험한 기능 제한 및 보안 메커니즘 연구에 주력하고 있습니다.
이러한 노력들은 AI 기술의 잠재적인 위험에 대한 인식을 높이고, 안전하고 신뢰할 수 있는 AI 시스템 개발을 위한 국제적인 협력을 촉진하는 데 중요한 역할을 하고 있습니다.
걱정되고 우려되는 일이기에 잘 사전에 준비되어서 삶속에 들어온다면 정말 상상하는 것보다 훨씬 더 삶의 질을 상승시켜 줄것이라는 기대를 다시 꿈꾸게 되었다.