생성형 AI: 개념, 활용, 예상되는 문제점

📌생성형 AI란

생성형 AI는 학습된 데이터를 이용해 문장, 영상, 프로그램 코드 등을 새롭게 생성하는 기능을 가진 인공지능이다. 기존 AI가 업무 자동화에 이용된 것과 달리 자체적으로 새로운 콘텐츠를 만드는 데 적용되고 있다. 기존의 AI는 주로 특정 규칙에 따라 데이터를 분석하고 예측하는 규칙 기반 혹은 예측/판별 모델을 주로 활용한다. 하지만 생성형 AI는 단순한 고정된 모델이 아니라 학습과 업데이트를 통해 스스로 학습하며, 최신 트렌드나 사용자의 피드백을 기존의 AI에 비해  빠르게 반영할 수 있다.

 

기존의 AI 모델은 학습 데이터를 기반으로 새로운 데이터에 대한 결과를 예측한다. 즉, 조건부 분포를 이용해 X가 Y클래스에 속할 가능성을 계산하는 것이다. 예를 들어, 고양이와 강아지 두 클래스를 분류하는 모델이 있다고 했을 때 경계값을 학습하여 새로 입력된 데이터가 고양이일지 강아지일지 예측한다. 이때 만약 새로 입력된 데이터가 학습 데이터에는 없던 원숭이 이미지라면, 이 모델은 여전히 그 이미지를 고양이나 강아지로 분류하려고 할 것이다. 즉 판별 AI 모델은 학습 데이터와 다른 새로운 유형의 데이터에 대해 적절한 출력물을 만들어 내지 못한 가능성이 큰 것이다. 생성형 AI라면 어떨까? 생성형 AI 모델은 데이터 자체의 확률 분포를 학습하는데 중점을 둔다. 고양이 이미지가 가질 수 있는 다양한 특징들에 대한 확률 분포를 학습하는 식이다. 

 

생성형 AI와 초거대언어모델 그리고 딥러닝은 매우 밀접한 관계를 가지고 있다. 대부분 생성형 AI와 초거대언어모델은 심층신경학습망에 기반한 전이학습 모델을 활용하기 때문이다. 심층신경학습망이란 흔히 딥러닝이라고도 알려져 있다. 인공지능에 활용되는 신경학습망은 흔히 데이터의 특성 학습을 위한 입력층 한 개와 은닉층 그리고 결과값의 분류를 위한 한 개의 출력층으로 이루어져 있는데, 이러한 신경학습망 중에서도 여러겹의 은닉층을 가지고 있는 네트워크를 심층신경학습망이라고 한다. 입력층에서는 데이터는 숫자로 구성된 형태로 전환되어 네트워크를 통해 전파된다. 이러한 데이터는 각 은닉층을 통과하면서 가중치와 편향을 조절하고 활성화 함수를 거치며 다음 층으로 전달된다. 이때 신경망은 데이터를 이해하고 학습하기 위해 각 층의 편향을 조정하는 과정을 거친다. 역전파 알고리즘을 통해 신경망은 입력 데이터와 실제 결과 사이의 오차를 최소화하기 위해 가중치와 편향을 조절하는 것이다.

 

*생성형 AI: 학습된 데이터를 바탕으로 새로운 콘텐츠를 생성할 수 있는 인공지능을 의미, 특정 언어나 영역에 제한되지 않으며 다양한 유형의 데이터를 생성할 수 있다.

*초거대 언어 모델(LLM): 초거대 언어 모델은 주로 언어 생성과 이해에 중점을 둔 거대한 모델로, 대규모 텍스트 데이터를 통해 학습하여 고도의 언어 이해와 생성 능력을 갖추고 있다. 자연어 처리에 특화되어 GPT, BERT 등의 모델이 대표적이다.

 

📌생성형 AI의 활용

1. 자료 생성과 사내 대응 / 고객 대응

문서 작성 및 요약에 사용될 수 있으며, 반복적인 작업을 줄이고 전략적인 업무에 집중할 수 있다. 또한 대화형 검색과 자동화된 문제 해결 지원을 통해 고객에게 필요한 정보를 빠르게 제공할 수 있다. 

2. 상품, 서비스 개발

생성형 AI를 통해 빠르게 프로토타입을 생성하여 개발 시간을 단축할 수 있다. 또한 생성형 AI 기술을 통해 제품 관련 정보와 요구사항을 분석하고, 유용한 아이디어와 설계 옵션을 자동으로 제시한다. 이를 통해 자동화된 설계를 제공하고, 제작 프로세스를 최적화 및 시뮬레이션하여 신제품 개발의 생산성과 품질을 향상시킬 수 있다.

3. 리스크관리

기존의 시그니처 기반의 탐지(signature-based detection)은 해킹 또는 일련의 공격들에서 발견된 고유한 특징을 이용해 

탐지하는 방식으로 신속하고 정확한 보완책으로 알려져 있다. 그러나 사전에 정의된 정보만을 활용하므로 새로운 유형의 공격 혹은 복잡하고 연속적인 구조의 공격에 취약하다는 한계가 있다. 생성형 AI는 특유의 데이터 생성 능력 덕분에 전통적인 사이버 보안책의 단점을 보완하고 더 뛰어난 성능을 보여주고 있다. 예를 들어, 비정상 텍스트 탐지에서 LLM을 통해 이메일의 텍스트 데이터를 분석하면 LLM의 강력한 자연어 처리 능력을 바탕으로 해당 이메일이 비정상(피싱)인지 정상인지 파악할 수 있다.

 

📌생성형 AI의 예상되는 문제점

1. 데이터 편향,오염 / 데이터 유출의 문제

기관의 내부 데이터를 사용하는 경우에는 민감 데이터는 마스킹하여 학습에 사용하도록 한다. 외부 데이터를 사용하는 경우에는 금융 기관의 목적에 맞는 데이터인지 확인한다.

이와 관련된 민감 데이터는 무엇일까? 이는 특정 개인을 유추할 수 있는 정보, 개인의 신용과 건강 상태와 관련된 데이터라고 할 수 있다. 예를 들어, 20대, 30대, ..의 범주형 연령 데이터로 개인을 유추하기는 어렵지만 주민등록번호, 정확한 생년월인, 주소 정보 등을 통해서는 개인을 유추할 수도 있다. 이러한 정보들은 보안을 위해 철저한 관리가 필요하다.

2. 환각 현상

생성형 AI는 종종 사실이 아닌 정보를 만들어내거나 사실과 다르게 응답하는 상황을 만들어낼 수 있다. 생성형 AI의 특성상 이를 완벽하게 방지할 수 없다. 따라서 중요한 시스템일수록 사람의 검토를 늘리거나 외부 감시 시스템 등을 도입하는 것이 필요하다.

3. 생성형 AI에 대한 공격

프롬프트 인젝션(Prompt Injection)은 생성형 AI가 특정 입력을 해석하거나 명령을 수행할 때, 의도된 행동을 벗어나 악의적인 결과를 생성하도록 유도하는 공격 방식이다. 이와 같은 공격을 통해 AI 모델이 제공하는 응답을 조작하거나 원하는 정보를 얻게 하는 데 악용될 수 있다.

 

📌구체적인 예: 생성형 AI를 통한 AI 코드 리뷰 시스템의 도입

방대한 양의 공개 코드를 학습한 생성형 AI 코드 리뷰 시스템은 의도치 않게 버그나 취약점이 있는 리뷰를 제공할 수 있다. 만약 AI가 리뷰한 코드가 프로젝트별 맥락을 이해하지 못한 채 개발팀의 고유한 비즈니스 로직이나 아키텍쳐 표준과 맞지 않는 코드를 생성한다면 어떨까? 이러한 잠재적 결함은 실제 운영 환경 배포 후에나 나타날 수도 있는데 심각한 문제일 수 있다. 결국 AI가 리뷰한 코드를 사람이 한 번 더 리뷰 혹은 검토하는 과정을 거치게 될 것이고 이는 시간적 낭비일 수 있다.

또한 개발자가 AI 기반 코드 리뷰에 지나치게 의존하게 된다면 코드 검토 및 테스트에 대한 태도가 느슨해질 수 있다. 코드 리뷰 과정 자체가 조직의 코딩 스타일을 익히고 지식을 넓히는 과정일 수도 있기 때문에 악영향을 미칠 수도 있다.

 

물론 AI를 통한 코드 리뷰 시스템을 도입한다면 자연어 기반으로 코드 리뷰를 제공할 수 있어 신규 개발자의 코드 리뷰에 대한 부담감을 줄일 수 있다. 또한 코드 리뷰 과정에서 AI가 코드의 구조와 스타일에 대해 자동으로 피드백을 제공하기 때문에 일관성을 유지하는데 도움이 될 수 있다. 뿐만 아니라 AI 시스템은 코드 스타일이나 표준 규칙을 자동으로 검사해 빠르게 문제를 발견하고, 개발자가 반복적으로 처리해야 할 단순 오류를 줄여주므로 전체적인 개발 효율을 높일 수 있다. 예를 들어, 자주 발생하는 코딩 실수나 코드 스타일 불일치를 AI가 자동으로 검출해 수정하면 개발자는 더 복잡한 문제 해결과 기능 개발에 집중할 수 있다. 따라서 위험성을 인지하고, 적절한 검토를 통해 잠재적 결함을 줄이는 것이 효과적인 방법이 될 수 있다.

 

 

참고

https://m.post.naver.com/viewer/postView.naver?volumeNo=38463869&memberNo=36733075&searchKeyword=AI&searchRank=100

https://www.skcc.co.kr/generative-ai/npd-support

https://news.skhynix.co.kr/post/all-around-ai-6

https://blog-ko.superb-ai.com/core-principles-of-generative-ai-and-deep-learning/

https://www.samsungsds.com/kr/insights/cyber_security_gen_ai_240702.html