[Winter Blog Challenge] 언어 생성 AI(Member 민서연)

안녕하세요 GDSC Sungshin 23-24 멤버 민서연입니다

저는 언어 모델 기반 생성형 AI 기술에 대해 작성해보려고 합니다!

 

생성형 AI 란?

머신러닝 알고리즘을 활용하여 텍스트, 비디오, 오디오 및 이미지 등 기존 콘텐츠를 활용한 학습 데이터를 기반으로 유사한 콘텐츠를 새롭게 만들어 내는 인공지능 기술을 가리키며 기존 데이터와의 비교 학습을 통해 새로운 형태의 창작물을 만들어내는 인공지능 분야

 

생성형 AI 최종 산출물에 따라

1. 언어 생성 모델

2. 이미지 생성 모델

3. 음성 생성 모델

4. 비디오 생성 모델

5. 게임 생성 모델 및 3D 생성 모델 등 기타 생성 모델로 분류되는데요,

 

저는 그 중 언어 생성 모델에 대해 소개하겠습니다.

언어 생성 포델에서는 차연어 처리 분야에서 많이 사용되는 모델로 문장 생성, 기계 번역, 질문 응답, 요약 등에 사용됩니다. 대표적으로 트랜스포머, BERT, GPT-3, BART 등이 있습니다.

 

 

1. 트랜스포머 모델

 

: 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습한 신경망

 

인코더와 디코더를 병렬로 배치하여 효율적이고 빠르게 학습이 가능하고, 기존 순환 신경망 계열(RNN)에서 벗어나 대량의 병렬 처리로 대규모 학습이 가능합니다

트랜스포머 모델 발전 과정

 

 

2. BERT

 

: 2018년 구글이 공개한 사전 훈련 언어 모델로 트랜스포머를 이용하여 구현

33억 단어에 대해 4일간 학습시킨 것이 특징입니다.

 

☞ 학습 데이터는 도메인에 특화된 학습 데이터를 사용합니다! 바이오, 과학, 경제 등 특정 분야가 정해진 경우라면 해당 분야의 언어를 활용한 학습을 진행 하는 것이 성능 면에서 좋다고 합니다.

 

트랜스포머의 인코더 부분만을 사용하여 학습시킨 후, 특성 문제의 파인 튜닝(기존 학습된 모델을 활용하여 재학습)을 활용하여 결과물을 얻습니다. 또한 문장 표현 학습을 위해 비지도 학습을 사용하고, 사전 학습 모델 (특정 문제를 해결하는 방법에 대해 학습한 모델) 입니다

 

BERT 기반으로 한 한국어 언어 모델도 있는데요!

한국전자통신연구원에서 개발한 KorBERT는 구글보다 많은 한국어 데이터를 기반으로 개발되었고,

SKTbrain에서 개발한 KoBERT는 감정 분석 시 긍정, 부정 뿐만 아니라 다중 분류가 가능하다고 합니다

 

3. GPT 계열 모델

 

: OpenAI가 개발한 대규모 언어 모델로 트랜스포머 기반으로 큰 규모의 데이터셋에서 사전 학습된 모델을 사용

 

사전 훈련과 파인 튜닝 기술 - 대규모 말뭉치를 사용한 사전 훈련을 통해 모델 학습 후 특정 태스크에 맞게 적은 양의 데이터를 사용하여 파인 튜닝을 수행

전이 학습 - 다른 언어 처리 태스크에도 유용하게 사용이 가능

대규모 언어 모델 - 대규모 말뭉치를 사용한 학습 모델로 고성능 처리 및 메모리 자원 등이 필요

대화형 응답 생성 능력 - 챗봇이나 가상 비서와 같은 인터페이스에서 자연스러운 대화를 생성하는 데 사용 가능

 

4. 초거대 언어 모델

 

: 딥러닝과 같은 인공신경망 구조와 기법의 모델 중에서 매개변수 수가 매우 많은 모델로 오픈AI의 초거대 언어모델 GPT-3는 전 세계적으로 초거대 언어모델의 개발 경쟁을 촉발

 

미리 입력된 답변을 제공하는 데서 벗어나, 스스로 생각하고 학습, 판단할 수 있도록 설계되어 AI가 맥락을 파악해 능동적으로 대화가 가능합니다

 

초거대 AI 언어 모델 발전 과정

 

---

 

1학년 때 '뇌인지과학개론' 이라는 수업에서 트랜스포머에 대해 다룬적이 있었는데,

그 당시에는 무슨 말인지 이해를 잘 못해서 쩔쩔맸던 기억이 있습니다 ㅎㅎ...

요즘 이 분야가 정말 핫하고 빠르게 변하고 있어서 다시 찾아보게 되었는데요, 

어려운 용어를 차근차근 찾아보면서 읽어보고 관심을 가지고 읽다보면 신기하게 느껴지기도 합니다!

 

생성형 AI 시장도 빠르게 성장하고 세계의 주요 기업들도 관심을 가지고 있습니다

여러 문제점과 이슈도 있지만, 활용 사례를 보면 앞으로의 세상이 어떻게 바뀔지 기대되기도 합니다

제가 소개한 언어 생성 모델 외에도 다양한 분야가 있으니

관심있는 분야에 따라 찾아보는 것도 좋을 것 같아요 ~!

 

 

 

참고문헌 : 한국저작권위원회 생성형 인공지능 산업현황 보고서