언어 모델 종류 및 특징, 최신 동향

언어 모델 (Language Model, LM)

 

LLM이란?

Large Language Model의 약자로, 방대햔 양의 텍스트 데이터로 학습된 대규모 언어 모델이다.

 

장점 : 

• 자연어 이해(NLU) 및 자연어 생성(LNG) 등 다양한 NLP 작업 수행 가능
• 뛰어난 성능

단점 :

• 학습 및 실행에 많은 컴퓨팅 자원 필요
• 높은 비용

주요 모델

주요 모델명	개발사	출시일	특장점
GPT-4	Open AI	2023.03.14	멀티모달, 정교한 언어 이해 처리 능력, 사용자 정의
Gemini 1.5 Pro	Google	2024.02.15	멀티 모달, 빠른 답변 속도, 문학적 능력
Claude 3 Opus	Anthropic	2024.03.04	멀티모달, 복잡한 작업에 대한 높은 성능

sLLM이란?

small Large Language Model의 약자로, LLM보다 규모가 작고 가벼운 경량화 언어 모델이다.

 

장점 : 

• 모델의 매개변수를 줄이고 미세조정(fine-tuning)을 통해 정확도 향상
• 온디바이스 배포 가능
• 접근성 향상 및 광범위한 GPU 리소스 의존도 감소
• 한정된 특정 분야에 깊이 있느 데이터 학습 가능

단점 : 

• 재한된 데이터 영역에서만 사용 가능

주요 모델

주요 모델명	개발사	출시일	개수	특장점
Phi-2	Microsoft	2023.12.12	27억개	25배 크기의 모델과 동등한 성능
Gemma	Google	2024.02.21	20억개, 70억개	다양한 모델 규모 제공, 범용 툴과 함께 통합 제공
Solar mini	Upstage	2024.03.21	107억개	계산 시간 단축, 결과값 출력 소요시간 단축, 최적화에 필요한 리소스 감소

LLM과 sLLM은 각각 장단점을 가지고 있다.

정리하자면, LLM은 높은 성능과 광범위한 데이터 영역을 필요로 하는 작업에 적합하다.

sLLM은 적은 컴퓨팅 자원과 비용으로 빠른 학습 및 실행 속도를 필요로 하는 작업에 적합하다.

 

언어 모델 전망

 

1. 멀티 모달 기능 강화

- 이미지, 영상, 오디오 등 다양한 형태의 데이터를 처리하고 이해하는 능력 향상

 

2. 지식 추론 및 논리적 사고 능력 향상

- 단순한 패턴 인식을 넘어 논리적 사고 능력 개발

- 정보 분석 및 의사 결정 능력 향상

 

3. 창의적 테스트 생성 능력 발전

- 시, 소설 등 창의적인 텍스트 형식 생성 능력 향상

- 인간의 감성과 창의력을 표현하는 능력 개발

 

4. 맞춤형 및 도메인 특화 모델 개발

- 전문성을 요구하는 분야에서 높은 성능 발휘