파운데이션 모델 뜻, LLM과 무엇이 다르고 왜 따로 부를까

01이 말이 무슨 뜻인가

파운데이션 모델은 큰 규모의 다양한 데이터로 미리 학습해 두고, 나중에 여러 작업에 맞게 가져다 쓰는 범용 AI 모델이에요. 「기반이 되는 모델」이라는 뜻이어서 베이스 모델이라고도 불러요.

예전 AI는 작업마다 따로 만들었어요. 번역은 번역 모델이, 스팸 분류는 분류 모델이 처음부터 배우는 식이었는데, 파운데이션 모델은 넓은 데이터를 먼저 익힌 뒤 거기에 조금씩 덧입혀 번역이든 요약이든 챗봇이든 만든다는 점이 달라요.

이렇게 한 번 배운 지식을 다른 상황에 옮겨 쓰는 바탕에는 전이 학습이라는 원리가 있어요. 그래서 한 번 만들어 두면 여러 서비스가 그 위에 올라갈 수 있어요.

02왜 이런 게 생겼나

큰 모델을 처음부터 학습시키려면 막대한 데이터와 계산 설비가 들어요. 이 비용을 작업마다 되풀이하기 어려워서, 한 번 크게 학습한 모델을 공통 바탕으로 두고 필요한 만큼만 다듬어 쓰는 구조가 자리 잡았어요.

다듬는 일은 보통 미세조정이라고 해요. 이미 사전 학습된 모델을 바탕으로 조직이 자기 목적에 맞는 결과를 빠르게 얻도록 추가 학습을 시키는 것이어서, 고객 상담 챗봇이나 사기 탐지처럼 용도에 맞춘 시스템을 만들 수 있어요.

그러다 보니 바탕이 되는 모델을 누가 만들었는지가 별도의 이야기가 됐어요. 남이 만든 모델을 가져다 서비스를 만드는 회사와, 바탕부터 직접 학습시킨 회사는 데이터와 방향을 정하는 자리가 다르기 때문이에요.

함께 운영하는 곳

03모델의 크기는 어떻게 말하나

파운데이션 모델의 크기는 보통 학습에 쓴 데이터의 양과, 모델 안에서 값을 저장하는 칸인 매개변수의 개수로 말해요. 매개변수가 많을수록 더 많은 규칙을 담을 수 있지만 학습과 운영에 드는 계산 비용도 함께 커져요.

다만 크다고 해서 언제나 더 낫지는 않아요. 쓰려는 일에 맞는 데이터로 다듬은 작은 모델이 범용으로 큰 모델보다 그 일을 잘하기도 해서, 공개되는 숫자는 성능의 보증이 아니라 규모를 가늠하는 단서로 읽어야 해요.

모델마다 매개변수와 학습 데이터 규모가 얼마인지는 만든 회사가 공개한 범위에서만 알 수 있고, 시기마다 빠르게 바뀌어요. 그래서 특정 모델의 수치는 그 회사의 최신 안내문에서 확인하는 편이 맞아요.

04자주 헷갈리는 것

LLM은 대규모 언어 모델로 텍스트를 읽고 생성하는 데 초점을 둔 모델이에요. 파운데이션 모델은 그보다 넓은 개념이어서 텍스트뿐 아니라 이미지, 오디오, 영상, 코드를 다루는 멀티모달 모델도 포함해서 부를 수 있어요.

그렇다고 파운데이션 모델과 LLM이 반대말은 아니에요. 글을 다루는 파운데이션 모델은 대개 LLM이어서, 챗봇 이야기에서는 두 말이 거의 같은 대상을 가리키는 일이 많아요.

서비스 이름과 모델 이름도 다른 층이에요. 우리가 앱에서 쓰는 챗봇은 서비스이고, 그 아래에서 답을 만드는 것이 파운데이션 모델이어서 같은 모델 위에 서로 다른 서비스가 올라갈 수 있어요.

05언제 내 일이 되나

회사에서 AI 도구를 고를 때 가장 먼저 만나게 돼요. 어떤 모델 위에서 돌아가는지, 우리 자료를 모델이 학습에 쓰는지, 미세조정을 지원하는지는 계약 전에 물어볼 만한 항목이에요.

뉴스에서 독자 파운데이션 모델 사업을 읽을 때에도 쓸모가 있어요. 처음부터 직접 학습시킨다는 말이 빌려 쓰지 않고 자기 바탕을 갖겠다는 뜻이라는 것만 알아도, 그 위에 얹는 서비스와 구분해 읽을 수 있어요.