오픈웨이트로 만든 게 "우리 모델"인가 — 가중치, 만들기의 사다리, 한국의 독자 LLM
업스테이지·SKT 같은 회사들은 라마·큐원 같은 오픈웨이트를 가져다 쓰는가, 처음부터 만드는가. 남의 가중치로 학습한 걸 "우리 모델"이라 불러도 되는가. 애초에 "가중치를 준다/안 준다"는 게 무슨 말인가. 그리고 그걸 학습시킬 데이터센터가 한국에 있는가 — 네 가지 질문을 한 번에 정리한다.
1. 가중치가 뭔가 — 모델의 실체는 숫자가 든 파일이다
LLM 의 실체는 코드가 아니라 거대한 숫자 배열이 든 파일이다. "7B 모델"은 70억 개의 숫자(파라미터)가 들어 있다는 뜻이고, 숫자 하나를 2바이트로 저장하면 파일이 약 14GB 다. 학습(training)이란 이 숫자들을 데이터에 맞춰 조금씩 조정하는 일이고, 모델의 "지능"은 전부 이 숫자 배열 안에 있다. 이 숫자 배열이 가중치(weights) 다.
설계도 — 논문으로 대부분 공개+가중치
숫자 파일 — 진짜 자산+데이터·레시피
뭘 어떻게 먹였나 — 대부분 비공개
"가중치를 준다/안 준다"는 이 파일을 배포하느냐는 말이다.
- 오픈웨이트 (라마·큐원·딥시크·미스트랄) — 가중치 파일을 내려받게 해 준다. 내 서버에서 돌릴 수 있고, 이어서 학습시킬 수도 있다. 라이선스 조건은 open-weight-models 참조.
- 클로즈드 (GPT·Claude·Gemini) — 가중치는 회사 서버에만 있다. 우리는 API 로 입력을 보내고 출력을 받을 뿐, 파일 자체는 만질 수 없다. 그래서 온프렘(내부망 설치)이 필요한 금융·공공·국방에는 클로즈드 모델이 아예 입장하지 못한다.
참고로 가중치만 공개하고 학습 데이터·코드는 감추는 게 보통이라, "오픈소스 모델" 대신 오픈웨이트라는 말을 쓴다. 데이터와 레시피까지 다 여는 진짜 오픈소스는 드물다.
2. 만들기의 사다리 — "직접 개발"에도 다섯 층이 있다
"자체 모델"이라는 같은 말 뒤에 비용이 수백만 원에서 수천억 원까지 갈리는 층이 숨어 있다.
| 층 | 뭘 하나 | 대략 비용 | 사례 |
|---|---|---|---|
| ⓪ API 응용 | 모델 안 만들고 호출만 | 사용료 | 대부분의 "AI 스타트업" |
| ① 파인튜닝 (SFT/LoRA) | 오픈웨이트에 도메인 데이터 수천~수만 건 | 수십만~수천만 원 | 산업별 챗봇 |
| ② 계속 사전학습 | 오픈웨이트를 초기값 삼아 수백억~수천억 토큰 추가 | 수억~수십억 원 | SKT A.X 4.0 (Qwen 기반) |
| ③ 개조·업스케일링 | 구조를 키우거나 바꿔서 다시 학습 | ②와 비슷하거나 그 위 | 업스테이지 Solar 10.7B |
| ④ 프롬 스크래치 | 랜덤 초기값에서 수조 토큰 | 수백억 원+ · GPU 수천 장 | 하이퍼클로바X · LG 엑사원 · DeepSeek |
③의 대표가 업스테이지의 DUS(깊이 업스케일링) 다. 미스트랄 7B(32층)의 가중치를 받아 앞 24층과 뒤 24층을 겹쳐 쌓아 48층 10.7B 를 만들고, 계속 사전학습으로 이음새를 봉합했다. 2023년 말 이 방법으로 만든 Solar 10.7B 가 허깅페이스 리더보드 1위를 찍었고, 방법 자체를 테크리포트로 공개했다. 이후 Solar Pro 2(31B)는 자체 사전학습으로 올라갔다 — 오픈웨이트 개조로 시작해 ④층까지 올라간 계보다.
큰 모델의 출력으로 작은 모델을 가르치는 증류(distillation) 도 흔하다. 딥시크가 R1 의 출력으로 큐원·라마를 가르친 R1-Distill 시리즈를 공식 배포한 게 대표 사례다. 단, OpenAI· Anthropic 약관은 자사 출력으로 경쟁 모델을 학습시키는 걸 금지한다 — 증류의 원료는 보통 오픈 모델이거나 자기 모델이다.
3. 그래서 "우리 모델"인가 — 문맥마다 기준이 다르다
핵심 답: "우리 모델"의 기준은 하나가 아니다. 어디서 묻느냐에 따라 세 단계로 엄격해진다.
조건만 지키면 합법→시장 (관례)
베이스를 밝히면 인정→정부 과제 (독자성)
가중치를 그대로 쓰면 탈락
- 법적으로는 라이선스 조건만 지키면 파생 모델을 자기 이름으로 내는 게 합법이고 업계 표준 관행이다. Apache 2.0(큐원 다수)·MIT(딥시크)는 거의 자유, 라마는 "Built with Llama" 표기와 월 7억 활성 사용자 제한이 붙는다. 허깅페이스에 파생 모델이 수만 개인 이유다.
- 시장에서는 베이스를 테크리포트로 밝히는 게 신뢰 관례다. Solar 10.7B 는 미스트랄 기반임을 논문으로 공개하고도 "업스테이지 모델"로 인정받았다. 감추다 들키는 쪽이 평판을 잃는다.
- 정부 과제에서는 훨씬 엄격하다. 아래가 실제 사건이다.
네이버 탈락 사건 (2026-01) — 독자성 기준의 실체
정부 「독자 AI 파운데이션 모델」 사업 1차 평가에서 네이버클라우드가 낸 '하이퍼클로바X 시드 32B 싱크'는 큐원(Qwen)의 가중치를 일부 차용하고 오픈소스 비전 인코더를 쓴 점이 문제가 돼 탈락했다. 담당 차관의 설명이 기준을 그대로 보여 준다: "오픈소스 모델을 썼다 하더라도 스스로 확보한 데이터로 가중치를 채워나간 것이 검증됐어야 하는데, 가중치를 그대로 갖다 쓴 부분이 지적됐다." — 즉 정부 심사에서 "우리 모델"은 가중치를 자기 데이터로 채웠는가로 판정된다. 반면 "아키텍처·학습 방법·가중치 중 어디까지 처음부터 해야 독자냐"는 기준이 모호하다는 반론도 업계에서 나왔다 — 기준 자체가 아직 논쟁 중인 선이다.
4. "한국에서 개발한 LLM"은 지금 누구인가
사실상의 공인 기준이 된 게 위의 독파모(독자 AI 파운데이션 모델) 사업이다. 2025년 8월 5개 정예팀(네이버클라우드·업스테이지·SKT·NC AI·LG AI연구원)으로 시작해, 2026년 1월 1차 평가에서 LG(엑사원, 전 항목 1위)·SKT(A.X)·업스테이지(솔라) 가 통과하고 네이버·NC 가 탈락했다. 2월에 모티프 컨소시엄이 추가돼 지금은 4팀 체제이고, 2026년 8월 4팀의 모델 전부가 미국 에포크AI 의 '주목할 만한 모델' 목록에 올랐다. 모델별 라이선스와 성능 비교는 open-weight-models, 선택 기준은 model-choice-decision-guide.
5. 데이터센터는 있나 — 있고, 지금 크게 불어나는 중이다
학습에 필요한 건 건물이 아니라 GPU 클러스터다. 프롬 스크래치급은 최신 GPU 수천 장을 몇 달 돌린다. 한국의 현재 상태:
- 2025년 10월 엔비디아가 한국에 블랙웰 GPU 26만 장 공급을 발표했다 — 삼성 5만·SK 5만·현대차 5만·네이버 6만, 그리고 정부 몫 5만 장은 독파모 사업용이다.
- 정부는 국가 AI 컴퓨팅 센터를 만들고 GPU 를 정예팀에 순차 배정하고 있다 — 독파모 팀들이 스크래치 학습을 할 수 있는 물리적 기반이 이것이다.
- 자기 데이터센터가 없어도 된다는 점도 중요하다. 스타트업 대부분은 클라우드 GPU 를 임대해 학습한다. 데이터센터 보유는 필요조건이 아니라 원가 절감과 통제의 문제다.
정리 — 네 질문, 네 줄
- 가중치 = 모델의 실체인 숫자 파일. "안 준다" = 파일을 배포하지 않고 API 만 열어 둔다.
- 오픈웨이트로 학습하면 우리 모델? = 법·시장에서는 그렇다(라이선스 준수 + 베이스 공개 관례). 정부 독자성 심사에서는 아니다 — 가중치를 그대로 쓰면 탈락한다.
- "한국에서 개발" 기준 = 사실상 독파모 심사. 자기 데이터로 가중치를 채웠는지를 본다. 현재 통과자는 LG·SKT·업스테이지·모티프 4팀.
- 데이터센터 = 있다. 블랙웰 26만 장이 들어오는 중이고 정부 몫 5만 장이 독파모용이다. 없어도 클라우드 임대로 학습한다.