LeVo 2

LeVo 2는 가사, 장르·감정·악기 프롬프트, 선택적 오디오 프롬프트를 받아 완성된 길이의 노래를 생성하려는 논문이다. 단순한 배경음악 생성이 아니라, 보컬과 반주가 함께 움직이는 “노래”를 대상으로 한다. 논문의 문제의식은 명확하다. 전체 노래의 멜로디·리듬·구조를 오래 유지하려면 전역적인 계획이 필요하지만, 보컬과 반주의 음색·발음·질감을 살리려면 트랙별 세부 표현도 필요하다. LeVo 2는 이 둘을 하나의 토큰열에 억지로 몰아넣지 않고, 계층적으로 나누어 모델링한다.

한 줄로 말하면

LeVo 2는 혼합 토큰으로 노래 전체의 구조를 먼저 계획하고, 보컬·반주 토큰을 병렬로 세부화한 뒤, diffusion 기반 Music Codec으로 48kHz 전체 노래를 복원하는 하이브리드 LLM-Diffusion 노래 생성 프레임워크다.

배경: 왜 이 문제가 중요한가

음악 생성과 노래 생성은 비슷해 보이지만 난이도가 다르다. 기악곡만 만들 때는 장르, 리듬, 악기 질감, 장기 구조가 중요하다. 여기에 보컬이 들어가면 문제가 더 복잡해진다. 가사와 발음이 맞아야 하고, 보컬 멜로디와 반주가 어긋나지 않아야 하며, 한 곡 전체에서 verse와 chorus 같은 구조가 자연스럽게 이어져야 한다.

기존 접근에는 크게 두 가지 긴장이 있었다.

첫째, Jukebox 계열처럼 보컬과 반주가 섞인 오디오에서 뽑은 mixed token을 예측하면 전체적인 조화는 잡기 쉽다. 하지만 보컬과 반주가 서로를 가리는 acoustic masking 때문에 세부 음질이 제한될 수 있다.

둘째, YuE나 SongGen처럼 보컬 토큰과 반주 토큰을 따로 다루면 각 트랙의 세부 품질은 좋아질 수 있다. 그러나 토큰열이 길어지고, 보컬과 반주를 독립적으로 예측할수록 둘 사이의 화음과 구조적 일관성이 흔들릴 수 있다.

LeVo 2는 이 trade-off를 “하나를 고르는 문제”가 아니라 “역할을 나누는 문제”로 본다. 전역 구조와 트랙별 세부 묘사를 서로 다른 모듈에 맡기되, 두 모듈이 같은 노래를 향해 협력하도록 설계한다.

핵심 아이디어

LeVo 2의 중심에는 LeLM이라는 계층적 언어 모델이 있다. LeLM은 두 부분으로 나뉜다.

1. Mixed Semantic LM
   혼합 토큰을 예측한다. 논문은 이 혼합 토큰을 일종의 “음악적 의사 chain-of-thought”처럼 설명한다. 여기에는 멜로디, 리듬, 템포, 곡 구조, 보컬과 반주의 큰 조화가 담긴다. 즉, 먼저 노래의 전역 설계도를 만든다.

2. Track-Specific LM
   Mixed Semantic LM의 hidden state를 조건으로 받아 보컬 토큰과 반주 토큰을 병렬로 예측한다. 이렇게 하면 interleaved dual-track 방식처럼 시퀀스 길이를 크게 늘리지 않으면서도, 보컬과 반주의 세부 질감을 따로 복원할 수 있다.

마지막으로 Music Codec이 이 토큰들을 실제 오디오로 복원한다. 인코더는 mixed token, vocal token, accompaniment token을 만들고, 디코더는 diffusion transformer와 VAE decoder를 이용해 48kHz 오디오 파형을 복원한다. 논문의 Figure 1은 전체 구조를, Figure 2는 Mixed Semantic LM과 Track-Specific LM의 연결을, Figure 3은 Music Codec의 mixed/dual-track 처리 구조를 보여준다. 공개 문서에는 원본 그림을 싣지 않았지만, 핵심은 “전역 계획 → 트랙별 세부화 → diffusion 복원”이라는 세 단계로 이해하면 된다.

방법과 실험 설정

훈련은 세 단계로 이루어진다.

1. 미학 조건부 사전학습

먼저 Mixed Semantic LM을 대규모 음악 데이터로 학습한다. 논문은 약 50만 시간 규모의 노래 데이터를 사용했다고 설명한다. 이때 자동 음악 미학 평가 프레임워크를 사용해 각 곡을 musicality tier로 나누고, 그 tier를 조건으로 넣는다. 단순히 데이터가 많아지는 것만으로는 고품질 선호가 생기지 않기 때문에, 모델이 “좋은 음악성”과 연결된 조건을 학습하도록 만든 것이다.

2. decoupled progressive post-training

그다음 Mixed Semantic LM을 선호에 맞게 조정한다. 여기서 중요한 점은 여러 목표를 한 번에 섞어 최적화하지 않는다는 것이다.

• SFT는 상위 0.5% 수준의 고품질 데이터로 출력 분포를 좁혀 기본 품질을 올린다.
• 대규모 offline DPO는 가사 정렬, 프롬프트 일치, hallucination 감소 같은 controllability를 개선한다.
• closed-loop semi-online DPO는 점진적으로 업데이트되는 generator가 만든 새 샘플을 사용해 musicality를 더 끌어올린다.

논문의 주장은, 음악성·가사 정렬·프롬프트 일치를 동시에 밀어붙이면 gradient conflict가 생기기 쉽기 때문에, 먼저 제어성을 안정화한 뒤 음악성을 개선하는 순서가 더 낫다는 것이다.

3. modular extension

마지막으로 Mixed Semantic LM은 고정하고 Track-Specific LM을 학습해 보컬과 반주의 세부 음질을 보강한다. 이 단계에서는 실제 mixed token만 쓰지 않고, 적은 diffusion step으로 일부러 낮은 품질의 오디오를 만든 뒤 다시 mixed token을 추출하는 acoustic augmentation도 사용한다. Track-Specific LM이 흐릿한 전역 계획에서 더 선명한 보컬·반주 세부를 회복하도록 훈련하는 셈이다.

모델 규모도 작지 않다. 논문은 LeLM이 약 4B 파라미터이며, diffusion model이 약 700M 파라미터라고 설명한다. Mixed Semantic LM은 36-layer Transformer이고, Track-Specific LM은 12-layer Transformer다. 학습에는 64개의 NVIDIA H20 GPU가 사용되었다.

주요 결과

1. open-source 기준선보다 전반적으로 강했다

전문가 20명이 중국어 100곡, 영어 100곡을 평가한 MOS 실험에서 LeVo 2는 비교한 모든 open-source 시스템보다 높은 점수를 보였다. 비교 대상에는 YuE, DiffRhythm 2, ACE-Step 1.5, HeartMuLa, 기존 LeVo가 포함된다. Overall Musicality, Melody, Arrangement, Structure, 보컬 음질, 반주 음질 등 여섯 주관 지표 모두에서 open-source 기준선보다 우세했다.

상용 시스템과 비교하면 Suno v5와 Mureka v8이 여전히 여러 지표에서 앞서지만, LeVo 2는 Melody, Arrangement, Accompaniment Sound Quality, Structure에서 그 격차를 좁혔다고 보고한다. 또한 논문 실험에서는 MiniMax Music 2.5+보다 주관 청취 지표 전반에서 높게 나왔다.

2. 가사 정렬과 감정 제어도 개선됐다

객관 평가에서 LeVo 2는 open-source 시스템 중 가장 낮은 Phoneme Error Rate인 8.55%를 기록했다. 이는 가사를 잘못 부르거나 단어를 삽입·삭제하는 문제가 줄었다는 의미다. 감정 제어 점수는 8.72로, 비교한 상용·공개 시스템을 통틀어 가장 높은 값으로 보고된다.

다만 장르 제어와 악기 생성 정확도에서는 ACE-Step 1.5보다 낮았다. 논문은 이 차이를 ACE-Step 1.5가 매우 정밀한 대규모 annotation pipeline을 사용한 데서 온 것으로 해석한다. 즉 LeVo 2가 모든 제어 지표에서 최고라는 뜻은 아니다.

3. 세 단계 학습이 누적적으로 성능을 올렸다

Table II의 ablation은 훈련 단계가 하나씩 추가될 때 성능이 어떻게 변하는지 보여준다. 사전학습만 했을 때보다 SFT 후 전체 청취 품질이 올라가고, offline DPO 후 PER가 10.59%에서 9.19%로 줄어든다. semi-online DPO는 musicality, melody, arrangement를 추가로 높인다. 마지막 modular extension은 보컬·반주 음질을 끌어올리면서 PER를 8.55%까지 낮춘다.

이 결과는 논문의 설계 철학과 맞물린다. 제어성과 음악성을 한 번에 최적화하기보다, 먼저 기본 품질을 좁히고, 제어성을 안정화하고, 그다음 음악성을 확장하고, 마지막으로 트랙별 음질을 보강하는 순서가 효과적이었다는 주장이다.

4. architecture ablation에서 계층 구조의 중요성이 드러났다

Track-Specific LM을 제거하면 보컬·반주 음질과 구조 지표가 크게 떨어졌다. delay pattern을 제거했을 때는 PER가 47.10%로 급격히 나빠졌다. 이는 단순히 “보컬 토큰과 반주 토큰을 따로 예측한다”만으로 충분하지 않고, Mixed Semantic LM의 문맥을 Track-Specific LM이 적절히 참조하는 연결 구조가 중요하다는 뜻이다.

또한 미학 tier tag와 musicality-aware CFG를 제거했을 때 주관적 음악성 지표가 떨어졌다. 자동 미학 평가가 완벽한 인간 취향을 대신한다고 볼 수는 없지만, 이 논문에서는 대규모 noisy data에서 음악성 prior를 주입하는 실용적 신호로 쓰였다.

한계

논문이 인정하는 한계도 분명하다.

• LeVo 2는 open-source 기준선보다 강하지만, 최상위 proprietary system과는 여전히 차이가 있다.
• 학습 데이터와 annotation 품질에 크게 의존한다. 특히 Qwen2-Audio 기반 caption, lyric extraction, song structure parsing 과정의 오류가 누적될 수 있다.
• 장르·악기 제어는 일부 경쟁 시스템보다 낮다. musicality를 강화하는 평가·조건화가 장르와 악기 제어에 편향을 만들 가능성도 ablation에서 드러난다.
• 음악 생성 모델은 저작권과 창작자 권리 문제가 크다. 논문은 연구 목적과 지식재산권 존중을 명시하지만, 공개 모델이 실제로 어떤 데이터와 어떤 사용 환경에서 안전한지는 별도의 검토가 필요하다.
• 평가는 2026년 5월 시점의 상용 시스템과 비교한 결과다. 상용 음악 생성 서비스는 빠르게 바뀌므로, 시간이 지나면 상대 순위가 달라질 수 있다.

왜 중요한가

LeVo 2의 의미는 “또 하나의 음악 생성 모델”이라기보다, 노래 생성 문제를 구조적으로 나눠 풀었다는 데 있다. full-length song generation은 장기 구조, 가사 정렬, 보컬·반주 음질, 프롬프트 제어, 인간이 듣는 음악성이라는 여러 목표가 충돌하는 문제다. LeVo 2는 이 목표들을 하나의 손실이나 하나의 토큰 표현에 모두 밀어 넣지 않고, 모델 구조와 학습 순서에서 분리한다.

이 접근은 음악 생성뿐 아니라 다른 멀티모달 생성에도 참고할 만하다. 전역 의미 계획과 modality-specific detail을 분리하고, post-training에서도 제어성과 선호 품질을 순차적으로 다루는 방식은 긴 시퀀스·고품질 출력·인간 선호가 함께 필요한 영역에서 반복될 수 있는 설계 패턴이다.

헷갈리지 말아야 할 점

• LeVo 2는 텍스트만으로 짧은 BGM을 만드는 모델이 아니라, 가사·보컬·반주가 포함된 full-length song generation을 겨냥한다.
• 논문에서 LeVo 2가 모든 상용 시스템을 이긴다고 주장하는 것은 아니다. open-source 기준선에는 강하지만 Suno v5, Mureka v8 같은 proprietary system은 여전히 여러 지표에서 앞선다.
• 자동 미학 평가 프레임워크는 인간 취향을 완전히 대체하는 도구가 아니다. 논문에서도 전문가 청취 평가를 별도로 수행한다.
• DPO를 썼다는 점만이 핵심은 아니다. 더 중요한 것은 SFT, offline DPO, semi-online DPO를 서로 다른 목표에 맞게 순차적으로 배치했다는 점이다.
• 공개된 수치는 논문이 설정한 데이터, 평가 시점, 비교 시스템 버전에 의존한다. 음악 생성 서비스는 빠르게 업데이트되므로 시간이 지난 뒤에는 별도 재평가가 필요하다.

관련 문서

• Manufactured Confidence