AI 가수 음성 학습시키기 RVC Disconnected 코랩 사용법

AI 노래 만들기 두번째 절차로 가수 음성을 학습시켜야 하는데요.

앞에서 노래의 MR과 가수 쌩목소리를 분리 했다면 MR은 빼고 썡목소리 오디오 파일을 가지고 학습을 시켜줄 수 있습니다.

만약 아직 분리를 하지 못하셨다면 이전 포스팅을 먼저 진행해주시길 바랍니다.

AI 커버곡 노래 만들기

AI 커버 노래 만들기를 위해서는 먼저 노래를 부를 가수의 목소리 톤과 음색 등을 학습을 시켜줘야 합니다.

학습된 AI 목소리 파일은 pth파일과 index 파일 등으로 나오게 되는데요. 이 트레이닝된 파일을 다시 다른 곡의 노래음성에 넣고 합성을 통해서 AI 커버곡이 만들어 지는 것입니다.

예를 들어 내 목소리를 미리 트레이닝 시켜서 아이유의 노래를 내 목소리 버전으로 다시 만들 수도 있는 것이죠.

RVC Disconnected를 이용해 음성 학습 시키기

먼저 음성합성을 위해서 RVC Disconnected 코랩 사이트로 들어가 줍니다. colab(코랩)은 구글에서 컴퓨터 자원을 빌려주는 서비스라고 할 수 있는데요.

다른 사용자가 AI 음성 트레이닝을 쉽게 할 수 있도록 코드로 구현을 해놓은 것을 써먹기만 하면 되는 것입니다.

이미 다 코드가 짜여져 있는 것이기 때문에 차례대로 실행만 해주시면 됩니다.

왼쪽에 재생버튼을 누르면서 쭉 진행해 나가시면 되는데요. 한개씩 완료가 될때까지 기다리지 마시고 모두다 차례로 눌러주시면 한꺼번에 이어서 작업을 해나갑니다.

먼저 첫번째로는 관련 라이브러리를 설치하는 작업인데요. 자신의 컴퓨터에 설치되는 것이 아니라 구글 서버 자체에서 설치가 되는 것입니다.

설치도중에 노트북에서 google drive 파일에 엑섹스 권한을 달라고 하는 팝업창이 뜨게 되는데요 google drive에 연결 버튼을 눌러서 구글 로그인을 해주시면 됩니다.

다음으로 initial setup 구간이 나오는데요. 여기에서 작업명을 입력해주시면 됩니다. 그 밑에 부분은 기본값에서 따로 변경하실 필요는 없습니다.

이전에 트레이닝 시킬 쌩 목소리 파일을 내 드라이브에 업로드 해주고 해당 파일의 이름을 써줍니다.

해당 목소리 파일이 위치해 있어야 하는 경로는 내드라이브 > rvcDisconnected 폴더 입니다.

만약 load dataset에서 인식을 하지 못하는 오류가 있는 경우 영어 대분자 소문자가 맞게 되어 있는지 확인하시길 바랍니다.

대문자 소문자를 인식하고 띄어쓰기나 특수 문자 등은 인식하지 못합니다.

트레이닝 학습 작업이 성공적으로 완료되었다면 내드라이브 rvcDisconnected 폴더에 앞에서 inital setup에서 experiment_name 항목에 적었던 폴더속에 결과물이 저장됩니다.

트레이닝이 시작되면 Epoch 옆에 작업 숫자가 써지면서 작업이 진행됩니다. 위에서 total_epochs 항목에 적었던 숫자만큼 학습을 반복해서 하게됩니다.

만약 zip파일에 넣었던 음성 파일의 시간이 긴 경우 한번 학습하는데 걸리는 시간이 길어질 수 있기 때문에 이점은 참고하시길 바랍니다.

음성파일 시간이 무조건 길다고 해서 잘되는 것은 아니기 때문에 너무 긴파일을 가지고 하실 필요는 없고 자신이 만들 노래와 최대한 맞는 분위기와 음색에 맞는 2분정도 노래 하나만 가지고도 충분히 좋은 퀄리티의 AI 학습이 가능합니다.

일반 무료 이용자가 코랩 GPU 리소스 사용량을 초과한 경우 더이상 진행이 안되고 위와 같은 오류 화면이 나오게 될 수 있습니다.

사용량이 부족한 경우 GPU check를 누르면 위와 같은 오류 화면이 나옵니다.

일반 적으로 무료 계정이 트레이닝 할 수 있는 량은 200~400개 정도이기 때문에 대량으로 트레이닝 작업을 하시는 분들이라면 유료 구독을 통해서 문제를 해결하셔야 합니다.