오늘은 음악에서 보컬과 악기를 분리해서 추출해주는 기능인 Stem spliter를 평생 무료로 사용할 수 있는 방법과, 분리된 보컬을 다른 아티스트나 자신의 목소리로 바꿔치기 해주는 AI 서비스를 적용해 보겠습니다.
Stem 분리는 무엇인가?
일반적으로 음악과 같은 사운드에 믹스된 보컬, 악기등을 따로 분리해내는 기술을 의미합니다.
10년전만 하더라도 인간의 기술로는 절대 불가능한, 신의 영역이라는 것이 기정 사실이었는데요.
☞ 마치 타임머신을 개발할 수 없는 이유처럼 절대 불가능한 기술이었죠.
그런데 AI 기술이 발전하면서 시시각각 빠르게 변화하는 주파수를 딥러닝으로 분석하고 이것의 변곡점을 포락선 분석에 필요한 각종 알고리즘이 개발되면서부터 Stem 분리 기술이 태어나게 되었습니다.
이 Stem 분리의 선두주자가 인텔의 OpenVINO AI 툴킷인데요.
공개된 기술이며, 많은 서비스 회사나 DAW 제조사에서 이 OpenVINO를 탑재해서 Stem 분리 기능을 탑재하고 있습니다.
우리가 Stem을 사용하려면?
그런데 일반 유저들이 OpenVINO AI 툴킷을 사용하긴 어렵고 이것을 기능으로 구현해서 DAW나 사운드 에디터 또는 서비스 사이트에서 프론트 엔드를 거쳐야 사용할 수 있습니다.
때문에 대부분의 사이트나 DAW가 유료 정책을 하는 이유도 무료 AI 툴킷이지만 서비스 상품으로 제공하기 때문에 돈을 받는 이유가 됩니다.
그런데 이 OpenVINO AI 툴킷을 탑재하고서도 무료로 사용할 수 있는 방법이 있는데, Audacity라는 공개 소프트웨어를 사용하는 것입니다.
보컬과 악기를 분리해서 뭐 하려고?
여러 가지 유용한 용도가 있습니다.
일단, 내가 평소 좋아하는 곡에서 연주되는 기타의 주법이나 베이스 기타의 주법을 미세하게 카피하고 또 배우는 목적일 수 있겠으며, 음악의 코드 진행을 분석한다던지, 보컬을 따로 추출하고 MR 파일을 만들 수도 있겠습니다.
또한 보컬만 따로 출력한 뒤, LALAL AI 사이트에서 보이스 체인저를 사용하면 원곡 가수가 아닌 다른 아티스트가 부른 노래로 만들 수도 있는데요.
암튼 트랙이 분리된 상태에서 활용하는 것은 개인마다 다른 영역일 것입니다.
보이스 체인저가 궁금한데?
네, 저도 이게 신기해서 사용해 봤는데요.
예를 들어, 유명한 A라는 뮤지션의 노래를 B라는 다른 아티스트의 목소리로 바꿔치기 하는 AI기술의 핵심적인 요즘 핫한 기능입니다.
이미 저의 블로그에서도 소개드렸던 LALAL AI라는 사이트에서 이 기능을 사용할 수 있는데요. (☞ 링크)
누구나 무료로 10분의 서비스 시간이 주어지고 이것으로 위에서 설명한 Stem 분리 기능을 비롯하여 보이스 체인저 기능을 사용할 수 있습니다. (👉링크)
곡에서 보컬, 악기 분리부터 보이스 체인저까지 설명
일단 아래 동영상을 통해서 전체 기능과 어떤 방식인지 설명을 했습니다.
COMMENTS