[인공지능] AI(인공지능)가 베토벤의 마지막 교향곡을 완성한 방법!

루트비히 판 베토벤은 1827년 56세의 나이로 세상을 떠났을 때 교향곡 10번을 미완성 상태로 남겼습니다. 그의 작품에 대한 그의 계획을 간략하게 설명하는 몇 개의 손으로 쓴 메모만이 살아남았고 대부분은 불완전한 아이디어나 주제나 멜로디의 단편이었습니다.

이제 Rutgers 대학에 기반을 둔 신생 기업 Playform AI 의 컴퓨터 과학자로 구성된 다학문 팀은 인공 지능을 훈련 시켜 위대한 작곡가의 스타일을 모방하고 이 초기 스케치를 기반으로 완전한 교향곡을 작성하는 데 사용했습니다.

우리는 프로젝트의 수석 연구원인 Ahmed Elgammal 교수에게 자세한 내용을 문의했습니다.

당신은 베토벤의 필사본 중 얼마부터 시작할 수 있었을까요?

베토벤은 다양한 형태의 스케치를 남겼습니다. 주로 음악 스케치뿐 아니라 몇 가지 아이디어가 포함된 필기 노트도 있었습니다. 이전에는 1988년 [영국 음악학자] Barry Cooper가 [교향곡을 완성하기 위해] 1악장을 위한 약 250마디의 이러한 스케치의 대부분을 사용했습니다.

그러나 남겨진 것은 정말 극소수입니다. 기본적으로 여기에는 세 마디의 음악이 있고 거기에는 네 마디의 음악이 있고 일부 대략적인 스케치는 기본적으로 그가 [베토벤]이 쓰고 싶어했던 악장에서 주요 주제의 시작점처럼 들립니다.

베토벤을 비롯한 클래식 작곡가들을 보면 대개 그렇습니다. 내 말은, 보통 그들은 메인 테마로 작업하고 몇 분 안에 그것을 전개하고 또 다른 테마가 옵니다. 그것이 바로 전통적인 작곡 방식이며 AI가 배우는 데 필요한 것입니다. 즉, 베토벤과 다른 클래식 작곡가가 테마로 시작하여 이를 개발하는 방법입니다. 교향곡 5번 ' 다 다 다 '처럼 . 그리고 나서 그것을 가지고 그것을 중심으로 전체 움직임을 발전시키십시오.

 

예를 들어, 베토벤의 5번과 같은 주제를 가지고 있습니다. 하나의 모티프를 기반으로 흥미로운 멜로디를 개발하도록 AI를 어떻게 훈련하는 걸까요?

AI가 일반적으로 음악을 생성하는 방식은 예를 들어 이메일이 다음 단어를 예측하려고 시도하는 방식과 매우 유사합니다. 따라서 이메일을 작성할 때 다음에 작성하고 싶은 내용을 제안하게 됩니다.

 

노래를 들을 때 뇌의 특정 뉴런이 켜집니다.

기본적으로 동일한 개념입니다. AI는 많은 음악 데이터에서 배워야 합니다. 그것은 당신이 방금 쓴 것을 감안할 때 다음 메모가 무엇인지 묻습니다. 그리고 다음 음표를 예측할 수 있다면 다음 음표와 다음 음표 등등을 예측할 수 있습니다. 그것이 주요 개념입니다.

그러나 우리가 곧 깨닫는 것은 다음 단어에 대한 제안을 전화에서 받기 시작하고 AI의 제안에 따라 쓰기 시작하면 실제로 오래 유지되지 않는다는 것입니다. 그리고 그것이 음악에서 일어나는 일입니다. 시작점을 지정하고 예측에 맡기면 예, 몇 가지 음표를 예측할 수 있습니다. 그러나 그 이후에는 다소 넌센스가 되어 더 이상 주요 주제에 충실하지 않습니다.

그래서 그것이 주요 과제였습니다. 어떻게 하면 AI가 메인 테마를 고수하고 발전시킬 수 있을까요? 그래서 이것이 AI와 함께 일하는 인간 전문가의 역할이 시작되는 곳입니다. 그래서 우리는 AI에게 주제가 무엇인지, 주제가 어디에서 개발되었는지 알려주기 위해 많은 음악에 주석을 달고 레이블을 지정하기 위해 인간 전문가와 협력해야 했습니다. 많은 음악 작품에 있었다. 그래서 기본적으로 AI는 학생 때 배웠습니다. AI가 테마를 계속 고수할 수 있었기 때문에 큰 차이를 만들었습니다.

또한 AI는 특정 음악 형식으로 음악을 작곡해야 했습니다. 따라서 스케르초 악장이나 악장의 트리오 부분 또는 푸가 등을 위해 작곡하는 경우 이러한 각 음악 형식에는 특정 구조가 있습니다. AI는 푸가 쓰는 법, 트리오 쓰는 법, 푸가 쓰는 법, 스케르초 쓰는 법도 배워야 했다.

베토벤의 음악만 듣고 AI를 훈련시키셨나요? 아니면 다른 작곡가도 함께 사용하셨나요?

베토벤이 9개의 교향곡만 작곡했기 때문에 매우 어려웠습니다. AI가 수행해야 하는 규모에 비해 매우 작은 데이터 세트입니다. 그래서 우리가 접근한 방식은 먼저 우리 자신이 음악을 배우는 어린 베토벤처럼 상상하는 것이었습니다. 그는 무엇을 들었을까요?

그래서 우리는 마치 18세기에 살고 있는 누군가가 바흐, 헤이든, 모차르트 같은 바로크 음악을 듣는 것처럼 AI의 첫 번째 버전을 훈련했습니다. 그래서 그것이 AI의 첫 번째 버전이었습니다. 기본적으로 그 시대에 살고 있는 사람이라면 누구나 작곡을 공부할 음악이 될 것입니다. 그리고 나서 우리는 그것을 베토벤에 대해 특별히 훈련했습니다. 즉, 오래된 베토벤 소나타, 협주곡, 현악 4중주 및 교향곡뿐만 아니라 교향곡에도 적용됩니다.

우리는 먼저 AI를 훈련하여 작곡가의 전형적인 방식인 전체 교향곡이 아닌 두 줄의 음악으로 작곡을 생성하도록 훈련했습니다. 그래서 우리는 그 구성을 취하고 그것을 오케스트레이션하는 방법을 배우는 또 다른 AI를 갖게 되었습니다. 나는 이것이 인간이 배우는 방식과 매우 유사하다고 믿습니다. 첫 번째, 두 번째, 세 번째 단계를 먼저 거치지 않고는 4단계 대학을 제대로 마스터할 수 없습니다. 항상 점진적입니다.

이 교향곡은 2021년 10월 9일 베토벤 오케스트라 본이 초연했습니다.

어떻게 AI가 당신이 만든 멜로디를 가져와서 '베토벤이 이 멜로디를 어떻게 조화시킬까요?'라고 말하게 했죠?

우리가 음악을 조화시키는 방식은 AI를 사용하여 언어를 번역하는 방식과 매우 유사합니다. Google 번역이나 다른 AI를 사용하여 한 언어에서 다른 언어로 문장을 번역할 때와 같습니다. 번역에 사용되는 이러한 종류의 모델은 많은 배경 문장을 학습합니다. 그렇다면 독일어로 문장은 무엇입니까? 문장은 영어로 무엇입니까? 그리고 이를 통해 번역하는 방법을 배우려고 합니다.

따라서 기본적으로 [조화를 위해] 이러한 모델이 있다고 상상해 보십시오. 한 면에는 멜로디를 넣고 다른 면에는 베토벤이 어떻게 조화시킬 것인지를 넣어 AI가 멜로디 라인을 조화된 음악으로 번역하는 방법을 배웁니다.

음악의 중요한 점은 매우 구조화되어 있고 많은 규칙을 따른다는 것입니다. 그러나 이것은 우리가 포착하고 기록하기가 매우 어렵습니다. 그것을 진정으로 이해하려면 베토벤을 전문으로 하는 음악학 박사 학위가 있어야 합니다. 그러나 기계는 통계적으로나 수학적으로 매우 암묵적인 방식으로 이를 포착할 수 있으며 이를 사용하여 우리에게 이러한 조화를 제공할 수 있습니다.

나는 오케스트레이션이 그 과정의 자연스러운 발전이라고 생각합니다.

당신이 옳았다. 그 결정은 조화의 연장선에 불과합니다. 우리는 기계가 작곡을 멀티 트랙 악기로 번역하기를 원했고, 우리는 베토벤과 다른 작곡가들이 그렇게 하는 방식을 기반으로 AI를 훈련함으로써 또한 이 작업을 수행했습니다.

음악가와 작곡가의 반응은 어땠나요?

그들의 반응은 정말 엇갈립니다. 이것을 매우 좋아하는 사람들이 있고, 음악을 이해하고 작곡을 완성하거나 다른 음악적 아이디어를 탐색하도록 도와줄 수 있는 AI가 있다는 아이디어를 좋아합니다.

그러나 스펙트럼의 반대편에는 AI를 사용하여 베토벤 교향곡을 완성할 수 있다는 개념조차 거부하는 사람들이 있습니다. 그들은 AI가 자신의 직업을 앗아가는 것을 두려워하고 이런 종류의 일과 관련이 없다고 생각합니다.

완전히 독창적인 작품을 만들기 위해 AI를 얻을 수 있을까요?

응. 나는 그것에 대해 의심의 여지가 없습니다. 우리는 몇 년 전에 시각 예술에서 그렇게 했습니다. 우리는 거의 자율적인 AI 예술가를 개발했습니다. 예를 들어 지난 500년 동안의 서양 예술을 본 것입니다. 작업은 기본적으로 기존 스타일을 따르지 않는 새로운 작품을 생성하는 것이었습니다.

AI가 인상파나 피카소와 같은 예술이나 르네상스 스타일의 작품을 만들어 냈다면 깨달을 수 있었고 그래서 새로운 것을 창조하는 법을 배워야 할 것입니다.

이 프로젝트의 어려움은 사실 제약이었습니다. AI가 스스로 음악을 생성하는 것이 아니라 베토벤의 천재성을 기반으로 스케치를 따라 음악을 생성한다는 사실이었습니다. 이것은 더욱 어렵게 만듭니다. 물론 기대치를 높인 것은 베토벤의 스케치 때문이었습니다. 하지만 자율적으로 음악을 생성하는 경우에는 그게 더 쉬운 작업이라고 생각합니다.

 

아래의 교향곡을 들어보세요~