Colectează o listă de redare, găsește o piesă blocată în cap, scrie o piesă: ce poate face inteligența artificială cu muzica
Miscelaneu / / March 30, 2022
Recunoaște compozițiile
O piesă cool poate fi auzită oriunde: într-un centru comercial, într-o cafenea și chiar de la geamul unei mașini din apropiere, în timp ce stai într-un ambuteiaj. Pentru a nu rata melodia necunoscută care îți place, este suficient să pornești aplicația de recunoaștere. Numele compoziției și numele artistului din ele sunt date de inteligența artificială în câteva secunde. Adevărat, în spatele unui rezultat atât de rapid se află o pregătire temeinică: pentru a învăța rapid melodia, programul trebuie mai întâi să o amintească. Pentru a face acest lucru, rețelele neuronale sunt introduse într-o bibliotecă imensă de piste, iar apoi algoritmii convertesc sunetul într-o spectrogramă și îl descompun în timp, frecvență și intensitate.
Anatoly Starostin
Șef al serviciului de dezvoltare tehnologică la Yandex Media Services.
O spectrogramă este un grafic. Timpul este situat de-a lungul axei orizontale, frecvența sunetului este situată de-a lungul axei verticale, iar intensitatea lui la un moment fix este exprimată în culoare. Un semnal scăzut este reprezentat de o bară roșie în partea de jos și un semnal ridicat în partea de sus. Rezultatul este o imagine formată din dungi orizontale colorate. Analiza unor astfel de circuite ajută la recunoașterea muzicii. Când se lucrează cu spectrograme, se folosesc aceleași abordări ale rețelei neuronale ca și în analiza imaginilor.
Să presupunem că o persoană aude un cântec la radio și dorește să știe numele și artistul. Programul de recunoaștere construiește o spectrogramă a pasajului care sună și o trimite la biblioteca sa de piese. Apoi compară „imaginea” melodiei dorite cu spectrogramele altor compoziții și selectează cea mai precisă potrivire. În același timp, inteligența artificială recunoaște melodia chiar și prin interferențe grave, precum zgomotul drumului sau reparațiile într-un apartament învecinat.
Apropo, rețeaua neuronală este capabilă nu numai să identifice artistul și numele piesei blocate în cap, ci și să determine aproximativ genul acesteia. Pentru a face acest lucru, inteligența artificială este învățată să găsească modele în diferite stiluri muzicale. Astfel de caracteristici specifice sunt de obicei inaccesibile vederii și auzului uman. Dar datorită învățării automate, devine posibil să se calculeze genurile muzicale din imaginile spectrogramei.
Recomand cântece
Se pare că găsirea „aceeași” piesă care să se potrivească dispoziției tale în miliarde de melodii pe cont propriu este aproape la fel de puțin probabil ca să te îndrăgostești la prima vedere. Dar datorită algoritmilor de recomandare, potrivirile perfecte nu se întâmplă atât de des. În primul rând, inteligența artificială caută oameni cu gusturi similare, iar apoi formulele statistice sunt conectate: numărul de aprecieri, antipatii, redări și sărituri ale unei anumite compoziții.
Anatoly Starostin
Recomandarea cântecului funcționează după o schemă simplă: dacă lui Vasya i-a plăcut piesa X și apoi a evaluat-o și Petya, atunci când lui Vasya îi place Y, Petya ar trebui să recomande și piesa Y. Când algoritmul trebuie să găsească următoarea melodie, formula se aplică unui set de melodii potențiale. Cele mai potrivite plutesc până sus.
Conținutul „rece”, nevăzut în listele de redare ale ascultătorului în masă, se răspândește mai lent. Dar datorită rețelelor neuronale, artiștii necunoscuți și muzica de nișă au încă o șansă mică de a pâlpâi în fluxul de recomandări. Dacă simplificăm toate nuanțele tehnice, atunci putem spune că, în astfel de cazuri, inteligența artificială află cât de des un anumit utilizator ascultă melodii cu spectrograme similare și îl invită periodic să se familiarizeze cu altele noi urme.
Mary Gu
Cântăreaţă.
Uneori caut inspirație în recomandări. Încredințează alegerea compoziției serviciului de muzică, ascult melodiile, găsesc sunete sau texte interesante. Deci te poți îndrăgosti spontan de o piesă a unui artist necunoscut. Și un alt vers pe care l-am auzit din greșeală mă poate determina să îmi creez propriile poezii.
Rețelele neuronale ajută, de asemenea, la generarea de selecții muzicale pentru fitness, mers pe jos sau dormit. Editorii de conținut selectează piste de referință pentru algoritmi și, pe baza spectrogramelor lor, inteligența artificială extinde recomandările tematice.
genera muzica
Anterior, numai compozitorii puteau crea melodii. Acum este posibil fără participarea muzicienilor. În 2020, Olanda a găzduit primul Eurovision Song Contest pentru rețele neuronale - AI Song Contest. Australianul a câștigat colaborare inteligență artificială cu koala, kingfishers și diavoli tasmanieni. Cântecul a fost dedicat incendiilor de pădure care răvănesc pe continent. Sunetele animalelor au fost înregistrate în mostre scurte - fragmente de 1-2 secunde. Algoritmul le-a combinat cu hiturile tuturor câștigătorilor anteriori ai adevăratului Eurovision, după care au asamblat mostrele în propria lor melodie.
Acesta nu este singurul exemplu de uniune creativă de succes a programatorilor și rețelelor neuronale. În 2019, la închiderea Festivalului Internațional de Arte de Iarnă de la Soci, Orchestra de Stat a interpretat o piesă de 8 minute. A fost scris de compozitorul Kuzma Bodrov din fragmente separate de melodii generate de rețelele neuronale. Astăzi, crearea muzicii este cel mai promițător domeniu pentru dezvoltarea inteligenței artificiale.
Anatoly Starostin
Inteligența artificială poate crea muzică în trei moduri. Primul este legat de construcția de „cărămizi” gata făcute de sunet - mostre. În acest caz, algoritmul le aranjează pur și simplu în ordinea corectă pe mai multe piese audio, iar aranjatorul electronic mixează piesa terminată. A doua modalitate este de a genera notație muzicală. Este ca și cum ai scrie instrucțiuni pentru ca muzicianul să joace lucrarea terminată pe ea. Și a treia modalitate este de a înregistra semnalul audio „brut”. În acest caz, rețeaua neuronală în sine creează unde sonore care sunt similare, de exemplu, cu Mozart sau Beatles.
Apropo, rețelele neuronale pot scrie și poezie pentru cântece. Până acum, astfel de piese sună destul de ciudat, așa că compozitorii nu ar trebui să-și facă griji cu privire la șomaj. În plus, „mintea computerului” este lipsită de sentimente. Nu poate pătrunde în contextul emoțional și nu poate transmite experiențele care i-au forțat pe autorii lucrărilor să creeze.
Mary Gu
Poezia și muzica sunt în primul rând despre sufletul, lumea interioară, experiențele, sentimentele și emoțiile oamenilor. De exemplu, noua piesă „Don’t Burn Out” este povestea mea personală, dar este și despre toți cei care merg după un vis și încearcă să se înțeleagă. Nu cred că inteligența artificială va înlocui vreodată o persoană vie în industria muzicală. Dar aici puteți obține un tandem interesant „rețea umană – neuronală”. Cunoaștem deja zeci de exemple când inteligența artificială i-a ajutat pe compozitori să creeze melodii unice. De fapt, aceasta este o nouă direcție în lumea muzicii, care, sunt sigur, va avea propriul ascultător și public în viitor.
Inteligența artificială face creativitatea accesibilă tuturor, iar muzica o ajută să se dezvolte. Pentru a înțelege modul în care acești doi poli converg și se influențează unul pe celălalt, puteți „Numerele lecției” de la Yandex - „Arta digitală: muzică și IT”. Împreună cu eroii benzilor desenate, participanții vor învăța cum rețelele neuronale recunosc și generează melodii și ce tehnologii ajută în activitatea serviciilor muzicale pe care le cunoaștem. La lecție, elevii vor încerca să ghicească ei înșiși melodia după spectrogramă și să alcătuiască un playlist cu recomandări.
Vreau să „Numerele lecției”
Acoperi: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker