Een zangeres met een muts op staat achter een ouderwetse microfoon. Haar ogen zijn nat, ze zingt "Left the porch light on again". Onder de clip vraagt Marko Grönroos: "It's a human singer, right? RIGHT???" Nee. Die zangeres bestaat niet. Het beeld komt uit Kling 4.0, het lied uit Suno V6, en haar mond beweegt mee dankzij lipsync AI.
De clip is van Simon Mayr, die zichzelf een digitale cameraman en regisseur noemt. Hij zette hem op maandag 28 september om 20.11 uur Nederlandse tijd op X, dezelfde dag dat Kling versie 4.0 aankondigde.
Hij zegt er eerlijk bij dat Kling de post sponsort en dat hij vooraf toegang kreeg. Bij onze meting, in de nacht van 30 september op 1 oktober, stond de post op 765 likes, 93 reacties en 144.946 weergaven.
Openingsbeeld: still uit de clip van Simon Mayr.
Het lied komt uit Suno V6, de tekst schreef hij grotendeels zelf
In de post zelf staat niets over de muziek. Juist daar gingen de reacties over. Van de 84 reacties van anderen die we konden lezen, gingen er 16 over het lied.
Tien daarvan vroegen of de muziek of de zang AI was. Michael Dragich schreef: "For once, I can't actually tell, and that seems like a huge tipping point."
Woensdagavond gaf Simon antwoord. Op de vraag of de muziek uit Suno V6 komt, schreef hij "Yes!".
Tegen Dragich zei hij: "it's all ai! (I wrote lyrics and directed everything though)". Aan iemand anders schreef hij dat hij "big parts" van de tekst zelf schreef.
Het nummer zelf zou hij op 1 oktober op zijn YouTube-kanaal zetten, schreef hij.
Dat is de volgorde die ook bij ons werkt: eerst een eigen tekst, dan het lied, dan pas beeld. Wat Suno V6 anders doet dan de vorige versie, lees je in ons stuk over Suno V6.
Zo liet hij de mond meezingen
Simon beschrijft zijn lipsync-methode in één zin: "rendering the actual music track with a black frame and combining it with the stills I created." Uitgeschreven zijn dat drie stappen.
- Maak eerst de stilstaande beelden. Een foto-achtig beeld van de zangeres, het podium, de trompettist. Die beelden bepalen hoe iedereen eruitziet.
- Maak van het lied een zwart filmpje. Je zet je audiobestand onder een zwart beeld en exporteert dat als video. Het beeld doet niets, het gaat om het geluid dat erin zit.
- Geef Kling allebei. Het stilstaande beeld zegt wie er zingt, het zwarte filmpje zegt wat er gezongen wordt. Kling laat de mond dan op dat geluid bewegen.
Kling schrijft in de aankondiging van 4.0 dat je nu "images, videos, and audio as references" in één invoervak combineert. Waarom Simon het geluid toch in een zwart filmpje stopte, legt hij niet uit.
De truc zelf is niet nieuw. Travis Davids schreef op 16 april dat Seedance 2.0 bij een los geüpload audiobestand "actually changes the lyrics and even the song itself".
Een leeg filmpje met het lied erin, als videoreferentie, gaf hem wel goede lipsync. Hij gaf de eer aan @simeonnz en testte het met een lied uit Suno 5.5.
Welke prompts Simon gebruikte, zegt hij niet. Jay Sensei vroeg erom, met de opmerking dat bij Seedance 2.5 "the lyrics changed and you only get 80% in most successful cases".
Daar zit het echte probleem van lipsync AI bij muziek: het model hoort de zin, maar verzint soms een andere.
In 53 van de 108 seconden zie je haar mond
We hebben de video gedownload en per seconde één beeld bekeken. Dat zijn 108 beelden, die we met de hand hebben ingedeeld: zie je de mond van de zangeres, staat ze in silhouet, staat ze met haar rug naar je toe, of zie je de band of het publiek?
De mond van de zangeres staat in 14 losse stukken in beeld. Het langste stuk duurt zes seconden.
Tussen 58 en 67 seconden speelt de trompet een solo en zingt er niemand. De scènedetectie van ffmpeg vindt 40 tot 57 knippen, afhankelijk van hoe gevoelig je hem zet. Een shot duurt in de helft van de gevallen korter dan 1,8 seconde.
Kling kan volgens de post clips van 30 seconden maken, maar in deze video zie je nergens 30 seconden zang achter elkaar.
Wat dit niet bewijst: één beeld per seconde mist korte shots, en de indeling is ons eigen oordeel. Een knip betekent ook niet dat er een nieuwe generatie begint. Kling 4.0 kan volgens Simon meerdere shots in één keer maken.
Lipsync AI die overtuigt, met een montage die meehelpt
De kijkers vinden de lipsync goed. "This looks so real, the lip sync and camera feel genuinely alive", schreef Laurent. In de reacties die wij lazen, wees niemand een zin aan waarop de mond niet klopt. Dat tien mensen vroegen of de muziek of de zang AI was, zegt genoeg.
Maar de clip is ook slim gemaakt. Zwart-wit verbergt huid die net niet klopt. Een silhouet laat de mond zien als vorm, niet als detail. Bij een rug zie je hem helemaal niet.
En elke keer als het lastig wordt, zie je een trompet of een bas. In 55 van de 108 seconden zie je haar mond niet van dichtbij.
Dat is geen bedrog, dat is gewoon goede regie. Het betekent wel dat je van deze clip niet kunt afleiden hoe Kling een heel couplet in één shot volhoudt.
Snelle montage is nog geen bewijs dat er iets verstopt wordt
Ons eigen argument heeft een zwakke plek. Simon werkte eerder al bewust met korte stukken.
In een LinkedIn-post uit januari schreef hij dat hij het lied in stukken van 20 seconden knipte, omdat de kwaliteit aan het eind van een lange clip inzakt: "From each generation, maybe 3-4 seconds are actually usable. Just like real footage." Die clip maakte hij nog met oudere versies van Kling en andere tools.
Echte muziekvideo's knippen ook elke paar seconden. Een shot van twee seconden is in een clip gewoon normaal. En we zien alleen wat Simon heeft gehouden, niet wat hij weggooide. Misschien had hij prima lange takes en koos hij toch voor korte shots. Dat kunnen we niet weten.
De kritiek onder de post gaat ook niet vooral over de mond. Herval vond het publiek dat het laatste woord van elke zin herhaalt "kinda the only thing that gives it away". Thomas Chapin vond diezelfde echo juist "sublime".
BongBong zag dat een hangende studiomicrofoon nooit op zo'n podium staat. En Jason Bennett vond het "sterile, predictable and lifeless. All technique, no soul."
Over de claims in de post zelf blijven we voorzichtig. "Cheaper than seedance" en "A LOT faster" staan in een gesponsorde post, en iemand vroeg terecht waar de prijs dan staat. Adam Grumbo kon Kling 4.0 een dag later nog nergens vinden.
Dat klopt ook. "OUT TODAY" gold op 28 september alleen voor de snellere Flash-versie, en dan nog voor een kleine groep. Kling schrijft zelf dat Kling 4.0 Flash die dag opende voor abonnees met een Ultra-jaarabonnement.
Een prijs per seconde voor 4.0 stond op 1 oktober nog niet op de prijspagina voor ontwikkelaars: daar staat "Kling 4.0 API Coming Soon".
Test eerst je moeilijkste regel
Heb je een lied en wil je er een clip met een zingend personage bij? Begin dan niet met het hele nummer. Zoek de regel met de meeste woorden achter elkaar, of een stuk waarin alleen "oeh" of "hm" gezongen wordt. Joseph, die een hele clip met MiniMax H3 maakte, noemde juist dat neuriën het moeilijkst.
Knip die vijf seconden uit je lied en test alleen die.
Kijk daarna met het geluid uit naar de mond, en lees mee met de tekst. Klopt die regel, dan klopt de rest meestal ook.
Zing je in het Nederlands, test dan extra goed. In de vergelijking tussen 3.0 en 4.0 noemt Kling Chinees, Engels, Japans, Koreaans, Spaans, Portugees, Duits, Frans en Hindi, "and more".
Nederlands staat er niet bij. Of dat ook geldt voor een lied dat je zelf aanlevert, zegt Kling niet.
Nog geen lied? Via muziek maken met AI heb je in een paar minuten een eerste versie, met je eigen tekst. Meer over de basis staat bij liedje maken met AI.
Wil je geen personage maar een eenvoudigere video, kijk dan bij AI muziekvideo maken of muziek onder filmpje zetten. En wie zelf wil zingen in plaats van een verzonnen zangeres, kan het lied met een AI stem van zijn eigen stem laten zingen.
Pas bij de brede uitrol in oktober zie je clips zonder sponsor
Kling schrijft op de eigen blog: "The all-new Kling 4.0 will officially launch in October." Een datum staat er niet bij.
Vanaf dan testen ook makers die niet door Kling gesponsord worden de lipsync, en dan zie je snel of zij ook lange close-ups durven te laten staan. Blijven die clips vol trompetten en silhouetten staan, dan weet je waar de grens nog ligt.
Veelgestelde vraag: lipsync AI met Kling en Suno
Welke AI maakte het lied in de clip van Simon Mayr?
Suno V6. Dat bevestigde Simon op 30 september in een reactie onder zijn post. De tekst schreef hij volgens eigen zeggen grotendeels zelf.
Hoe maak je lipsync AI op je eigen lied?
Simon maakte eerst stilstaande beelden van zijn personages. Daarna zette hij het lied onder een zwart beeld en gaf hij dat filmpje samen met de beelden aan Kling 4.0. Kling liet de mond op het geluid bewegen.
Kun je Kling 4.0 al gebruiken?
Nog niet voor iedereen. Simon had vooraf toegang via Kling. Kling 4.0 Flash is sinds 28 september open voor een kleine groep, de volledige versie komt volgens Kling in oktober.