Joe Maring / Android Authority
Tl; dr
- YouTube planlægger at lancere AI-genereret læbesynkronisering til automatisk kaldet videoer.
- Det kan snart begynde at teste funktionen på engelsk, fransk, tysk, portugisisk og spansk.
- Funktionen kan pådrage sig yderligere gebyrer, som sandsynligvis skal bæres af brugere.
Uanset om du kan lide det eller ej, bakker Google ikke ned på sine forsøg på at øge engagementet ved automatisk at oversætte lyd til dit modersmål. Efter kontinuerlige og urokkelige knivstikker ved blot at oversætte lyd med autodubbing kan YouTube muligvis tage det et hak højere med realistisk udseende lyddubber med nøjagtig læbesync i et forsøg på at gøre videoer mere tiltalende med AI.
YouTubes produktleder til auto-dubbing, Buddhika Kottahachchi, for nylig detaljerede teknologien bag læbesynede autodubs i en samtale medDigitale tendenser. Kottahachchi informerede publikationen om, at systemet foretager komplicerede ændringer på pixelniveau for at ændre højttalerens mund, hvilket sikrer, at dub'en ser realistisk ud. Det drives af en brugerdefineret AI bygget til at forstå nuancerne i ansigtsstruktur, herunder 3D -opfattelse af læberne, tænderne og endda forskellige ansigtsudtryk. Ser vi på Googles succes med sin VEO3-tekst-til-video-model, mener vi, at den skal være i stand til at opnå bragden med overbevisende niveauer af realisme.
I øjeblikket understøtter funktionen Lip Sync kun 1080p -opløsning og kan ikke behandle 4K -videoer. Sprogstøtte vil også være begrænset til engelsk, fransk, tysk, portugisisk og spansk, men virksomheden planlægger at udvide det til over 20 sprog - alle dissestøttet i øjeblikketAf YouTubes auto-Dubbing-funktion.
Vil du ikke gå glip af det bedste fra Android Authority?
Mere læsning:
YouTube giver ikke nogen konkrete løfter om, at han har tilgængelighed, men det kan begynde dette som en pilot med et lille sæt skabere, da detOprindeligt gjorde detmed auto-dubbing-funktionaliteten. I betragtning af at det blev rullet ud til et bredere sæt brugere, der kun var i sidste måned, kan læbesynkronisering tage sin egen søde tid at blive tilgængelig på tværs af flere kanaler. Og selvom det kun forventes at udvide rækkevidde, kan vi forvente, at skabere har mulighed for at slukke for funktionen til deres kanal eller bestemte videoer.
Funktionen kan efter sigende også komme til et ekstra gebyr, skønt det nøjagtige tal ikke er afsluttet. Uanset om det er forbrugeren eller kanalen, der bærer prisen på funktionen, er også værd at se, selvom det sandsynligvis er førstnævnte.
Naturligvis er bekymringer om automatiske læbesynker, der misbruges, bundet til at opstå, især når andre kanaler genplacerer videoer uden ordentlig tilladelse. I et forsøg på at bekæmpe det har YouTube til hensigt at tilføje en beskrivende afsløring sammen med et usynligt fingeraftryk, der ligner Synthid.
Især er YouTube ikke den eneste videoplatform med sådanne igangværende planer. Sidste år lancerede Meta et pilotprogram med Instagram-skabere til dub og læber-synkronisering af deres hjul til andre sprog. Vi har endnu ikke lært mere om dens succes, bortset fra at det for nylig varudvidettil fire sprog, herunder engelsk, hindi, portugisisk og spansk.
Tak for at være en del af vores samfund. Læs vores kommentarpolitik, inden du poster.
