Vertexi transkribeerimisteenus
Juhtumi ülevaade
Tehisintellektil põhinev meediatöötlusplatvorm, mis on loodud töötlema miljoneid minutit heli- ja videomaterjali. See võtab haridusloengute salvestised — aramea ja inglise keeles — ning muudab need puhastatud, vormindatud tekstiks, millel on korrektne kiri, diakriitilised märgid, kinnitatud viited ja ajastatud subtiitrid. Kui videofail saabub, tuvastab süsteem selle automaatselt, eraldab heliraja ning suunab selle sama transkriptsiooniputkeni.
Eesmärk: Luua meediaputk, mis suudab töödelda miljoneid minutit sisu ja tarnida avaldamiseks valmis teksti, subtiitreid ja HLS-vooge võimalikult vähe käsitsitööd vajades. Töötleda nii heli kui videot üheainsa putke kaudu, transkribeerida mitmekeelset sisu suure täpsusega ning skaleerida dünaamiliselt Kuberneteses, et hallata üle 300 samaaegse salvestuse partii.
Peamised projekti andmed
Tööstusharud
Teenused
Lahendused
Tehnoloogiad
Väljakutsed
Segakeelne keerukus
Heli vahetub salvestuse ajal aramea, inglise ja teiste keelte vahel. Õige diakriitika ja vormindamise tagamiseks oli vaja eraldi tehisintellekti juhendamist ja mitmeastmelist tekstitöötlust.
Video ja heli ühe putke kaudu
Süsteem pidi töötlema nii puhtaid helifaile kui ka videokonteinereid. FFprobe-põhine automaatne tuvastamine eraldab heli igast videovormingust enne töötlemist — kasutaja sekkumist pole vaja.
Skaalautuvus miljonite minutite jaoks
Loodud suurte mahutite jaoks algusest peale: täiesti asünkroonne, paralleelne ja Kubernetesesõbralik õigete ressursside haldamisega, mis talub partiide koormuse tõuse.
Nutikas failide lõikamine pikkadele loengutele
Loengud kestavad tihti kauem kui tund. Vaikuse alusel lõikamine jagab failid loomulikult tükkideks, samal ajal kui ajatempli kokku panemine loob katkematu järjepideva ajajooni ilma aukude või kattumisteta.
Tark taasesitussüsteem tehisintellekti töökoormustele
Sajad samaaegselt töötavad AI ülesanded suruvad teenusepakkujate piire. Tark taasesitusloogika, kohanduv eksponentsiaalne tagasilöök ja järjekorraline juhtimine hoiavad putke töös ilma tööde kadumiseta.
AI mudeli valik kulutõhususe jaoks
Kolm AI mudelitaset — võimas, kiire ja kerge — valitakse dünaamiliselt sisu pikkuse ja keerukuse põhjal, vähendades lühema sisu API-kulusid kuni 60%.
Protsess
Iga fail — olgu see kas toores helilõigus või täielik videosalvestis — liigub läbi ühe automatiseeritud putke. Kaheksa järjestikust etappi võtavad selle toores sisendist avaldamiseks valmis väljundiks, kus videote töötlemine toimub paralleelselt, nii et miski ei pea midagi ootama.
Meedia tuvastamine ja ettevalmistamine
Vaikuse põhine heli lõikamine
AI transkriptsioon
Ajajoone kokkupanek
Teksti järeltootmine
Video töötlemine (paralleelselt)
Subtiitrid ja kokkuvõtte genereerimine
Pilvepõhine tarnimine
Lahendused
Lahenduse peamised funktsioonid
Ühtne heli- ja videoputk — FFprobe tuvastab formaadid automaatselt. Üks sissepääsupunkt töötleb MP4, MKV, WebM, MOV ning heli ilma käsitsi konverteerimiseta.
Mitmekeelne tehisintellekti transkriptsioon — Töötleb inglise, aramea ja segakeelseid salvestisi, säilitades keelepiirid ja rakendades õigeid kirjasüsteemi konventsioone.
Dünaamiline tehisintellekti mudeli valik — Pro, Flash ja Flash-Lite kihid valitakse automaatselt faili pikkuse ja sisutüübi alusel — maksimeerides täpsust ja minimeerides API kulusid.
HLS mitme bitikiiruse voogesitus — Paralleelne video töötlemine loob adaptiivseid bitikiiruse vooge, pisipilte ja eelvaateklippe, mis on valmis kasutamiseks igas moodsas videopleieris.
300+ samaaegset partiitööd — Kubernetes'i-natiivne asünkroonne arhitektuur haldab suuri partiisid ilma blokeerimata. Helm diagrammid juhivad juurutamist ja skaleerimist ARM-i instantsidel.
Tulemused numbrites
99%
Täpsus inglise ja aramea keelse helisisu puhul, kus õige kirjasüsteem ja diakriitikad rakenduvad automaatselt.
300+
Transkriptsioonitööd töödeldakse samaaegselt nutika järjekorralduse ja adaptiivse tagasilükkamisega.
60%
Säästud dünaamilise mudeli valiku tõttu — kergemad mudelid töötlevad lühemaid sisusid automaatselt.
100%
Andmete kaotus puudub ka ühenduse katkemise korral, automaatse sünkroonimisega pärast ühenduse taastamist.
