Vertexi transkribeerimisteenus
Juhtumi ülevaade
Tehisintellektil põhinev meediatöötlusplatvorm, mis on loodud töötlema miljoneid minutit heli- ja videomaterjali. See võtab haridusloengute salvestised — aramea ja inglise keeles — ning muudab need puhastatud, vormindatud tekstiks, millel on korrektne kiri, diakriitilised märgid, kinnitatud viited ja ajastatud subtiitrid. Kui videofail saabub, tuvastab süsteem selle automaatselt, eraldab heliraja ning suunab selle sama transkriptsiooniputkeni.
Eesmärk: Luua meediaputk, mis suudab töödelda miljoneid minutit sisu ja tarnida avaldamiseks valmis teksti, subtiitreid ja HLS-vooge võimalikult vähe käsitsitööd vajades. Töötleda nii heli kui videot üheainsa putke kaudu, transkribeerida mitmekeelset sisu suure täpsusega ning skaleerida dünaamiliselt Kuberneteses, et hallata üle 300 samaaegse salvestuse partii.
Peamised projekti andmed
Tööstusharud
Haridussisu platvormid, usulised asutused, meediaväljaandmine, e-õppe ettevõtted, loengute arhiivid, akadeemilised sisukogud.
Teenused
Tehisintellekti transkriptsioon, video töötlemine, heli eraldamine, HLS mitme bitikiirusega kodeerimine, subtiitrite genereerimine, partiide orkestreerimine, allikaviidete kontrollimine, pilvepõhine salvestus ja tarnimine, pisipiltide ja eelvaadete genereerimine.
Lahendused
Ühtne helivideo töötlemise putk, automaatne formaadi tuvastamine, mitmekeelne transkriptsioon, kirjamuundus koos diakriitiliste märkidega, vaikuse põhine lõikamine, ajatempli kokku õmblemine, usuliste allikate kontrollimine, dünaamiline AI mudeli valik.
Tehnoloogiad
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-i instantsid, HLS (m3u8), asünkroonne Python, ühenduste haldamine, CI/CD putk.
Väljakutsed
Segakeelne keerukus
Heli vahetub salvestuse ajal aramea, inglise ja teiste keelte vahel. Õige diakriitika ja vormindamise tagamiseks oli vaja eraldi tehisintellekti juhendamist ja mitmeastmelist tekstitöötlust.
Video ja heli ühe putke kaudu
Süsteem pidi töötlema nii puhtaid helifaile kui ka videokonteinereid. FFprobe-põhine automaatne tuvastamine eraldab heli igast videovormingust enne töötlemist — kasutaja sekkumist pole vaja.
Skaalautuvus miljonite minutite jaoks
Loodud suurte mahutite jaoks algusest peale: täiesti asünkroonne, paralleelne ja Kubernetesesõbralik õigete ressursside haldamisega, mis talub partiide koormuse tõuse.
Nutikas failide lõikamine pikkadele loengutele
Loengud kestavad tihti kauem kui tund. Vaikuse alusel lõikamine jagab failid loomulikult tükkideks, samal ajal kui ajatempli kokku panemine loob katkematu järjepideva ajajooni ilma aukude või kattumisteta.
Tark taasesitussüsteem tehisintellekti töökoormustele
Sajad samaaegselt töötavad AI ülesanded suruvad teenusepakkujate piire. Tark taasesitusloogika, kohanduv eksponentsiaalne tagasilöök ja järjekorraline juhtimine hoiavad putke töös ilma tööde kadumiseta.
AI mudeli valik kulutõhususe jaoks
Kolm AI mudelitaset — võimas, kiire ja kerge — valitakse dünaamiliselt sisu pikkuse ja keerukuse põhjal, vähendades lühema sisu API-kulusid kuni 60%.
Protsess
Iga fail — olgu see kas toores helilõigus või täielik videosalvestis — liigub läbi ühe automatiseeritud putke. Kaheksa järjestikust etappi võtavad selle toores sisendist avaldamiseks valmis väljundiks, kus videote töötlemine toimub paralleelselt, nii et miski ei pea midagi ootama.
Meedia tuvastamine ja ettevalmistamine
FFprobe tuvastab, kas fail on heli- või videofail. Video puhul eraldatakse helirada automaatselt. Kestuse ja formaadi analüüs määrab seejärel töötlemise strateegia.
Vaikuse põhine heli lõikamine
Pikemad kui 20-minutilised failid lõigatakse vaikuse loomulike punktide juures tükkideks, et miski fraas ei jääks pooleldi poole lause peale; võimaldades kõiki tükke samaaegselt paralleelselt transkribeerida.
AI transkriptsioon
Iga tükk saadetakse Gemini Pro või Flashi juurde — valitakse sisu pikkuse järgi — koos struktureeritud skeemiga, mis sunnib mudelit tagastama ajastatud teksti kõnesildiga.
Ajajoone kokkupanek
Kõik transkribeeritud tükid pannakse tagasi õigete aja nihkega üheks sujuvaks dokumendiks, kus kogumikus on 99%-line ajatempli joondamise täpsus.
Teksti järeltootmine
Tooresskriptsioon läbib kirjamuunduse, diakriitikate lisamise, vorminduse puhastamise ja usuliste allikate viidete kontrolli välise andmebaasi vastu.
Video töötlemine (paralleelselt)
Kuni transkriptsioon töötab, tegeleb videomoodul HLS mitme bitikiirusega kodeerimise, pisipiltide loomise, eelvaadete tegemise ja mitme helirada haldamisega FFmpeg abil.
Subtiitrid ja kokkuvõtte genereerimine
Lõplikust kinnitatud tekstist genereeritakse ajastatud subtiitrite failid (.vtt / .srt) koos automaatse metaandmete kokkuvõttega sisukogule.
Pilvepõhine tarnimine
Kõik — transkriptsioon, subtiitrid, kokkuvõte, HLS-vood — laaditakse üles AWS S3 pilvesalvestusse ning lingid antakse sisutiimile. 100% andmekadu isegi ühenduse katkemise korral.
Lahendused
Lahenduse peamised funktsioonid
Ühtne heli- ja videoputk — FFprobe tuvastab formaadid automaatselt. Üks sissepääsupunkt töötleb MP4, MKV, WebM, MOV ning heli ilma käsitsi konverteerimiseta.
Mitmekeelne tehisintellekti transkriptsioon — Töötleb inglise, aramea ja segakeelseid salvestisi, säilitades keelepiirid ja rakendades õigeid kirjasüsteemi konventsioone.
Dünaamiline tehisintellekti mudeli valik — Pro, Flash ja Flash-Lite kihid valitakse automaatselt faili pikkuse ja sisutüübi alusel — maksimeerides täpsust ja minimeerides API kulusid.
HLS mitme bitikiiruse voogesitus — Paralleelne video töötlemine loob adaptiivseid bitikiiruse vooge, pisipilte ja eelvaateklippe, mis on valmis kasutamiseks igas moodsas videopleieris.
300+ samaaegset partiitööd — Kubernetes'i-natiivne asünkroonne arhitektuur haldab suuri partiisid ilma blokeerimata. Helm diagrammid juhivad juurutamist ja skaleerimist ARM-i instantsidel.
Tulemused numbrites
99%
Täpsus inglise ja aramea keelse helisisu puhul, kus õige kirjasüsteem ja diakriitikad rakenduvad automaatselt.
300+
Transkriptsioonitööd töödeldakse samaaegselt nutika järjekorralduse ja adaptiivse tagasilükkamisega.
60%
Säästud dünaamilise mudeli valiku tõttu — kergemad mudelid töötlevad lühemaid sisusid automaatselt.
100%
Andmete kaotus puudub ka ühenduse katkemise korral, automaatse sünkroonimisega pärast ühenduse taastamist.
