Vertexi transkribeerimisteenus
Juhtumi ülevaade
Tehisintellektil põhinev meediasisalduse töötlemise platvorm, mis on loodud käsitlema miljoneid helide ja videote minuteid. See võtab aramea ja inglise keeles haridusloengute salvestused ning muudab need puhtaks, vormindatud tekstiks, sisaldades õiget kirja, diakriitikamärke, kontrollitud viiteid ning ajastatud subtiitreid. Kui video fail saabub, tuvastab süsteem selle automaatselt, ekstraktib heliraja ning suunab selle samasse transkribeerimisvoogu.
Eesmärk: Luua meediavoog, mis suudab töödelda miljoneid minuteid sisu ja pakkuda avaldamiseks sobivat teksti, subtiitreid ja HLS-vooge võimalikult vähe käsitööd nõudes. Töötleda nii heli kui videot ühest voost, transkribeerida mitmekeelset sisu kõrge täpsusega ning skaleerida dünaamiliselt Kubernetes'i peal, et hallata üle 300 samal ajal käiva salvestuse.
Põhiprojekti info
Tööstusharud
Haridussisu platvormid, usulised institutsioonid, meediaväljaanded, e-õppe ettevõtted, loengute arhiivid, akadeemilised sisukogud.
Teenused
Tehisintellekti transkribeerimine, videote töötlemine, heli ekstraktimine, HLS mitmekordse bittikiirusega kodeerimine, subtiitrite genereerimine, partiide orkestreerimine, allikaviidete kontrollimine, pilvesalvestuse tarnimine, pisipiltide ja eelvaadete loomine.
Lahendused
Ühtne heli ja video voog, automaatne vormingu tuvastus, mitmekeelne transkribeerimine, skripti teisendus diakriitikatega, vaikusepõhine lõikamine, ajatempli kokkuliitmine, usuliste viidete kontrollimine, dünaamiline tehisintellekti mudelite valik.
Tehnoloogiad
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-serverid, HLS (m3u8), asünkroonne Python, ühenduste haldamine, CI/CD töövoog.
Väljakutsed
Segakeelne keerukus
Helisalvestuses vaheldub keel aramea, inglise ja teiste keelte vahel. Vajati spetsiaalset tehisintellekti juhendamist ja mitmeastmelist tekstiprotsessi, et rakendada kogu ulatuses korrektseid diakriitikuid ja vormindust.
Video ja heli ühes voos
Süsteem pidi töötlema nii puhast heli kui ka videokonteinereid. FFprobe-põhine automaatne tuvastus ekstraktib helivoo igast videoformaadist enne töötlemist – kasutaja sekkumist ei nõuta.
Skaleeritus miljonite minutite jaoks
Algselt loodud massiivseks mahuks: täielikult asünkroonne, paralleelne ja Kubernetes'ile omane, sobiva ressursside haldusega, et neelata partiikoormuse kõikumisi.
Nutikas lõikamine pikkadeks õppeheli failideks
Loengud kestavad sageli kauem kui tund. Vaikuse tuvastamise lõikamine jagab failid loomulikult, samas ajatempli kokkuliitmine taastab sujuva pideva ajajoone ilma katkestuste või kattumiseta.
Tark ürituste kordamise süsteem tehisintellekti töökoormuse jaoks
Sajad samaaegselt toimivad tehisintellekti ülesanded vajutavad mõningaid pakkuja limiite raskelt. Nutikas kordusloogika, adaptiivne eksponentsiaalne tagasipõrge ja järjekorrahalldus hoiavad voogu liikumas ilma tööde kaotamiseta.
AI mudeli valik kulutõhususeks
Kolme tehisintellekti mudeli tasandid – võimas, kiire ja kergekaaluline – valitakse dünaamiliselt sisu pikkuse ja keerukuse põhjal, pakkudes kuni 60% madalamaid API-kulusid lühema sisu puhul.
Tööprotsess
Iga fail – olgu see toores heliloeng või täispikk videosalvestus – liigub ühe automaatse torujuhtme kaudu. Kaheksa järjestikust etappi viivad selle toore sisendi juurest avaldamiseks valmis väljundini, samal ajal töötavad videote töötlemise moodulid paralleelselt, nii et miski ei pea midagi ootama.
Meedia tuvastamine ja ettevalmistamine
FFprobe määrab, kas fail on heli või video. Video puhul ekstraktitakse automaatselt heliriba. Seejärel määratakse kestus ja vorming, mis määrab töötlemise strateegia.
Vaikusepõhine heli jagamine
Failid, mis on pikemad kui 20 minutit, jagatakse loomulikes vaikusepunktides osadeks, nii et ükski fraas ei katkeks keskelt lauset, võimaldades kõigi osade samaaegset paralleelset transkriptsiooni.
Tehisintellekti transkribeerimine
Iga osa saadetakse Gemini Pro või Flash-ile – valitakse sisu pikkuse järgi – koos struktureeritud skeemiga, mis sunnib mudelit tagastama ajastatud teksti kõnelejate siltidega.
Ajajoone ühendamine
Kõik transkribeeritud osad lõimitakse tagasi korrektselt aja nihkega üheks sujuvaks dokumendiks, saavutades 99% täpse ajatempli joondamise kogu salvestuse ulatuses.
Teksti järelprotsessimine
Tooresskriptsioon läbib kirja teisenduse, diakriitikate rakendamise, vorminduse puhastamise ning usuliste allikaviidete kontrolli välishalduse andmebaasi vastu.
Videote töötlemine (paralleelselt)
Kui transkriptsioon töötab, haldab video moodul HLS mitmekordse bittikiirusega kodeerimist, pisipiltide loomist, eelvaateklippide tegemist ja mitme helivoo töötlemist FFmpeg'i abil.
Subtiitrite ja kokkuvõtete genereerimine
Lõplikust kinnitatud tekstist genereeritakse ajastatud subtiitrite failid (.vtt / .srt) koos automaatse metainfo kokkuvõttega sisukogule.
Pilve tarnimine
Kõik – transkriptsioon, subtiitrid, kokkuvõtted, HLS vood – laaditakse üles AWS S3-sse koos linkidega, mis antakse sisutiimile. Täielik andmete säilitamine isegi ühenduse katkestuste ajal.
Lahendused
Lahenduse põhiomadused
Ühtne heli- ja videopuu — FFprobe tuvastab formaadid automaatselt. Üks sissepääsupunkt käsitleb MP4, MKV, WebM, MOV ja heli ilma manuaalse konverteerimiseta.
Mitmekeelne AI transkriptsioon — Käitleb inglise, aramea ja segakeelseid salvestisi, säilitades keelepiirid ja rakendades õigeid kirjutamiskonventsioone.
Dünaamiline AI mudeli valik — Pro, Flash ja Flash-Lite kihid valitakse automaatselt faili pikkuse ja sisutüübi järgi — maksimeerides täpsust ja minimeerides API kulusid.
HLS mitme bitikiiruse voogesitus — Paralleelne video töötlemine toodab adaptiivse bitikiirusega vooge, pisipilte ja eelvaatlusklippe, mis sobivad igale kaasaegsele videopleierile.
300+ samaaegset partiitööd — Kubernetesi natiivne asünkroonne arhitektuur haldab suuri partiisid ilma blokeerimiseta. Helm chartid haldavad juurutamist ja skaleerimist ARM-instantsidel.
Tulemused numbrites
99%
Täpsus inglise ja aramea helisisu puhul, kus õiged kirjutamisreeglid ja diakriitika rakendatakse automaatselt.
300+
Transkriptsioonitööd töödeldakse samaaegselt, kasutades nutikat järjekorra haldust ja adaptiivset tagasilükkamist.
60%
Säästud dünaamilise mudeli valiku kaudu — kergemad mudelid töötlevad automaatselt lühemaid sisusid.
100%
Andmete kadu puudub isegi ühenduse katkestuste ajal, automaatne sünkroonimine toimub ühenduse taastamisel.
