Vertexi transkriptsiooniteenus
Juhtumi ülevaade
Tehisintellektil põhinev meedia töötlemise platvorm, mis on loodud miljonite minutite heli- ja videosisu käitlemiseks. See võtab aramea ja inglise keeles salvestatud õppetunnid ning teisendab need puhastatud, vormindatud tekstiks koos korrektselt vormistatud kirjapildi, diakriitiliste märkide, kontrollitud viidetega ja ajastatud subtiitritega. Kui tuleb videofail, tuvastab süsteem selle automaatselt, eraldab heliraja ja juhib läbi sama transkriptsioonitoru.
Eesmärk: Luua meediapipeline, mis suudab töödelda miljonite minutite mahus sisu ning tarnida avaldamiseks valmis teksti, subtiitreid ja HLS vooge – võimalikult vähe käsitsi tööd nõudes. Töötleda nii heli kui videot ühe torujuhtme kaudu, transkribeerida mitmekeelseid aineid kõrge täpsusega ning skaleeruda dünaamiliselt Kubernetesel, et hallata üle 300 samaaegset salvestust.
Projekti põhiinfo
Tööstusharud
Haridusliku sisu platvormid, usulised institutsioonid, meediaväljaandjad, e-õppe ettevõtted, loengute arhiivid, akadeemilised sisuraamatukogud.
Teenused
Tehisintellektil põhinev transkriptsioon, video töötlemine, heli eraldamine, HLS multi-bitrate kodeerimine, subtiitrite genereerimine, partii korraldus, allikaviidete kontroll, pilvesalvestuse tarnimine, pisipildi ja eelvaate genereerimine.
Lahendused
Ühtne helip/video torujuhe, automaatne formaadi tuvastamine, mitmekeelne transkriptsioon, kirjatüübi konverteerimine diakriitiliste märkidega, vaikusepõhine failide jagamine, ajatempli kokkuliitmine, usuliste viidete kontroll, dünaamiline tehisintellekti mudeli valik.
Tehnoloogiad
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-instantsid, HLS (m3u8), asünkroonne Python, ühenduste haldamine, CI/CD torujuhe.
Väljakutsed
Segakeelse keerukus
Heli vahetub salvestuse ajal aramea, inglise ja teiste keelte vahel. Oli vaja spetsiaalset tehisintellekti juhendamist ja mitmeastmelist tekstitöötlust, et kogu jooksul rakendada korrektsed diakriitilised märgid ja vormindus.
Video ja heli ühes pipeline'is
Süsteem pidi töötlema nii puhast heli kui ka videokonteinereid. FFprobe-põhine automaatne tuvastus eraldab heli igast videoformaadist enne töötlemist – kasutaja sekkumist ei nõuta.
Mahutavus miljonitele minutitele
Algselt loodud suure mahuga töötluseks: täielikult asünkroonne, paralleelne ja Kubernetes-natiivne, korraliku ressursihaldusega, mis suudab mahuhõive tipud ära neelata.
Nutikas failide jagamine pikkade loengute heli puhul
Loengud kestavad sageli üle tunni. Vaikuse põhine failide jagamine lõikab faile loomulikult, ajaliste siltide kokkuliitmine loob sujuva pideva ajajoone ilma vahedeta.
Nutikas taaskäivitussüsteem tehisintellekti töökogude jaoks
Sadade samaaegsete tehisintellekti tööde puhul suruvad piirangud teenusepakkujale kõvasti. Nutikas taaskäivituse loogika, adaptiivne eksponentsiaalne tagasilöök ja järjekorra haldus hoiavad pipeline'i töös ilma tööde kaotamiseta.
Tehisintellekti mudeli valik kulutõhususeks
Kolmest AI mudelist – võimas, kiire ja kergekaaluline – valitakse dünaamiliselt sisu pikkuse ja keerukuse põhjal, võimaldades kuni 60% madalamaid API kulusid lühema sisu puhul.
Protsess
Iga fail – olgu see toorheli loeng või täielik videosalvestus – liigub läbi ühe automatiseeritud torujuhtme. Kaheksa järjestikust etappi viivad selle tooringist avaldamiseks valmis väljundiks, videote töötlemine käib paralleelselt, nii et midagi ei pea teist ootama.
Meedia tuvastamine ja ettevalmistus
FFprobe tuvastab, kas fail on heli või video. Videote puhul eraldatakse automaatselt helirada. Seejärel määrab kestuse ja formaadi analüüs töötlemisstrateegia.
Vaikusepõhine heli lõikamine
Pikemad kui 20 minutit failid jagatakse vaikusepunktidel looduslikult osadeks, et ükski fraas ei lõigataks poole lause pealt, võimaldades kõiki jagatud osi samaaegselt paralleelselt transkribeerida.
Tehisintellekti transkriptsioon
Iga osa saadetakse Gemini Pro või Flash'ile – valitakse sisu pikkuse põhjal – koos struktuurse skeemiga, mis sunnib mudelit tagastama ajastatud teksti kõnelejate siltidega.
Ajaskaala ühendamine
Kõik transkribeeritud osad liidetakse õigete ajanihetustega üheks sujuvaks dokumendiks, 99% täpse ajasildistamisega kogu salvestise ulatuses.
Teksti järel-töötlus
Toore transkriptsioon läbib kirjatüübi konverteerimise, diakriitiliste märkide lisamise, vorminduse puhastamise ja usuliste allikaviidete kontrolli välise andmebaasi vastu.
Video töötlemine (paralleelselt)
Transkriptsiooni käigus tegeleb videomoodul HLS multi-bitrate kodeerimise, pisipiltide genereerimise, eelvaate klipi loomise ning mitme heliraja haldamisega FFmpeg'i kaudu.
Subtiitrite ja kokkuvõtete genereerimine
Viimatisest kontrollitud tekstist luuakse ajastatud subtiitrite failid (.vtt / .srt) koos automaatse metainformatsiooni kokkuvõttega sisukogule.
Pilve kaudu tarnimine
Kõik – transkriptsioon, subtiitrid, kokkuvõte, HLS vood – laaditakse üles AWS S3-sse ning lingid antakse sisumeeskonnale. 100% andmete säilitus isegi ühenduse katkemisel.
Lahendused
Lahenduse põhifunktsioonid
Ühtne heli- ja videoside torujuhe — FFprobe tuvastab vormingud automaatselt. Üks sissepääsuhaldur käsitleb MP4, MKV, WebM, MOV ja heli ilma käsitsi konverteerimiseta.
Mitmekeelne tehisintellekti transkriptsioon — Käitleb inglise, aramea ja segakeelseid salvestisi, kasutades juhendamist, mis säilitab keelepiirid ja rakendab õigeid kirjutamisreegleid.
Dünaamiline tehisintellekti mudelite valik — Pro, Flash ja Flash-Lite tasemed valitakse automaatselt faili pikkuse ja sisu tüübi järgi — maksimeerides täpsust ja minimeerides API-kulusid.
HLS mitmekordse bitikiirusega voogedastus — Paralleelne videoprotsessimine loob kohanduva bitikiirusega voogusid, pisipilte ja eelvaateklippe, mis on valmis mis tahes tänapäevaseks videopleieriks.
300+ samaaegset partiitööd — Kubernetesi-natiivne asünkroonne arhitektuur käsitleb suuri partiisid blokeerimata. Helm-diagrammid haldavad juurutamist ja skaalaid ARM-i instantsidel.
Tulemused numbrites
99%
Täpsus inglise ja aramea helisisu puhul, kus kirjutamisreeglid ja diakriitilised märgid rakendatakse automaatselt.
300+
Transkriptsioonitööd töödeldud samaaegselt nutika järjekorrahalduse ja adaptiivse tagasipotentsiaaliga.
60%
Säästud dünaamilise mudelivaliku kaudu — kergemad mudelid töötlevad automaatselt lühemaid sisu.
100%
nullandmekadu ka ühenduse katkemise korral, automaatne sünkroonimine ühenduse taastumisel.
