Specialus algoritmas

Viena iš galimų per tiesiogines transliacijas atsirandančių problemų – atsitiktinis operatorių pasirodymas vienas kito kadruose. Tokie atvejai ne tik atitraukia dėmesį nuo svarbiausių rungtynių momentų – dėl žiūrovų nepasitenkinimo transliuotojai gali prarasti dalį pajamų.

„Mūsų naujasis išradimas – tai vaizdo operatoriams aptikti pritaikytas algoritmas“, – patikslino vienas iš inovacijos sumanytojų KTU profesorius Rytis Maskeliūnas.

Kaip pabrėžia kitas tyrėjų komandos narys, šiais metais KTU pabaigęs magistro studijas Serhii Postupaievas, operatorių buvimas kadre – dažna futbolo transliacijų problema. Tai lemia sudėtingas tiesioginių sporto transliacijų pobūdis ir daugybė kamerų, išdėstytų aplink stadioną.

KTU nuotr. 

„Prestižinius turnyrus filmuoja daugiau nei devynios kameros, todėl persidengiantys vaizdai ir yra pagrindinė problema, smarkiai varžanti operatorių komandą. Vengdami užfiksuoti vieni kitus, jie praleidžia kritinius varžybų momentus, taip prarandamas kontekstas, transliacija tampa mažiau dinamiška ir neįtraukianti“, – aiškina S. Postupaievas.

S. Postupaievas. KTU nuotr.

Vizualiniai trukdžiai

Naujajai sistemai kurti buvo panaudotas YOLOv8 modelis – moderniausia objektų aptikimo sistema, žinoma dėl savo greičio ir tikslumo. YOLOv8, kuris yra žodžių junginio „Tu žiūri tik vieną kartą“ (angl. You only look once) santrumpa, gali aptikti ir suklasifikuoti objektus vaizduose vienu metu, todėl idealiai tinka realaus laiko renginiams, šiuo atveju – tiesioginėms futbolo transliacijoms.

Transliacija atrodys tobulesnė ir profesionalesnė, be trikdžių, kuriuos sukelia operatoriai, pasirodantys ten, kur neturėtų.

 

„Jis veikia padalydamas vaizdą į tinklelį ir numatydamas kiekvieno tinklelio langelio ribinius laukus, klasių tikimybes ir segmentavimo poligonus. Tai leidžia nustatyti ir segmentuoti pasirodžiusius operatorius vaizdo kadruose“, – sako S. Postupaiev, neseniai baigęs KTU Dirbtinio intelekto informatikos studijas ir su šiuo projektu įgijęs magistro laipsnį.

Norint išmokyti YOLOv8 modelį tiksliai atlikti šį darbą, mokslininkams reikėjo sukurti duomenų rinkinį.

„Šį duomenų rinkinį sukūriau taip, kad į jį patektų įvairių dydžių, formų ir tipų įrangą turintys operatoriai, užfiksuoti įvairiomis sąlygomis ir skirtingais rungtynių momentais. Dabar YOLOv8 modelis naudoja šiuos duomenis, kad nustatytų, kur vaizdo įrašuose yra operatoriai“, – pridūrė jaunasis tyrėjas S. Postupaievas.

Kaip aiškina išradėjas, šie žingsniai – tik pasiruošimas technologijai, vadinamai objektų pašalinimu iš vaizdo įrašo arba dažymo modeliu (angl. inpainting).

KTU nuotr.

„Šis terminas giliojo mokymosi srityje reiškia prarastų ar sugadintų vaizdų ir vaizdo įrašų dalių atkūrimo procesą. Konkrečiai šiuo atveju jis naudojamas operatoriams pašalinti iš futbolo transliacijų“, – sakė S. Postupaievas.

Aiškindamas jos veikimą KTU alumnas iš Ukrainos sako, kad tai – technologija, pagrįsta dirbtiniu intelektu (DI) ir kompiuterine rega, analizuojanti vaizdo įrašų kadrus nepageidaujamiems objektams aptikti, o pašalintas vietas užpildanti atitinkamomis fono detalėmis. Pakeisti kadrai tada transliuojami žiūrovams, užtikrinant įtaigesnę ir profesionalesnę transliaciją.

„Tinklas numato trūkstamas arba užtušuotas vaizdo dalis, naudodamasis aplinkinių pikselių kontekstu. Dažymo modelis sukuria tikėtiną ir vizualiai nuoseklų trūkstamos srities foną, užtikrindamas, kad tekstūros, raštai ir spalvos vientisai susilietų su likusia vaizdo dalimi“, – pabrėžė prof. R. Maskeliūnas.

Rytis Maskeliūnas. KTU nuotr.

Sutelktas dėmesys

Naudojant šią naująją technologiją, futbolo rungtynių transliacija gerokai patobulės, o vienas iš pranašumų – sklandesnė žiūrėjimo patirtis.

„Transliacija atrodys tobulesnė ir profesionalesnė, be trikdžių, kuriuos sukelia operatoriai, pasirodantys ten, kur neturėtų. Šis patobulinimas sumažins atvejus, kai dėl blaškančių kadrų praleidžiami svarbūs rungtynių momentai“, – pabrėžia S. Postupaievas.

KTU nuotr.

Televizijos serveriuose šis algoritmas galėtų apdoroti vaizdą prieš jį transliuojant į eterį su kelių sekundžių vėlavimu nuo tikrojo užfiksuoto momento, kuris vis tiek laikomas tiesiogine transliacija. KTU mokslininkas R. Maskeliūnas mano, kad tobulėjant įrangai DI puikiai užpildys šį laiko tarpą.

Pasak S. Postupaievo, tolesni tyrimai šioje srityje galėtų pradėti naują sporto transliacijų erą, kurioje dėmesys būtų sutelktas ne tik į veiksmo fiksavimą, bet ir į visapusiškai įtraukiančio ir nepertraukiamo žiūrėjimo patirties kūrimą.

Be to, objektų pašalinimo iš vaizdo įrašų technologija gali neapsiriboti vien tiesioginėmis transliacijomis, bet ir pagerinti prieš ir po rungtynių atliekamą analizę ar atkurti archyvinę medžiagą.

KTU nuotr.

Be to, išradimas pritaikomas ne vien futbolui, bet ir kitoms sporto šakoms, pavyzdžiui, salės futbolui ar krepšiniui, kuriose susiduriama su panašiais transliavimo iššūkiais.

„Tai dar viena iliustracija, ką gali šiuolaikinės DI programos. Dažnai girdime apie pritaikymą medicinoje, o čia turime į vartotojus orientuotą požiūrį – redaguoti nepatinkančius, kadrus gadinančius vaizdus. Ateityje tokios technologijos galės pašalinti, pavyzdžiui, reklamas arba pakeisti jas kitomis, taip nuolat atnaujindamos turinį tokiu tikslumu, kurio žmogaus akis nepastebės“, – panaudojimo galimybes apsvarstė R. Maskeliūnas.