Nilalaman
Ang Live na Caption ay isa sa mga pinaka-cool na tampok sa Android, gamit ang pag-aaral ng makina ng aparato upang makabuo ng mga caption para sa mga lokal na video at mga web clip.
Inilathala ng Google ang isang post sa blog na nagdedetalye nang eksakto kung paano gumagana ang nakatutuwang tampok na ito, at talagang binubuo ito ng tatlong mga modelo ng pag-aaral ng machine sa aparato, para sa mga nagsisimula.
Mayroong paulit-ulit na modelo ng pagkakasunod-sunod na pagkakasunod-sunod ng neural network (RNN-T) para sa pagkilala mismo sa pagsasalita, ngunit ang Google ay gumagamit din ng paulit-ulit na neural network para sa paghula ng bantas.
Ang pangatlong modelo ng pag-aaral ng machine na pang-aparato ay isang convolutional neural network (CNN) para sa mga tunog ng mga kaganapan, tulad ng mga ibon chirping, mga pumapalakpak, at musika. Sinabi ng Google na ang pangatlong modelo ng pag-aaral ng machine na ito ay nagmula sa gawa nito sa Live Transcribe na pag-access ng app, na nagawang mag-transcribe ng mga kaganapan sa pagsasalita at tunog.
Pagbabawas ng epekto ng Live Caption
Sinabi ng kumpanya na kumuha ng maraming mga hakbang upang mabawasan ang paggamit ng baterya ng Live caption at mga hinihiling sa pagganap.Para sa isa, ang buong awtomatikong pagkilala sa pagsasalita (ASR) ay tumatakbo lamang kapag ang pagsasalita ay aktwal na napansin, kumpara sa patuloy na tumatakbo sa background.
"Halimbawa, kapag ang musika ay napansin at ang pagsasalita ay hindi naroroon sa audio stream, lilitaw ang label sa screen, at ang modelo ng ASR ay mai-load. Ang modelo ng ASR ay nai-load lamang sa memorya kapag naroroon ang talumpati sa audio stream, "paliwanag ng Google sa blog post nito.
Gumamit din ang Google ng mga pamamaraan tulad ng prutas ng koneksyon sa neural na koneksyon (pagbawas sa laki ng modelo ng pagsasalita), binabawasan ang pagkonsumo ng kuryente ng 50% at nagpapahintulot sa Live na Caption na magpatuloy.
Ipinaliwanag ng Google na ang mga resulta ng pagkilala sa pagsasalita ay na-update ng ilang beses bawat segundo habang nabuo ang caption, ngunit naiiba ang hula ng bantas. Sinabi ng search higante na naghahatid ito ng hula ng bantas "sa buntot ng teksto mula sa pinakahuling pagkilala sa pangungusap" upang mabawasan ang mga kahilingan sa mapagkukunan.
Magagamit na ngayon ang Live Caption sa serye ng Google Pixel 4, at sinabi ng Google na magagamit ito "sa lalong madaling panahon" sa seryeng Pixel 3 at iba pang mga aparato. Sinabi ng kumpanya na nagtatrabaho din ito sa suporta para sa iba pang mga wika at mas mahusay na suporta para sa nilalaman ng multi-speaker.
