Earlier this week we demonstrated the results from applying GCP Cloud Vision to a grid montage of 1fps still frames from a 2010-era SD resolution English-language television news broadcast. What if we repeat that experiment, but with an Arabic-language broadcast that also contains onscreen text in at least two other languages as well? As before, we sample the SD resolution broadcast into 1fps frames and compile a sample extract into a 15×14 image grid montage below. Interestingly, while the earlier broadcast yielded strong results with 20 pixel borders around each frame, this broadcast required 40 pixel borders to account for the way in which the chyron text visually juts out to the sides of the primary frame in a way that otherwise confused Cloud Vision. Overall, the API offers strong results, even partially transcribing a street sign in the background of a wide-angle shot (if given the image in isolation as a single image it perfectly transcribes the sign).
You can see the final transcribed text below. Note how the "Emergency Exit" text extracted in the first few frames is from a street sign see in the middle of the second row of frames.
-------------------------------- FRAMEID 10 => (19 ) -------------------------------- FRAMEID 11 => (12 ) -------------------------------- FRAMEID 15 => (刊 ) -------------------------------- FRAMEID 20 => (O DIERGENCY EXIT C ) -------------------------------- FRAMEID 21 => (·DIERGENCY EXIT Lan ) -------------------------------- FRAMEID 22 => (AT EMERGENCY EXIT ) -------------------------------- FRAMEID 23 => (LAR EMERGENCY DIT C ) -------------------------------- FRAMEID 24 => (| DIERGENCY EXIT Belaruse ) -------------------------------- FRAMEID 25 => (BALL DIERGENCY EXIT elemen ) -------------------------------- FRAMEID 26 => (12 EVERGENCY EIT L ) -------------------------------- FRAMEID 28 => (TONY DIERGENCY EXIT Legen ) -------------------------------- FRAMEID 29 => (EMERGENCY EXIT ) -------------------------------- FRAMEID 30 => (EMERGENCY EXIT [lab ) -------------------------------- FRAMEID 46 => (BYE ) -------------------------------- FRAMEID 47 => (314 ) -------------------------------- FRAMEID 53 => (12 ) -------------------------------- FRAMEID 54 => (12 ) -------------------------------- FRAMEID 58 => (園 ) -------------------------------- FRAMEID 65 => (19 ) -------------------------------- FRAMEID 66 => (19 ) -------------------------------- FRAMEID 76 => (18:10 孟建柱在沪指导11.15特大火灾事故含提及善后工作 强调全力做好现场搜救伤员救治和事故调查工作 时事新闻|成立“11-15火灾事故”善后处置领导小组,市委副书 ) -------------------------------- FRAMEID 77 => (18:10 孟建柱在沙音导11.15特大火灾事社会提及善后工作 强调全力做好现场搜救伤员救治和事故调查工作 时事新闻 | ·15火灾事故“善后处置领导小组,市委副书记、市长 ) -------------------------------- FRAMEID 78 => (18:10 孟建柱在沪指导11、15特大火灾事比妝提及善后工作 11.15 19 ●强调全力做好现场搜救伤员救治和事故调查工作 时事新闻 |灾事故"善后处置领导小组,市委副书记、市长韩正担任! ) -------------------------------- FRAMEID 79 => (18:10 孟建柱在沪指导11.15特大火灾事故索提及善后工作 12 ●强调全力做好现场搜救伤员救治和事故调查工作 时事新闻后处置领导小组,市委副书记、市长韩正担任组长。 ) -------------------------------- FRAMEID 80 => (1 18:10 孟建柱在沪指导11.15特大火灾事故索提及善后工作 ●强调全力做好现场搜救伤员救治和事故调查工作 时事新闻|导小组,市委副书记、市长韩正担任组长: 现已 ) -------------------------------- FRAMEID 81 => (上海11-15火灾事故 记者 新松:真排宁 还有59位居民失去联系 院等25家三级医院将试点开展双休日全天门诊服务。 ) -------------------------------- FRAMEID 82 => (上海11-15火灾事故 记者 新松贡排宁 还有59位居民失去联系 中 【三级医院将试点开展双休日全天门诊服务: 朝鲜 ) -------------------------------- FRAMEID 83 => (上海11-15火灾事故 还有59位居民失去联系 能将试点开展双休日全天门诊服务。 朝鲜《劳动新 ) -------------------------------- FRAMEID 84 => (13 上海11-15火灾事故 工作人员积极查找失联居民 开展双休日全天门诊服务。 朝鲜《劳动新闻》17日 ) -------------------------------- FRAMEID 85 => (1 上海11-15火灾事故 工作人员积极查找失联居民 日全天门诊服务 朝鲜《劳动新闻》17日发表评论 ) -------------------------------- FRAMEID 86 => (上海11-15火灾事故 工作人员积极查找失联居民 中 诊服务 朝鲜《劳动新闻》17日发表评论说,六 ) -------------------------------- FRAMEID 87 => (1 上海11-15火灾事故 工作人员积极查找失联居民 朝鲜《劳动新闻》17日发表评论说,六方会谈至· ) -------------------------------- FRAMEID 88 => (出口 山 上海11-15火灾事故 中国 工作人员积极查找失联居民 【鲜《劳动新闻》17日发表评论说,六方会谈至今不能重 ) -------------------------------- FRAMEID 89 => (上海11.15火灾事故 工作人员积极查找失联居民 自新闻》17日发表评论说,六方会谈至今不能重开,责任 ) -------------------------------- FRAMEID 90 => (上海11-15火灾事故 工作人员积极查找失联居民 17日发表评论说,六方会谈至今不能重开,责任在美国和 ) -------------------------------- FRAMEID 91 => (接待点现场 评论说,六方会谈至今不能重开,责任在美国和韩国。 ) -------------------------------- FRAMEID 94 => (44 ) -------------------------------- FRAMEID 112 => (> marry next year Disclaimer: The above ) -------------------------------- FRAMEID 113 => (next year Disclaimer: The above mentior ) -------------------------------- FRAMEID 114 => (नने के बाद जागी सरकार 12 Disclaimer: The above mentioned time ) -------------------------------- FRAMEID 115 => (जानने के बाद जागी सरकार 1 sclaimer: The above mentioned time is as pe ) -------------------------------- FRAMEID 116 => (नने के बाद जागी सरकार The above mentioned time is as per IST ) -------------------------------- FRAMEID 117 => (ove mentioned time is as per IST Asian ) -------------------------------- FRAMEID 120 => (per IST Asian Games gymnastics: Ashi ) -------------------------------- FRAMEID 143 => (موجز الأخبار ) -------------------------------- FRAMEID 144 => (موجز الأخبار ) -------------------------------- FRAMEID 145 => (موجز الأخبار ) -------------------------------- FRAMEID 146 => (موجز الأخبار ) -------------------------------- FRAMEID 147 => (موجز الأخبار ) -------------------------------- FRAMEID 148 => (موجز الأخبار ) -------------------------------- FRAMEID 149 => (موجز الأخبار ) -------------------------------- FRAMEID 159 => (炒起慈 ) -------------------------------- FRAMEID 163 => (SMO ) -------------------------------- FRAMEID 175 => (منى الان ) -------------------------------- FRAMEID 176 => (الآن ) -------------------------------- FRAMEID 177 => (عنى الآن ) -------------------------------- FRAMEID 184 => (منى الآن ) -------------------------------- FRAMEID 189 => (منى الآن 00 مباشر ) -------------------------------- FRAMEID 190 => (منى الآن الأخبار 13:06 ) -------------------------------- FRAMEID 191 => (مباشر منى الآن الأخبار 13:06 ) -------------------------------- FRAMEID 192 => (مباشر الآن الأخبار 13:06 ) -------------------------------- FRAMEID 193 => (12 مباشر مني الآن الأخبار 13:06 ) -------------------------------- FRAMEID 194 => (مباشير منى الآن الأخبار 13:06 ) -------------------------------- FRAMEID 195 => (مني الآن الأخبار خادم الحرمين 13:06 ) -------------------------------- FRAMEID 196 => (مباشر مني الآن الأخبار خادم الحرمين الشريفين بـ 13:06 ) -------------------------------- FRAMEID 197 => (مباشر منى الآن الأخبار خادم الحرمين الشريفين يطمئن الشعب 13:06 ) -------------------------------- FRAMEID 198 => (مني الآن الأخبار خادم الحرمين الشريفين يطمئن الشعب السعودي . SALG 13:06 ) -------------------------------- FRAMEID 199 => (منى الآن الاخ خادم الحرمين الشريفين يطمئن الشعب السعودي على صحته وين 13:06 ) -------------------------------- FRAMEID 200 => (منى الآن 13:06 خادم الحرمين الشريفين يطمئن الشعب السعودي على صحته ويشكر كل من ) -------------------------------- FRAMEID 201 => (مني الآن 13:07 من الشريفين يطمئن الشعب السعودي على صحته ويشكر كل من سأل عنه ) -------------------------------- FRAMEID 202 => (13:07 ألطمئن الشعب السعودي على صحته ويشكر كل من سأل عنه : الأخبار ) -------------------------------- FRAMEID 203 => (خادم الحرمين الشريفين بـ 13:07 على صحته ويشكر كل من سأل عنه - الأخبار 13:07 أب السعودي على صحته ويشكر كل من سأل عنه الأخبار خادم الحرمين ) -------------------------------- FRAMEID 204 => (منى الآن ) -------------------------------- FRAMEID 205 => (منى الآن 13:07 أشكر كل من سأل عنه الأخير خادم الحرمين الشريفين يتلقى اتصالات ) -------------------------------- FRAMEID 206 => (منى الآن 18:07 سأل عنه : الأخبار خادم الحرمين الشريفين يتلقى اتصالات هاتفيه من - ) -------------------------------- FRAMEID 207 => (خادم الحرمين الشريفين يتلقى اتصالات هاتفيه من عدد من ملوك SM 13:07 ) -------------------------------- FRAMEID 208 => (الآن 13:07 خادم الحرمين الشريفين يتلقى اتصالات هاتفيه من عدد من ملوك ورؤساء المان ) -------------------------------- FRAMEID 209 => (منى الآن 13:07 في الشريفين يتلقى اتصالات هاتفيه من عدد من ملوك ورؤساء العالم للاطمئنان )