The GDELT Project

Using Global Similarity Graph Document Embeddings & BigQuery For "More Like This" Search: Cross Language Search

Earlier today we showed how the new Global Similarity Graph Document Embeddings dataset can be used to take an arbitrary news article and perform a "find more like this" search by computing its cosine similarity to all other articles in the dataset and returning the top matches. In our example the majority of the returned articles were in English, but what if we specifically wanted to see coverage from other languages? We can simply tweak the query below to add "lang != 'ENGLISH'" to our comparison selection to only compare this article against non-English coverage:

SELECT
  c.k1 as query_title,
  c.k2 as match_title,
  SUM(vv1*vv2) / (SQRT(SUM(POW(vv1,2))) * SQRT(SUM(POW(vv2,2)))) AS similarity,
  ANY_VALUE(c.u2) as match_url
FROM
(
  SELECT
    a.key k1, a.val v1, b.key k2, b.val v2, a.url u1, b.url u2
  FROM
  (
    SELECT title key, url url, docembed val FROM `gdelt-bq.gdeltv2.gsg_docembed` WHERE DATE(date) = "2021-07-30" and url='https://www.marketwatch.com/story/cdc-expected-to-release-data-that-informed-change-on-face-mask-policy-says-delta-variant-of-covid-means-war-has-changed-11627655532' LIMIT 1
   ) a
  CROSS JOIN
  (
    SELECT title key, url url, docembed val FROM `gdelt-bq.gdeltv2.gsg_docembed` WHERE DATE(date) = "2021-07-30" and lang != 'ENGLISH'
  ) b
) c
, UNNEST(c.v1) vv1 with offset ind1 JOIN UNNEST(c.v2) vv2 with offset ind2 ON (ind1=ind2)
GROUP BY c.k1, c.k2
ORDER BY similarity DESC
LIMIT 100

That's it! The first 50 results can be seen below:

Row match_title similarity match_url
1
Доклад: "Делта" вариантът може да преодолее защитата на ваксините
0.6563097133145058
https://www.burgasnews.com/2021/07/30/%D0%B4%D0%BE%D0%BA%D0%BB%D0%B0%D0%B4-%D0%B4%D0%B5%D0%BB%D1%82%D0%B0-%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82%D1%8A%D1%82-%D0%BC%D0%BE%D0%B6%D0%B5-%D0%B4%D0%B0-%D0%BF%D1%80%D0%B5%D0%BE%D0%B4/
2
CDC'den çarpıcı Delta varyantı raporu
0.6378325886611479
http://www.samanyoluhaber.com/cdc-den-carpici-delta-varyanti-raporu-haberi/1373684/
3
Variante Delta tiene más posibilidades de romper la protección de las vacunas
0.6363683415703709
https://diario.mx/salud/variante-delta-tiene-mas-posibilidades-de-romper-la-proteccion-de-las-vacunas-20210730-1824286.html
4
La variante Delta ya tiene su primer brote en Argentina: 17 positivos y 160 aislados
0.6253475555449945
https://www.mdzol.com/sociedad/2021/7/30/la-variante-delta-ya-tiene-su-primer-brote-en-argentina-17-positivos-160-aislados-176222.html
5
El riesgo de que surjan "mutaciones escapistas" aumenta con vacunación: estudio – SinEmbargo MX
0.6204835038752377
https://www.sinembargo.mx/30-07-2021/4007923
6
California sees small COVID vaccine boost, but needs more
0.6081833062697605
https://www.latimes.com/espanol/california/articulo/2021-07-30/vacunas-delta-coronavirus-vacunas-california
7
Raport CDC: Wariant Delta zakaźny jak ospa wietrzna
0.6044645585720798
https://www.rp.pl/Koronawirus-SARS-CoV-2/210739969-Raport-CDC-Wariant-Delta-zakazny-jak-ospa-wietrzna.html
8
À Broadway, vaccination et masques de rigueur à la reprise
0.6005398720083435
https://www.tvanouvelles.ca/2021/07/30/a-broadway-vaccination-et-masques-de-rigueur-a-la-reprise
9
Covid-19: Paraguay confirmó la transmisión comunitaria de la variante Delta | En Asunción y el departamento Central de ese país
0.6000376668118019
https://www.pagina12.com.ar/358352-covid-19-paraguay-confirmo-la-transmision-comunitaria-de-la-
10
Bericht der US-Gesundheitsbehörde – Delta-Variante soll so ansteckend sein wie Windpocken
0.5980225660468715
https://www.bernerzeitung.ch/delta-variante-soll-so-ansteckend-sein-wie-windpocken-841355253484
11
ABD sağlık yetkilileri, Delta varyantı sebebiyle Kovid-19'la "savaşın değiştiğini" söyledi
0.5977227628304659
https://www.haberler.com/abd-saglik-yetkilileri-delta-varyanti-sebebiyle-14299009-haberi/
12
В Тюменской области прививки от коронавируса сделали почти 480 тысяч человек
0.5940777738687824
https://pda.tumen.kp.ru/online/news/4383562/
13
Varianta Delta se răspândește la fel de ușor ca pojarul și varicela
0.5932352443319289
https://www.dcnews.ro/varianta-delta-se-raspandeste-la-fel-de-usor-ca-pojarul_831334.html
14
Amerikai szakértők: a delta variáns az egyik legfertőzőbb vírus, amit ismerünk
0.5907462769385942
https://demokrata.hu/tudomany/amerikai-szakertok-a-delta-varians-az-egyik-legfertozobb-virus-amit-ismerunk-409692/
15
Varianta Delta este la fel de infecţioasă ca varicela. „Războiul s-a schimbat"
0.5871028545049131
https://www.mediafax.ro/coronavirus/varianta-delta-este-la-fel-de-infectioasa-ca-varicela-razboiul-s-a-schimbat-20210144
16
En Morbihan, retour du masque obligatoire en zone urbanisée et littorale
0.5869901695111928
https://www.letelegramme.fr/bretagne/en-morbihan-retour-du-masque-obligatoire-en-zone-urbanisee-et-littorale-30-07-2021-12800110.php
17
Désinfox. On peut être vacciné et transmettre le Covid-19, malgré ce que dit Blanquer
0.5864026214866986
https://www.bienpublic.com/sante/2021/07/30/on-peut-etre-vaccine-et-transmettre-le-covid-malgre-ce-que-dit-blanquer
18
¿Por qué será necesario el 85% y no el 70% de vacunados para lograr la inmunidad de grupo?
0.5849662350548018
https://www.antena3.com/noticias/salud/que-sera-necesario-85-70-vacunados-lograr-inmunidad-grupo_2021073061043a99d6961e0001bb2c50.html
19
Koronavírus – Amerikai járványügyi szakemberek: a delta variáns súlyosabb betegséget okozhat, mint a Covid-19 más változatai
0.5844224819709167
https://webradio.hu/hirek/koronavirus/koronavirus-amerikai-jarvanyugyi-szakemberek-a-delta-varians-sulyosabb-betegseget-okozhat-mint-a-covid-19-mas-valtozatai
20
Berne: appel au personnel de santé à au moins se faire tester
0.5822012651228154
https://www.rjb.ch/rjb/Actualite/Region/20210730-Berne-appel-au-personnel-de-sante-a-au-moins-se-faire-tester.html
21
Coronavirus: China enfrenta su peor brote de covid-19 desde el inicio de la pandemia
0.581975389335328
https://eldia.com.do/coronavirus-china-enfrenta-su-peor-brote-de-covid-19-desde-el-inicio-de-la-pandemia/
22
EEUU: recomiendan pruebas también para los vacunados
0.578380811225173
https://www.sfgate.com/news/article/EEUU-recomiendan-pruebas-tambien-para-los-16352524.php
23
Θα μας εμβολιάζουν για… χρόνια: Οι ειδικοί λένε τώρα ότι η αποτελεσματικότητα των εμβολίων φθίνει με το χρόνο!
0.5757243824657006
https://www.pronews.gr/ygeia/1006197_tha-mas-emvoliazoyn-gia-hronia-oi-eidikoi-lene-tora-oti-i-apotelesmatikotita-ton
24
Aumenta riesgo de mutaciones resistentes a la vacuna contra el COVID-19
0.5740069694850077
https://diariodelistmo.com/mundo/aumenta-riesgo-de-mutaciones-resistentes-a-la-vacuna-contra-el-covid-19/50112691
25
Córdoba: suman 17 los casos positivos de la variante delta y se esperan más resultados
0.5716728210859233
https://www.elciudadanoweb.com/cordoba-suman-17-los-casos-positivos-de-la-variante-delta-y-se-esperan-mas-resultados/
26
Rapport: Delta lika smittsamt som förkylning
0.5696732796322832
https://www.aftonbladet.se/nyheter/a/Wqz40G/rapport-delta-lika-smittsamt-som-forkylning
27
Κοροναϊός – Επανάληψη των εμβολιασμών για χρόνια προβλέπουν βρετανοί ειδικοί
0.5696580313945111
https://www.in.gr/2021/07/30/b-science/sars-cov2/koronaios-epanalipsi-ton-emvoliasmon-gia-xronia-provlepoun-vretanoi-eidikoi/
28
El Gobierno rechaza certificado COVID para entrar en bares | Noticias La Tribuna de Toledo
0.569519353376581
https://www.latribunadetoledo.es/Noticia/ZB4808898-C4A7-2352-99F44E984C3901B4/202107/El-Gobierno-rechaza-certificado-COVID-para-entrar-en-bares
29
Variante delta: califican a Petro de irresponsable por tweet sobre vacunas – Gobierno – Política
0.5684500634186177
https://www.eltiempo.com/politica/gobierno/variante-delta-califican-a-petro-de-irresponsable-por-tweet-sobre-vacunas-607149
30
Biden afirmó que la vacunación contra el coronavirus
0.5641347977785762
https://www.lavoz901.com/noticias/biden-afirm-que-la-vacunacin-contra-el-coronavirus-es-una-cuestin-de-vida-o-muerte.htm
31
الفيروس يعود للصين.. و100 دولار حافزاً لتشجيع المواطنين الأمريكيين على تلقى اللقاح
0.563189001183653
https://akhbarelyom.com/news/newdetails/3444493/1/%D8%A7%D9%84%D9%81%D9%8A%D8%B1%D9%88%D8%B3-%D9%8A%D8%B9%D9%88%D8%AF-%D9%84%D9%84%D8%B5%D9%8A%D9%86-%D9%88100-%D8%AF%D9%88%D9%84%D8%A7%D8%B1-%D8%AD%D8%A7%D9%81%D8%B2%D8%A7%D9%8B-%D9%84%D8%AA%D8%B4
32
EUA: variante Delta pode ser tão contagiosa quanto catapora
0.5594256593329622
https://noticias.r7.com/saude/eua-variante-delta-pode-ser-tao-contagiosa-quanto-catapora-30072021
33
El Gobierno rechaza certificado COVID para entrar en bares | Noticias El Día de Valladolid
0.558978114674005
https://www.eldiadevalladolid.com/Noticia/ZB4808898-C4A7-2352-99F44E984C3901B4/202107/El-Gobierno-rechaza-certificado-COVID-para-entrar-en-bares
34
Gobernador desconoce baja vacunación en residenciales y comunidades pobres de Puerto Rico
0.5575910060031449
https://www.metro.pr/pr/noticias/2021/07/30/gobernador-desconoce-baja-vacunacion-residenciales-comunidades-pobres-puerto-rico.html
35
Revelan reporte de los CDC sobre la peligrosa variante Delta – Telemundo Houston
0.5575874343823215
https://www.telemundohouston.com/noticias/salud/coronavirus/coronavirus-en-estados-unidos/estados-unidos-variante-delta-reporte-cdc-peligro-contagio-varicela/2187468/
36
Revelan reporte de los CDC sobre la peligrosa variante Delta – Telemundo McAllen (40)
0.5575874343823215
https://www.telemundo40.com/noticias/salud/coronavirus/coronavirus-en-estados-unidos/estados-unidos-variante-delta-reporte-cdc-peligro-contagio-varicela/2139883/
37
Revelan reporte de los CDC sobre la peligrosa variante Delta – Telemundo 52
0.5575874343823215
https://www.telemundo52.com/noticias/salud/coronavirus-salud-noticias-2/coronavirus-en-estados-unidos/estados-unidos-variante-delta-reporte-cdc-peligro-contagio-varicela/2204517/
38
Revelan reporte de los CDC sobre la peligrosa variante Delta – Telemundo New York (47)
0.5575874343823215
https://www.telemundo47.com/noticias/salud/coronavirus/coronavirus-en-estados-unidos/estados-unidos-variante-delta-reporte-cdc-peligro-contagio-varicela/2203044/
39
«Καμπανάκι» CDC: Μεταδοτική όσο και η ανεμοβλογιά η μετάλλαξη Δέλτα
0.5566617949209401
http://www.kathimerini.com.cy/gr/kosmos/kampanaki-cdc-metadotiki-oso-kai-i-anemoblogia-i-metallaxi-delta
40
Revelan reporte de los CDC sobre la peligrosa variante Delta – Telemundo Area de la Bahía 48
0.556487901642471
https://www.telemundoareadelabahia.com/noticias/salud/coronavirus/coronavirus-en-estados-unidos/estados-unidos-variante-delta-reporte-cdc-peligro-contagio-varicela/2169049/
41
Vaccinés ou dépistés, le préfet du Finistère fixe le cap pour août
0.5530140869839222
https://www.letelegramme.fr/bretagne/vaccines-ou-depistes-le-prefet-du-finistere-fixe-le-cap-pour-aout-30-07-2021-12800113.php
42
Relatório dos EUA diz que variante delta pode ser tão contagiosa como a varicela | Destacada | Edição Portugal
0.552612612813468
https://www.efe.com/efe/portugal/destacada/relatorio-dos-eua-diz-que-variante-delta-pode-ser-t-o-contagiosa-como-a-varicela/50000440-4598784
43
LAUSD to require COVID-19 testing of students and staff
0.5525911938142908
https://www.latimes.com/espanol/california/articulo/2021-07-30/lausd-escuelas-seguras-variante-delta-vacunacion-pruebas-de-coronavirus
44
Tunisie: Sfax-Covid-19 – 8 décès, 193 nouvelles contaminations et 222 personnes rétablies
0.5524119947656904
https://fr.allafrica.com/stories/202107300733.html
45
EUA: Vacinados espalham delta tanto quanto quem não está imunizado
0.5521825346489052
https://www.uol.com.br/vivabem/noticias/redacao/2021/07/30/variante-delta-covid-19-cdc-eua.htm
46
Provincia argentina de Buenos Aires vacuna a mayores de 18 años | Noticias
0.5516379386752766
https://www.telesurtv.net/news/buenos-aires-inicia-vacunacion-libre-mayores-20210730-0016.html
47
[AFP] Covid: relâcher trop tôt les mesures barrière fait le lit de variants résistants, montre une étude
0.5512407988176834
https://www.clicanoo.re/AFP/Article/2021/07/30/Covid-relacher-trop-tot-les-mesures-barriere-fait-le-lit-de-variants
48
Provincia argentina de Buenos Aires vacuna a mayores de 18 años
0.5488542167562236
http://www.radiomundial.com.ve/article/provincia-argentina-de-buenos-aires-vacuna-mayores-de-18-a%C3%B1os
49
Sergio Fajardo criticó a Gustavo Petro y su trino antivacunas
0.5487822947756616
https://www.pulzo.com/nacion/sergio-fajardo-critico-gustavo-petro-su-trino-antivacunas-PP1068128
50
[AFP] Google et Facebook n'accepteront que des employés vaccinés dans leurs locaux
0.5481036037756853
https://www.clicanoo.re/AFP/Article/2021/07/30/Google-et-Facebook-naccepteront-que-des-employes-vaccines-dans-leurs-locaux