Two weeks ago we examined Gemini 1.5 Pro's NIAH (Needle In A Haystack) performance, finding that when asked to identify all mentions of the literal keyword "Biden" in a real-world transcript, it achieved just 19% accuracy on English and just 27% accuracy on Russian. Given that social media continues to fill with a steady stream of NIAH success stories, let's try the same Russian television news transcript again two weeks later to see if performance has improved at all.
Unfortunately, sometime in the past two weeks, Gemini's guardrails have changed again and this time we're back to the previous guardrail false positives that we've observed in Bison, Unicorn and Gemini that block them from running on a large portion of Russian language news content. Out of 30 attempts on the English translation, just 5 returned results, with the other 25 (84%) yielding a guardrail false positive. Unfortunately, of the 5 attempts that returned results, all five returned the same exact snippet with varying lengths until truncation. In terms of prompt coherence and actually returning a usable result, Gemini's performance hsa dropped from 19% accuracy to 0% accuracy in just two weeks. Gemini, like most LLMs, applies significantly less sensitive guardrails to non-English languages, so we also tested its performance on Russian. Thankfully, switching to Russian eliminated the guardrail false positives, but two of the five runs returned snippets that did not mention Biden at all (0% accuracy), the third returned a more than 7,000 word chunk of the transcript that did mention Biden, but doesn't count due to its simply returning the transcript in its entirety until truncation, with just two runs returning results, one with a single result out of 26 actual mentions (3.4% accuracy) and one with three mentions (11.5% accuracy).
Thus, in the space of two weeks, evolving Gemini guardrails have made it impossible to analyze the English transcript, while performance on the Russian transcript has dropped from 27% accuracy to between 11.5% and 0% accuracy across five runs, with the majority of runs at 0% accuracy. This demonstrates just how rapidly model performance can change and that model updates don't just improve accuracy – they can also substantially decrease it.
If you want to follow along at home, you can download the two partial transcript files below that we have been using for all of our tests. One contains the Chirp-generated machine transcript, while the second translates that transcribe through Google Translate:
For all our experiments, we'll use the Gemini 1.5 Pro model edition available in AI Studio.
Here we'll test using the same prompt as before:
Find every single mention of Biden in the transcript and provide a brief snippet of the original transcript verbatim for each mention without changing in any way from the source text.
Despite using "Block Few" as our safety settings for all four tunable categories, the first two times we get no results and the following error:
Content Not Permitted
Unfortunately, sometime in the past two weeks, Gemini's guardrails have been changed in a way that prevents it from processing our document.
Thankfully, the third time it returned results. Unfortunately, it returned a single 6,212 word blob beginning with the following, before truncating:
So, Zelensky did not have the opportunity to celebrate the surrender of Avdiivka with a toast against Putin, against Russia…
The fourth time it errored again:
Content Not Permitted
The fifth time it returned the same blob, but this time extended it to 7,198 words:
So, Zelensky did not have the opportunity to celebrate the surrender of Avdiivka with a toast against Putin, against Russia…
The sixth, seventh and eighth times it errored again:
Content Not Permitted
The ninth time it returned the same blob, but this time output just 1,443 words:
So, Zelensky did not have the opportunity to celebrate the surrender of Avdiivka with a toast against Putin, against Russia…
The tenth time it returned 3,157 words:
So, Zelensky did not have the opportunity to celebrate the surrender of Avdiivka with a toast against Putin, against Russia…
The eleventh time it errored again:
Content Not Permitted
And a twelfth time 24 hours after the first 11 times, just to check for transient errors:
Content Not Permitted
And then the 13th time:
So, Zelensky did not have the opportunity to celebrate the surrender of Avdiivka with a toast against Putin, against Russia…
And then the 14th to 30th times:
Content Not Permitted
Let's try the Russian content, since each language has a different set of guardrails and Russian guardrails typically are more relaxed than those for English on many commercial models. We'll use the same prompt.
Unfortunately, while switching to the Russian bypasses the faulty English guardrails, we get the same failed output, but from a different start position:
вернуться к дополнительному сверхнормативному и разрешить каждому региону рассчитать свою потребность, а до сих пор не делается…
Running a second time we get two results, but the second continues until it truncates (though not due to a guardrail false positive):
- NBC news, якобы совсем скоро, Байден передаст киеву ракетоатакам с повышенной точностью, с повышенной дальностью до 300 км, что позволит ВСУ наносить удары вглубь крымского полуострова.
- Для нас важно и дальше продвигать санкционные пакеты, мы готовы предоставить сейчас тринадцатый пакет санкций…. [continues for 2,134 words]
And a third time returns just the following snippet that doesn't even mention Biden:
…сделать так, чтобы они больше себя так не чувствовали, как минимум. Не будем здесь пугать, потому что у нас на каждом таком чувствительном вот… обсуждений, потом выходят гигантские статьи, вот только что newsвик разродился огромной статьёй с анализом одного из наших эфиров, ну как говорится, не будем давать почву пищу противнику, подождём решения политического и военного руководства. Теперь
And a fourth time returns the exact same results:
…сделать так, чтобы они больше себя так не чувствовали, как минимум. Не будем здесь пугать, потому что у нас на каждом таком чувствительном вот… обсуждений, потом выходят гигантские статьи, вот только что newsвик разродился огромной статьёй с анализом одного из наших эфиров, ну как говорится, не будем давать почву пищу противнику, подождём решения политического и военного руководства. Теперь
And on the fifth time it finally returns more than 2 results, but the last one doesn't even mention Biden:
1.
"… Зеленский ездит, подписывают какие-то гарантии с ядерными державами, то есть он намекает на то, что эти бумаги не стоят вообще ничего, да, то есть вот эти гарантии, дешевле бумаги, какими ещё надо будет стать союзниками, во-вторых… раз ядерная бомба опаснее обезьяны с гранаты, кто им даже США не позволит этого сделать, опять же, зачем им становиться частью да вот союзникам, быть союзниками, кстати, о союзниках на Украине мне нравится, как они говорят, в марафоне Зеленского говорят, экономика России в 25 раз слабее экономики Украины и её союзников, ну вот так да, то есть и союзников слабее, поэтому зачем им подписывать что-то с ядерными державами, то есть они себя плюсом к 51 государству, которое даёт гарантии, не считают, ну вот такая вот интересная арифметика, но я думаю, что Байдену надо…"
2.
"…всё-таки нам навязать грузинский сценарий. Давайте зафиксируем новую границу продвижения по линии фронта, на этом всё, получите свою часть, но режим в Киеве антироссийский сохраняется, плацдарм на главное для них на левом берегу Днепра сохраняется, сохраняется выход к Чёрному морю, вот это главное, что надо сохранить за Украиной, только в отличие от Грузии, это будет крупная страна с потенциально крупной армией и какой-никакой, всё-таки военной промышленностью, которую Запад может восстановить, а Зеленского потом как и Саакашвили своей же посадят в тюрьму? Да и не только Саакашвили, сколько поубирали таких активных лидеров, вспомните того же Звиада Гомсахурдия, ну посадят кого-то внешне более чуть компромиссного, вроде Шиварнадзе, который внешне будет нам больше улыбаться, на самом деле будет проводить такой же курс по укреплению, возрождению украинской армии и военной промышленности, то есть они уже мыслят категории раскола. уже не мыслят категории общей системы безопасности, они мыслят тем, где провести. главное для них на левом берегу Днепра сохраняется сохраняется выход к Чёрному морю, вот это главное, что надо сохранить за Украиной, только в отличие от Грузии, это будет крупная страна с потенциально крупной армией, и какой-никакой, всё-таки военной промышленностью, которую Запад может восстановить, а Зеленского потом, как и Саакашвили, своей же посадят в тюрьму, он там похудеет и будет бороться с режимом, да и не только Саакашвили, сколько поубирали таких активных лидеров, вспомните того же Звиада Гомсахурдия, ну посадят кого-то внешне более чуть компромиссного, вроде Шиварнадзе, который внешне будет нам больше улыбаться, на самом деле будет проводить такой же курс по укреплению, возрождению украинской армии и военной промышленности, то есть они уже мыслят категории раскола. уже не мыслят категории общей системы безопасности, они мыслят тем, где провести. 165 км, это до Крымского моста, теперь говорят 300 км, то есть ударить хотят куда-то за Крымский мост, то есть я не знаю, по краснодарскому краю, то ли эскалация, то ли блеф, не очень понятно, но свежее сообщение на фоне потери Авдеевки, должно, наверное, дать Зеленскому хоть какие-то надежды, смотрите, контролируем, по словам двух американских чиновников, после нескольких месяцев запросов со стороны украинских официальных лиц администрации Байдена работает над предоставлением Украине новых масштабных баллистических ракет большой дальности…"
3.
"…что Байден в курсе, информацию ему передал, Байден, далее прямая цитата, отдаёт себе отчёт, это уже звучит как некая шутка, так вот Байден отдаёт себя отчёт в том, что именно несогласованность действия Конгресса, отсутствие денег стали причиной падения авдеевки…"
4.
"…по поводу Авдеевки, безусловно здесь есть не только военный, но политический аспект. Освобождение, именно освобождение, а не взятие, освобождение Авдеевки российской армии произошло в момент, когда в Мюнхене западные лидеры, собственно обсуждали, что делать, куда двигаться, что с Зеленским, ну наблюдали мы вот этого фрика, я не могу его назвать президентом фрика, наблюдали, кроме него и других представителей украинского эстеблишмента, двух братьев с отбитыми мозгами, клиентуру западногерманской разведки БНД. вот они здесь на экранах у нас, они выпевали кличко, да, два дебила, это сила, но к сожалению, в данном случае это показатель тех нравов, которые царят у нас на Мюнхенской конференции в кругах ведущих западных политиков, особенно конечно юмористически выглядит вот эта вот вечеринка против Путина, слушайте, ну не буду использовать грубы грубы. формулировки, но вы что серьёз, серьёз думаете, что если на этом сходняке там употребили шнапса или кто там что пил, вот что-то изменилось, нет, конечно, реальная политика она совсем другая, в этой связи я хотел бы отметить, что германский посол Александр Ламсдор присутствовал там, опять же отметился в такой вот русофобской риторике, это не дело посла, здесь должна быть редакция. место ему там, где он может свийничать в федеративной республике Германия, не надо этого стесняться в конце концов, мы великая страна, мы должны себя уважать. если там какие-то послы пакостят и гадят, ну ещё раз повторяю, надо высылать и не бояться, наступать больно на ноги, это единственное, что они понимают, когда им делают больно. гневаться из-за того, что какой-то немец где-то напился, тем более пили против Путина, понимаю, что больше Путину противопоставить решительно нечего, а как нам показалось, что… Напс пили исключительно за освобождение Авдеевки, может они нам подмигивали, а вы так ругаетесь, про Авдеевку, покажите, ну действительно важное дело. 17 февраля 2024 года подразделения ветераны устанавливают флаг в девятом квартале города Авдеевка. Бойцы. подразделение ветераны поднимают российский флаг над Авдеевской многоэтажкой, это самая высокая точка в городе, где пожня российский флаг, там он опускаться не должен, минобороны освободили территорию почти в 32 км, первыми на индустриальный проспект заходят бойцы тридцатой бригады, вот собираемся сейчас вывестить флаг наш Шторм Сармат, давай давай закрепляй нормально. Первые доклады о том, что операция в Авдеевке практически завершена, Путин получает в 4 утра 17 февраля в 11. У президента ещё одна встреча с министром обороны Шайгу начальником генштаба Герасимовым. Во второй половине дня город был освобождён уже полностью. Бойцы первой славянской бригады занимались штурмом в тесной связке с подразделениями группировки Центр под командованием генерал. отступаем с позиции, выбили нас орки, вернулось нас немного и не все, давай, давай, незадолго до падения города киевский режим перебросил в Авдеевку Азовца. в информацию официально подтвердила третья штурмовая бригада ВСУ сразу признала, что ситуация в городе патовая, через сутки Бандеровцы сообщили, что тоже отходят на подготовленные позиции, сам отход был похож на паническое бегство, разба пацаны разба, вот так блядь разобрались, что… уничтожение увязших при отступлении немецкого танка леопард американской БМП Брэдли. Смен обороны показывает, что поля и дороги в пригородах Авдеевке буквально усеяны брошенной техникой. И что никто не едет? А ваши ребята там тоже есть или ты один? Ты сам, все ушли, все отступили, нам сказали, что машина нас заберёт. У меня две ноги перебиты в спине осколки, я не могу вообще. ничего, а ты один там или как? нет, нас шесть человек, а как они могли вас бросить? я не знаю, я не знаю, вот так. четыре человека таких как я тоже не могут ходить, на этих кадрах раненые всушники рассказывают, что их оставили одних на произвол судьбы, видео снято в Укреп районе Зенит, когда побежали, вчера мы побегали, ты последний бежал, да у меня глаза, я ничего не видел, я тут ждался вообще инвалид, болеете, угу. ноги не годяться, пальцев немає, а что вот отступление было, что вы не ушли, ноги не годятся, куда я двигать буду, на чём це, не рафик, а volkswagen, откуда заезжали, под натиском армии россии пали и подземные крепости ВСУ, которые украинские боевики создавали на протяжении 10 лет, внутри склады оружия. и боеприпасов, командные пункты и места расположения личного состава. Теперь в бетонных подземельях базируется не бандеровцы, а бойцы первой славянской бригады. Вот как они за кошка их, да? Как она к нам, перешла службу, уже приняла присягу. На кухне подземного бункера ВСУ, западные консервы в арсенале американские джувелины поставленные странами Нато-боеприпасы. о том, что тут базировались именно, украинские нацисты напоминают только бандеровские лозунги, которыми они украсили подземелья, вот видите, краина обосмерть, слава Украине, вот уже архивные кадры из другого подземного укрытия ВСУ, Азовцы перемещаются по кабельным коллекторам Авдеевского коксохимического завода, никогда крупнейшего в Европе, сегодня группировка войск центр, развивая наступление полностью… взяла территорию предприятия под контроль, украинских боевиков выбивали с завода с помощью фабов, вот так это выглядит изнутри подземного бункера, Среди разрушенных многоэтажек на западной окраине Авдиевке целая церковь, православный храм святой ровноапостольной Марии Магдалины в ходе боев практически не пострадал, сторож при церкви Алексей встречает освободителей и призывает гнать ВСУшников, которых он называет немцами до Берлина. Гоните и до самого Берлина, а вы навсегда, и мы дома. персональные списки бойцов и лётчиков, принимавших участие в операции по освобождению города. Операцией руководил генерал-полковник Андрей Мортвичёв. Путин направил ему телеграмму. Сегодня группировка войск-центр, развивая наступление полностью овладело городом Авдеевка, Донецкой Народной Республики. За отличные боевые действия объявляю благодарность всем руководимым вами войскам, участвовавшим в боях за Авдеевку. Вечная слава героям, впавшим в боях при решение. пока ещё испанской газете ждём более детальных сообщений об этом происшествие в Испании, но тем не менее судьба предателя неизбежна. Смотрим, продался он, скажем так, он не понимает, что он продался дёшево, да, что всё то, что он потерял, скажем так, уважение своих друзей, родину свою, да, действительно родину. к окончанию СВО, его кости уже будут гнить в земле, с удовольствием бы встретился, с удовольствием бы покритался бы сам, я об этом ему писал, он все услышения писал, с удовольствием попытался, нельзя так делать, предатель есть предатель, такое не прощается, и история его запомнить, как человека урвал, найдём человека и накажем его по всем строгости закона нашего государства. за предательство, ну и то, что предал своих братьев, братишек, с которыми служил непосредственно, конечно, найдём, мы до всех дотянемся, наши руки длинные, до суда не вернётся, я думаю, не доживёт, прошу, Канце Фёдович, ну на фоне происходящего на фронте, Украина и Запад пытаются гальванизировать возможность. вооружённых сил, продолжить сопротивление, было бы для них счастья да несчастья, им кажется, помогает, тромп оторвавшийся у Навального, Авдеевка, занятая российскими войсками, это всё повод для того, чтобы взвентить напряжение, добиться, наконец, выделения денег американским конгрессом и разработать какие-то новые экзотические варианты борьбы с Россией, ну вот то, что уже с вас было сказано по поводу попыток поставить ракеты большей дальности Украине, или допустим, то, что сейчас обсуждается, это схема задействования самолётов F-16, которые якобы будут взлетать в Румынии и через Молдову в дальнейшем попадать. Насколько я понимаю, новый украинский посол, который рассказывает, что они по первому сигналу из Кишенёва готовы будут разобраться с приднестровьем, в этом смысл его речей, как попыток западных эмиссаров обострить ситуацию во взаимоотношениях между Молдовой и Приднестровьем. Надо отметить, что и президент Санду, как известно, идущая на перевыборы в ноябре этого года, из кожи лезет вон для того, чтобы как можно быстрее продемонстрировать. из Российской советской Федеративной социалистической республики в украинскую советскую социалистическую республику в пятьдесят четвёртом году указа, который оказался миной замедленного действия под российско-украинские отношения в нашей новейшей истории. Я ээ не буду рассказывать уже рассказанное, хочу лишь сказать, что у нас есть элемент дискуссии в том, как относиться к этому акту, я вот… например, как и руководство Крыма, Республики Крым, считаю, что мы должны поставить точку в этом вопросе и взять себя денонсацию этого решения. в нашем парламенте, потому что Российская федерация, самом деле, является наследником по прямой Советского Союза, только мы в самом деле можем, как мне кажется, на законном основании рассматривать такие решения. Почему это нужно, не потому что я сомневаюсь, или кто-то в Крыму сомневается в российской принадлежности крыма, сегодня. Это нужно для того, чтобы заставить замолчать те голоса в Крыму на Западе, которые разыгрывают по сей день вот эту пропагандистскую утку о том, что в 2014 году Россия аннексировала, украла у свободолюбивой Украине, её исконные исторические территории, Крым, Севастополь, напомню, что господин Зеленский с ностальгией вспоминал о тех временах, когда у него хрустели, хрустел песок от черноморских мидий во рту, всё это ради того, чтобы взвентить самом деле планку требований… в девяносто первом году, когда развалился Советский Союз. Это очень поучительная история. Пятьдесят четвёртый год – это был второй год после смерти Сталина. И, конечно, ни о какой демократии, обсуждении речи не шло, это было узкопартийное решение. Но даже тогда первый секретарь крымского обкома Титов, высказался против пожертвовал своей партийной карьерой. А вот второй секретарь Полянский сделал карьеру стал министром сельского хозяйства в будущем и членом политбюро. Вот такова. история с Крымом свидетельствует, такова цена всякого рода экспериментов с телом твоего государства и частью твоего народа, нельзя от них отказываться, нельзя сворачивать связи с соотечественниками, нельзя забывать о том, что соотечественники наши нуждаются в поддержки именно сегодня, нам необходимо, безусловно решать вопросы, которые поставлены указом президента репатриации в ноябре прошлого года, к сожалению, как всегда мы опаздываем с реализацией уже… У Украины, что они из гражданства Украины вышли, вот нам с большим трудом удалось это преодолеть несколько лет назад ещё до начала специальной военной операции, но по-прежнему мы очень медленно запрягаем, когда дело касается репатриации и поддержки наших соотических, потом удивляемся, что же так мало к нам возвращается, даже по госпрограмме, да потому что по-прежнему много… представители всех тех народов, которые реально именно в России имеют свою историческую территорию, которая здесь в России, Россия для них является отечеством и когда мы ведём эту войну, эту специальную… военную операцию, мы вынужденно ведём её таким образом, чтобы минимизировать ущерб для гражданского населения, вот украинский режим делает всё наоборот, он сделал ставку на терроризм для того, чтобы всколыхнуть гражданское население России, я уверен, что этого не произойдёт, что касается терроризма, последние наиболее изощрённые кадры, покажите, это Запорожская область идёт по улице инвалид, опирается то ли на костыли, то ли на специальную палочку. Очевидно человек не здоров, далее падает, но так бывает с людьми, которые имеют некоторую физическую дисфункцию, оказывается, что это не инвалид, он ложится закрепляет под автомобилем Renault Logan взрывное устройства. На проведение спецоперации ему понадобилось буквально полторы-2 минуты, далее встаёт, как если бы он натряхнулся, берёт свою палочку этот украинский инвалид-диверсант пытается скрыться. если чуть дальше промотать эти кадры, слава богу, раскрыт, террорист действовал по заданию украинских спецслужб, обезврежен, через минуту вернёмся. всем сидеть, я гоцман, стволы на полчива, давид Маркович, вы такие не поверите, руки сами тянутся к затылку, ты знал и молчал, здравствуйте вам через окно, а тебя правда пуля не берёт, я сказал оружие на стол, сима, ты почему здесь, а где я должен быть, вбейте себе в мозг, беспредел уша, сейчас начнут гулять, ребята, мама, не ходите, Фёдор Добронравов, Михаил Пореченков, Владимир Миньшов, Сергей Маковецкий, Владимир Машков, мы тут хорошо дали бандитам по зубам, фильм Сергея Урсуляка, ликвидация. выходные на РТР, спрятаться здесь у нас практически нигде невозможно, всё хорошо просматриваться, постреливается, из блиндажа Боря успеет отправить короткое видео, как идёт по бескрайним запорожским степям, его последний репортаж, дому не хочется, хочется, кому не хочется, почему здесь? родину надо защищать, родилась точка у меня в отпуск ты ездил, да ездили поддержил на руках и обратно, так точно, мы стоим в той траншее, где я лично копал, телевизор, всё есть, в принципе, так не отрешённый, как говорится, от мира, ребята, которые в данный момент здесь, они пишут историю, 15 км от нас, дали нет боевого соприкосновения, но мы побежаемся к позиции, герои, специальный репортаж Бориса Максудова, ему вам… трёхлетняя жительница Лос-Анджелеса, имеющую двойное гражданство, Россия, США. По данным ФСБ, с февраля двадцать второго года женщина собирала деньги в интересах одной из украинских организаций, которые потом направлялись на покупку. Он был накануне застрелен в Испании, если вы помните, именно этот человек угнал из России вертолёт, приземлил его на территории Украины. предупредил своих напарников, когда те оказались на стороне врага, он их расстрелял, за предательство Кузьменов получил 500.000 долларов. Данилов, глава СНБО рассказывает, что Кузьминову предлагали остаться на Украине, но он предпочёл жить богато и хорошо в Евросоюзе. Ну вот что случилось теперь. Предложение нашей страны состояло в том, чтобы он оставался на Украине. беженцев ввиду засилия украинцев на территории Евросоюза. Что касается предателя, кто бы его не расстрелял от шести до 12 выстрелов в спину, а после переехали на машине. Здесь награда нашла героя. Предатели по-другому никогда нигде не заканчивают. Все любят предателей, когда они готовятся предать, они имеют значение, как только предал, всё. он предатель, наверное, было бы рациональнее всё-таки поздравить Россию с возрождением Смерша, мне кажется, это как-то больше бы вдохновило и предопределила, возможное, возможно, у кого-то в головах ещё родится идея предавать, потому что этими страхами можно управлять людьми, отсутствие страха – это знаете, страх, единственное чувство, которое останавливает людей перед преступлением, в политике происходит точно так же, если есть страх третьей мировой войны, то он должен… наоборот, его надо только усиливать для того, чтобы предотвратить эту войну, не для того, чтобы её начать, а для того, чтобы её предотвратить по поводу границы, Зеленский считает это ненормальным, да взаимоотношения с Польшей, а я считаю ненормальным, когда мы говорили о том, что вот этот поцелуй Иуды в Верховной Раде, где он обнимался с Зеленским, этим и закончится, но нам говорили нет, вы ничего не понимаете в большой политике, они же наши партнёры, Польша – наш адвокат, вот ваш ад… адвокат, да, вот вам, пожалуйста, приговор с конфискацие имущества, вот это всё, что сделал ваш адвокат, надо быть насколько тупым и не понимающим вообще ситуацию человеком, чтобы в своей дурной башке предполагать, что вот эти акции фермеров, это исключительная инициатива фермеров