Over the past six months we have continued to compare GCP's Chirp and Chirp 2 ASR models, each time finding that Chirp 2 outputs are often filled with hallucinated repeated text similar to OpenAI's Whisper model, while Chirp output does not contain such artifacts. As we have continued to dive into the causatives of these hallucinations, one area that stands out is Chirp's noticeably superior ability to reject non-speech segments compared with Chirp 2. Television news broadcasts are replete with brief musical interludes, from brief musical intro/extro clips to daily recap videos that play against music to all sorts of other non-verbal audio clips. The original Chirp model correctly ignores these audio segments, while Chirp 2 frequently hallucinates spoken words in purely non-verbal audio, often lapsing into repeating text, creating challenges for deploying this new model compared with its predecessor and demonstrating strong similarities to similar systems like Whisper.
As an example of how Chirp 2 lapses into hallucination, take this brief three minute clip from Belarusian television in which the majority of the clip is a montage of various top stories of the day played with onscreen text against music, but no spoken words:
Chirp 1 transcribes this as the following – correctly skipping over the musical portions:
Смотрите проект о Беларусах на телеканале Беларусь 24. плодородная земля, в заботливых руках, наше главное богатство. Когда радостью от достигнутого, так хочется поделиться, созидать и развиваться, бережно сохраняя традиции, во имя успешного и счастливого будущего, где значим вклад каждого в общее дело. А жизнь с окружающими в единстве и любви, вот истинные счастье. Здесь всегда тепло от душевных моментов и родных взглядов, вместе за одним столом. Беларусь 24 – то, что нас объединяет.
Which Google Translate translates as:
Watch the project about Belarusians on the Belarus 24 TV channel. Fertile land, in caring hands, is our main wealth. When you want to share the joy of what has been achieved, create and develop, carefully preserving traditions, in the name of a successful and happy future, where everyone's contribution to the common cause is significant. And life with others in unity and love, that is true happiness. There is always warmth here from spiritual moments and familiar views, together at the same table. Belarus 24 is what unites us.
In contrast, Chirp 2 hallucinates repeated text during the musical portion:
Смотрите проект о белорусах на телеканале Беларусь 24. Я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что я не знаю что Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу Я не могу плодородная земля, в заботливых руках, наше главное богатство. Когда радостью от достигнутого, так хочется поделиться, созидать и развиваться, бережно сохраняя традиции, во имя успешного и счастливого будущего, где значим вклад каждого в общее дело. А жизнь с окружающими в единстве и любви, вот истинные счастье. душевных моментов и родных взглядов, вместе за одним столом. Беларусь 24 – то, что нас объединяет.
Which Google Translate translates as:
Watch the project about Belarusians on the Belarus 24 TV channel. I don't know that … I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't I can't fertile land, in caring hands, is our main wealth. When you want to share the joy of what you have achieved, create and develop, carefully preserving traditions, in the name of a successful and happy future, where everyone's contribution to the common cause is significant. And life with others in unity and love, that is true happiness. spiritual moments and familiar views, together at the same table. Belarus 24 – what unites us.