IA entra no BBB com tecnologia que lê rótulos de alimentos em voz alta

A prova também incluiu o lançamento da linha Nestlé Recheados e foi criada pela Publicis Brasil. O desafio colocou os brothers e sisters na posição dos consumidores cegos, dependentes da solução de voz para acessar os dados dos produtos e resolver a disputa.

Aparentemente simples e lúdico, o jogo envelopava uma tecnologia complexa e de várias linguagens conectadas, como IA e visão computacional, para tornar produtos, imagens e textos acessíveis por áudio ao usuário. O aplicativo Rótulos que Falam une também tecnologias de leitura automatizada, reconhecimento de códigos de barras, comandos de voz e chatbot de inteligência artificial.

Criado inicialmente para dar autonomia a pessoas com cegas, com baixa visão ou não alfabetizadas, o aplicativo foi desenvolvido em parceria com a Fundação Dorina Nowill para Cegos e lançado pela Nestlé em 2025. A fundação é referência na inclusão de pessoas com deficiência visual e prestou consultoria em boas práticas de acessibilidade e participou também dos testes práticos.

A Nestlé também contou com a participação de uma profissional de sua equipe com deficiência visual, a nutricionista Regiane Silva, do time de Nutrição, Saúde e Bem-Estar.

Na prática, no dia a dia do supermercado, todos os 1.200 produtos Nestlé no Brasil passaram a ter seus rótulos "falantes" e passíveis de serem lidos em voz alta por meio do aplicativo. Estima-se um público de 17 milhões de brasileiros cegos ou não alfabetizados.

Ao usar a câmera do celular pelo aplicativo para reconhecer o código de barras, o produto é identificado e instantaneamente e reconhece os dados. Depois, essas informações são lidas de forma automatizada em voz alta e deixa audível para o usuário os ingredientes, tabela nutricional, alérgenos etc.