A atualização personalizada da Samsung é um grande passo em direção a uma IA útil para sua geladeira

A ideia de instalar uma atualização de software em sua geladeira já parece meio estranha, muito menos o foco em melhorar suas capacidades de IA. Mas é exatamente isso que está acontecendo Linha de refrigeradores sob medida da Samsung Esta semana, e para minha surpresa, este patch está fazendo grandes avanços no fornecimento de aprendizado de máquina verdadeiramente útil em uma geladeira moderna.

Para recapitular rapidamente, a Samsung já oferece há alguns anos recursos alimentados por IA, como reconhecimento automático de alimentos e planejamento de refeições em seus refrigeradores personalizados. No entanto, como descobri depois de analisar seu modelo principal no final do ano passado, as capacidades de IA da empresa ainda são um trabalho em andamento. Anteriormente, a geladeira conseguia reconhecer cerca de 60 tipos diferentes de alimentos frescos (como frutas e vegetais) e outros 50 produtos embalados, como iogurte ou pipoca. Parecia um começo decente, mas não estava completo considerando a quantidade de itens diferentes que você pode encontrar em um supermercado típico. Além disso, muitas vezes era necessário inserir dados adicionais, como o número de itens ou quando algo foi adicionado pela primeira vez, o que tornava a ideia de rastreamento de supermercado assistido por IA mais tediosa do que eu pensava. Não sei sobre você, mas normalmente não quero digitar na minha geladeira e tenho certeza de que os engenheiros da Samsung concordam, o que provavelmente foi o que levou a esta grande atualização em seu software de geladeira personalizado.

A grande mudança é que a Samsung está adicionando suporte ao Google Gemini, o que tem várias implicações importantes. Ao combinar o reconhecimento de objetos existente no dispositivo da Samsung com os modelos baseados em nuvem do Google, o número total de alimentos identificáveis ​​cresceu de pouco mais de 100 itens para mais de 2.000. Agora, isso significa que você precisa conectar a geladeira ao Wi-Fi, mas considerando a série de outros recursos inteligentes, como integração de calendário e reprodução de vídeo, isso não é uma grande tarefa.

Outra atualização é que a Samsung está usando o Gemini para ampliar o controle de voz, permitindo aos usuários alterar as configurações do dispositivo na geladeira, verificar detalhes como quando o filtro de água foi substituído pela última vez ou até mesmo ajudar na solução de problemas. E dependendo da situação, o Freeze pode até reproduzir um tutorial sobre como resolver o problema.

Alternativamente, para problemas mais complexos ou difíceis de resolver, a Samsung está introduzindo o que chama de Reliability AI, que foi projetado para ajudar a monitorar componentes do refrigerador ou detectar falhas antes que se tornem muito graves. Ou, nos casos em que o dispositivo precisa de manutenção, a IA pode fornecer aos agentes informações mais detalhadas e, potencialmente, permitir que eles consertem as coisas remotamente.

Por exemplo, um representante da Samsung me disse que se um cliente ligar para dizer que os cubos da máquina de gelo estão saindo em pedaços e grudados, a confiabilidade poderia permitir que os agentes de IA reduzissem a quantidade de água adicionada à bandeja de gelo – tudo sem a necessidade de ir fisicamente até sua casa. Criticamente, a Samsung diz que, embora o refrigerador monitore e rastreie as métricas de saúde do dispositivo, os proprietários devem fornecer consentimento expresso para que os reparadores acessem esses dados. Enquanto isso, se um problema exigir atendimento presencial, a Samsung afirma que, ao compartilhar esses dados com técnicos de reparo, permite que as pessoas identifiquem e resolvam rapidamente os problemas, em vez de entrar em contato sem contexto e diagnosticar os problemas do zero.

Minha unidade de teste não teve nenhum problema mecânico nos oito meses de uso, então não pude avaliar a IA reparável da Samsung. Dito isto, depois de testá-lo pela primeira vez na sede da Samsung, tive a oportunidade de usar uma versão inicial do novo software da linha Bespoke nas últimas duas semanas – com suporte atualizado para reconhecimento de objetos baseado em nuvem – e a melhoria é profunda. Mesmo depois de usá-lo por um tempo, ainda fico surpreso com a quantidade de alimentos diferentes que reconheço. No fundo da minha geladeira, tenho uma lata Molho de chalota de cabeça de boique é um ingrediente taiwanês bastante especial, usado quase exclusivamente na culinária asiática. No entanto, a IA não teve problemas em reconhecê-lo, incluindo marcá-lo automaticamente e quando foi adicionado pela primeira vez ao AI Food Manager da geladeira.

Além disso, o sistema agora é muito melhor no reconhecimento de marcas e na contagem de números de ingredientes específicos para criar listas mais detalhadas. Ele conseguia distinguir entre uma Coca Diet e uma Coca Zero e observar corretamente que cada item tinha múltiplos. E embora o Freeze muitas vezes precise executar ping em um servidor baseado em nuvem em algum lugar para ajudá-lo a reconhecer itens diferentes, os resultados aparecem rapidamente, geralmente em menos de alguns segundos. E para alguns alimentos como abacates, fiquei feliz que a geladeira rastreie há quanto tempo você está comendo e exibirá uma notificação de que está perto de expirar. É verdade que nem sempre é preciso, mas eu realmente preciso de um lembrete para verificar as coisas e isso faz exatamente isso.

Notei também que a geladeira agora lembra quando você carrega determinado alimento com frequência e depois pergunta se deseja adicionar aquele item à sua lista de compras. É um bom lembrete para reabastecer os grampos usados ​​​​regularmente e isso acontece com baixo atrito, por isso não se torna irritante. A partir daí, você pode verificar seu telefone enquanto estiver na loja, em vez de criar manualmente uma lista toda semana. Além disso, como a geladeira identifica e rastreia melhor o que está dentro, ela pode sugerir melhor receitas que você pode preparar com ingredientes que já possui.

Dito isto, como muitos modelos atuais, a IA nem sempre acerta todos os detalhes. Por exemplo, inicialmente fiquei impressionado quando ele rotulou automaticamente um pote de cream cheese falso como “Philadelphia Plant-Based”, até que percebi que o rótulo estava incompleto e a IA estava apenas lendo o que estava escrito na tampa e não foi inteligente o suficiente para terminar a descrição corretamente. Não me interpretem mal, ele fornece informações suficientes para me ajudar a descobrir o que há na geladeira quando olho para o gerente de alimentos. Simplesmente não está certo.

Um problema com esta atualização é que, como muitos serviços de IA hoje, o novo software da Samsung pode ser um pouco confiante demais ou propenso a alucinações. Certa vez, quando minha esposa estava colocando algo na geladeira, o algoritmo tirou uma foto de um curativo colorido em seu dedo e rotulou-o como vegetariano, o que não era. Outras vezes, é aparentemente apenas suposição. Mas eu diria que passar de cerca de 100 itens identificáveis ​​para mais de 2.000 é uma melhoria muito bem-vinda, apesar das limitações.

A outra coisa estranha é que, embora a Samsung esteja usando os modelos de IA do Google para muitos dos novos recursos da geladeira, você não verá nenhuma chamada óbvia para o Gemini dentro do próprio dispositivo. É meio chato porque Bixby ainda é o único assistente digital que você pode usar e conversar diretamente

Já disse antes que o reconhecimento alimentar de IA da Samsung é um trabalho em andamento e acho que isso ainda é verdade. Com esta atualização mais recente, a empresa chegou muito mais perto de cumprir sua promessa de uma geladeira com recursos verdadeiramente úteis alimentados por IA. O que antes parecia uma demonstração de tecnologia promissora rapidamente se tornou uma ferramenta útil para controlar suas compras, mesmo com alguns contratempos aqui e ali.