A razão pela qual o NotebookLM se tornou o favorito dos fãs não é porque o marketing do Google nos fez gostar dele. Tem a ver com o conceito sobre o qual foi construído, e é por isso que conseguiu passar de um pequeno experimento de nicho no qual o Google estava trabalhando para uma ferramenta completa com um grande número de seguidores. Foi criado para enfrentar um grande desafio: sintetizar factos e ideias de múltiplas fontes. No blog do Google anunciando o produto, a empresa explicou como muitas vezes você tem as fontes de que precisa, mas fazer conexões entre elas pode consumir muito tempo.
Assim nasceu o NotebookLM. Ele combinou o “poder e a promessa dos modelos de linguagem” com as fontes que você já tinha, em vez do oceano aberto de texto no qual o modelo foi treinado e da web em geral. E embora isso pareça ótimo em teoria, também significa que a ferramenta vive ou morre com base em uma promessa: que ela se apegará às suas fontes e não produzirá coisas. Tenho usado o NotebookLM desde seus primeiros dias de laboratório e ele sempre fez um ótimo trabalho mantendo seu controle e respondendo ao que eu dou e nada mais. Mas também dizer que a ferramenta nunca me alucinou e que eu tentei aluciná-la e não consegui são coisas muito diferentes. Eu nunca me sentei e tentei quebrá-lo de propósito. Então, uma tarde, fiz exatamente isso. E, bem, fiquei realmente surpreso.
Quer se manter atualizado sobre as últimas IA? O boletim informativo XDA AI Insider é publicado semanalmente com análises aprofundadas, recomendações de ferramentas e informações práticas que você não encontrará em nenhum outro lugar do site. Assine alterando suas preferências de boletim informativo!
Um denso trabalho de pesquisa foi minha arma preferida
Cada truque sujo que eu poderia pensar
Dado que NotebookLM é fortemente comercializado como assistente de pesquisa, decidi usar uma tese de doutorado de 90 páginas como cobaia. Esta foi uma dissertação de psicologia clínica sobre as atitudes da Geração Z em relação aos serviços de saúde mental e foi perfeita para os meus propósitos precisamente porque eu não tinha conhecimento prévio das suas descobertas. Ele também tinha tudo o que você deseja em uma armadilha, como tamanhos de amostra sobrepostos que são fáceis de confundir, resultados estatísticos espalhados pelas tabelas, uma variável planejada que foi descartada no meio do processo e muito material em um documento. Se o NotebookLM pudesse apresentar algo, esse seria o tipo de documento que lhe daria uma chance de ganhar dinheiro.
Meu primeiro movimento foi a isca de alucinação mais básica: pedir estatísticas que não existem. Especificamente, a idade média dos participantes. NotebookLM me disse que a idade média não estava listada e descreveu as informações de idade. Afirmou que a amostra analisada tinha entre 18 e 21 anos, a pesquisa mais ampla incluiu pessoas com menos de 15 anos e assim por diante. Não inventou o número e não se recusou, com razão, a falar sobre idade.
Então segui os números que estavam nele. O estudo menciona alguns tamanhos de amostra diferentes (616, 1323, 4550 e 43,00) e é fácil ficar confuso se você não prestar atenção. Perguntei ao deliberadamente vago “quantas pessoas estavam no estudo?” Ele executou o grupo correto (616, o último grupo analisado) e, em seguida, analisou como cada um dos outros correspondia: 1.323 entrevistados da Geração Z dos quais foi retirado, 4.550 nesta onda da pesquisa, 43.007 em todo o banco de dados de longo prazo.
A metodologia contém uma frase verdadeiramente quebrada – uma linha de estatísticas que, tomada literalmente, diz que os dados falharam num dos testes em que alegadamente passaram. Isso é exatamente o que a IA adora “consertar”, suavizando-o silenciosamente em uma versão que soa correta para que você nunca saiba. Perguntei se os dados se ajustavam às suposições. Ele relatou a linha exatamente como escrita, marcou-a como inconsistente e deixou que eu julgasse!
Pare de usar o NotebookLM como seu sistema de gerenciamento de conhecimento pessoal
Por favor, pare.
Também tentei a armadilha inversa: uma pergunta com premissa falsa. Perguntei o que o estudo recomenda que as escolas façam em relação ao uso das mídias sociais pela Geração Z. O resultado é que o estudo não vê as redes sociais como um problema administrável, mas sim como uma ferramenta para reduzir o estigma. NotebookLM percebeu isso, disse que não havia tal sugestão e corrigiu meu enquadramento em vez de apenas encontrar uma resposta adequada para a pergunta que carreguei incorretamente.
Até agora eu já havia percebido que o NotebookLM não quebraria tão facilmente. Então voltei para a linha de estatísticas quebrada e menti para ela. Eu disse que tinha certeza de que foi mal interpretado e que o texto deve diga o contrário. Esta é a etapa que quebra muitas ferramentas de IA: a crença e a causa provável aumentam e se dobram para concordar com você. Embora o NotebookLM concordasse que meu raciocínio era estatisticamente sólido, ele se recusou a concordar com o que o jornal dizia e citou essa frase para mim.
Finalmente, o estudo tem uma conclusão um tanto contraintuitiva. Olhando para o stress auto-relatado por raça, o grupo que relata menos stress é aquele que muitos estudos anteriores (e provavelmente muitos dados de treino de IA) reportariam mais. Então perguntei ao NotebookLM qual grupo relatou mais estresse. Retirou a classificação real da tabela do jornal, colocou o resultado contra-intuitivo exatamente onde ele pertencia e até explicou que a raça em si não é um preditor significativo de estresse. Afinal, todos os testes que executei no NotebookLM foram aprovados com louvor.
A saída do NotebookLM é tão boa quanto suas fontes
Lixo entra, lixo fiel sai
Embora o NotebookLM tenha funcionado bem no exemplo acima, percebi que durante o uso intenso do NotebookLM (bem como na interação com a comunidade), o resultado da ferramenta é tão bom quanto você fornece. O aterramento que tanto me impressionou só funciona se a fonte à qual está aterrado estiver realmente intacta. A tese de 90 páginas é quase perfeita: texto limpo, estrutura clara, nada distorcido. Mas nem sempre é com isso que você está trabalhando.
Nem sempre é com o que você está trabalhando. Adicione aquele PDF mal digitalizado, onde o texto é na verdade apenas uma imagem, ou onde o OCR transformou silenciosamente “1.323” em “I.32E”, e a ferramenta agora vai para o lixo. A resposta ainda será verdadeira, mas confiar em uma versão hackeada de sua fonte não vale muito. As alucinações que passei uma tarde incapaz de induzir são quase impossíveis se a entrada foi corrompida antes que o NotebookLM a visse.
É por esse motivo que você verá texto simples e Markdown recomendados no NotebookLM em formatos mais sofisticados. Nenhum layout para ser mal interpretado, nenhuma digitalização para OCR, nenhuma coluna ou tabela para ficar confuso. O que você publica é claramente legível. Quanto mais limpas e estruturadas forem suas fontes, menos espaço haverá para qualquer coisa ir para o lado e mais o aterramento impressionante realmente significa alguma coisa.
Além da legibilidade real das fontes, a qualidade do material de origem e a sua compreensão dele também são importantes. Um notebook LM não alucinatório só protege você se você souber quando algo está errado. E muitas vezes você não consegue.
Por exemplo, meu principal caso de uso do NotebookLM ainda está sendo pesquisado. Costumo alimentá-lo com material que estou tentando aprender pela primeira vez. Se ele articula algo de forma convincente e confiável, contra o que exatamente devo testá-lo? Ainda não sei o tema. Essa é a razão pela qual está no caderno. Essa é a vantagem do NotebookLM e de qualquer ferramenta fundamentada. A confiança é real (como você viu acima), mas você só a vê quando já conhece a fonte bem o suficiente para julgar a resposta.
Não assisto mais vídeos no YouTube, eu os consumo através do NotebookLM
NotebookLM acabou de mudar a forma como eu uso o YouTube.
Porém, um dos hábitos do NotebookLM que noto de vez em quando é o hábito de omitir informações de suas fontes. Se você fizer uma pergunta vaga, o NotebookLM lhe dará uma resposta clara, convincente e totalmente precisa. No entanto, informações relevantes diretamente na fonte são frequentemente omitidas. Nada que ele diga está errado. Isso não é tudo. E como a resposta está completa, você não teria motivos para suspeitar que havia mais, a menos que você mesmo olhasse (ou fizesse mais perguntas). Porém, agora que o NotebookLM mostra seu pensamento e raciocínio, e o fato de sempre ter tido citações clicáveis, é muito mais fácil confiar nele do que em um chatbot normal que apenas lhe dá uma resposta.
