O que é Google-Extended e para que serve?

Google-Extended é um user-agent separado, criado pelo Google em 2023, usado especificamente para coletar dados de treinamento dos modelos de IA do Google — incluindo o Gemini (anteriormente Bard). É distinto do Googlebot, que é usado para indexação do Google Search. Isso significa que uma empresa pode bloquear o Google-Extended sem afetar seu ranqueamento no Google — ou liberar o Google-Extended sem garantir que seu site aparecerá nas respostas do Gemini.

A diferença entre Googlebot e Google-Extended

Essa distinção é uma das mais importantes — e menos conhecidas — do universo AIO:

	Googlebot	Google-Extended
Finalidade	Indexação do Google Search	Treinamento dos modelos de IA (Gemini, Bard)
Impacto se bloqueado	Site some do Google Search	Site não alimenta o treinamento do Gemini
Impacto nas respostas do Gemini	Indireto (via indexação)	Direto (via dados de treinamento)
Criado em	Anos 1990s	Setembro de 2023

O Googlebot ainda é crítico para aparecer no Gemini com busca em tempo real: quando o Gemini usa o Google Search para responder perguntas com informações atuais, ele consulta o índice do Google — que é alimentado pelo Googlebot. Portanto, bloquear o Googlebot afeta a visibilidade no Gemini para queries em tempo real.

O Google-Extended, por sua vez, afeta o conhecimento que o Gemini incorpora durante o treinamento — o que pode influenciar respostas que não dependem de busca em tempo real.

Por que o Google criou um user-agent separado

A separação foi uma resposta às crescentes demandas de publishers e criadores de conteúdo que queriam controlar como seu conteúdo é usado para treinar IAs — sem precisar sair do índice do Google Search. Com o Google-Extended, uma empresa pode dizer: "pode me indexar para o Google Search, mas não use meu conteúdo para treinar o Gemini."

Isso foi especialmente relevante para: - Veículos de imprensa e editoras preocupados com direitos autorais - Plataformas de conteúdo por assinatura - Empresas que preferem negociar o uso dos seus dados diretamente com o Google

Como configurar no robots.txt

Para liberar o Google-Extended (padrão recomendado para a maioria das empresas): `` User-agent: Google-Extended Allow: / ``

Para bloquear o Google-Extended sem afetar o Google Search: ``` User-agent: Google-Extended Disallow: /

User-agent: Googlebot Allow: / ```

Se o robots.txt não menciona o Google-Extended, o comportamento padrão é que ele segue as mesmas regras do User-agent: *. Se a regra genérica permite rastreamento, o Google-Extended também pode rastrear.

Bloquear o Google-Extended afeta as respostas do Gemini?

Parcialmente. O impacto é principalmente no conhecimento de treinamento do Gemini — o que afeta respostas baseadas no conhecimento interno do modelo. Para respostas do Gemini que usam o Google Search em tempo real, o que importa é o Googlebot e a indexação no Google Search.

Para a maioria das empresas, a recomendação é liberar o Google-Extended — a não ser que haja uma razão específica (direitos autorais, conteúdo pago, decisão estratégica). O custo de bloquear é a redução do conhecimento que o Gemini tem sobre o seu negócio; o custo de liberar é praticamente nulo para conteúdo público.

Exemplos de quem pode preferir bloquear: - Portal de notícias com modelo de assinatura e negociações em andamento com o Google sobre licenciamento - Plataforma de análise de investimentos com relatórios proprietários que são o produto central do negócio - Empresa com conteúdo jurídico sensível que prefere controlar a distribuição

Exemplos de quem deve liberar: - Clínica com blog de saúde — quer que o Gemini aprenda com seu conteúdo especializado - Escola com material didático público — quer ser citada como referência educacional - Empresa de TI com documentação técnica — quer visibilidade em queries técnicas no Gemini

A FRT Digital inclui a análise do Google-Extended na auditoria técnica da auditoria de AIO Score. Conheça o serviço de AIO.