URL Extractor

Um extrator de URL é uma ferramenta que examina qualquer entrada de texto e extrai todas as URLs que ela contém. Usa uma expressão regular para encontrar padrões começando com http, https, ftp, mailto ou www., depois valida cada correspondência contra o analisador URL do navegador para descartar strings malformadas. Após validação, a ferramenta remove duplicatas da lista e agrupa resultados por host. Este extrator BlazeHive manipula arquivos de log de 4.000 linhas, cargas JSON de até alguns megabytes, HTML bruto e prosa colada sem fazer upload de nada para um servidor. Tudo é executado no navegador. Casos de uso comuns incluem triagem de log de segurança, revisão de tíquete de suporte, auditorias de migração de conteúdo e pesquisa competitiva rápida em links de saída de um artigo concorrente. Use o link-extractor quando você especificamente precisar de texto de âncora e sinalizadores nofollow de uma página da web em tempo real.

Cole seu texto no campo URL ou cole texto/HTML, escolha um filtro e clique em Extrair URLs. A ferramenta executa um padrão regex sobre sua entrada que corresponde a strings http://, https://, ftp://, mailto: e www. simples. Cada correspondência passa por new URL() para filtrar candidatos malformados, depois a pontuação final como vírgulas, períodos, parênteses e colchetes é removida. A lista desduplicada agrupa por host e mostra uma contagem para cada domínio. Uma thread de email de 200 linhas geralmente produz 5-15 URLs únicas em menos de um segundo. Para extração programática, o mesmo padrão regex funciona em Python (re.findall), JavaScript (String.prototype.matchAll) ou grep com a flag -oE, mas uma ferramenta do navegador oferece filtragem instantânea e agrupamento de host que uma única linha não oferece.

Sim. Os logs do servidor são uma das entradas mais comuns para este extrator de URL. Cole até alguns megabytes de linhas de log nginx, Apache ou de aplicação na textarea e clique em Extrair URLs. A ferramenta encontra todas as URLs referenciadas no log, remove duplicatas e agrupa por host. Um log de acesso nginx de 4.000 linhas com 12.000 correspondências brutas normalmente se reduz a 80-200 URLs únicas após deduplicação. Para arquivos maiores que 5MB, divida o log em pedaços antes de colar. Se você precisar extrair URLs de logs como parte de um fluxo de trabalho automatizado, o mesmo padrão regex funciona em grep -oE na linha de comando. Use a ferramenta do navegador quando quiser agrupamento visual rápido. Use grep quando quiser canalizar a saída para outro script. Após a extração, execute hosts externos suspeitos através do link-extractor para inspecionar o conteúdo da página real.

O extrator de URL funciona em texto, portanto, primeiro converta o PDF em texto. No macOS, execute pdftotext input.pdf output.txt na linha de comando (instale via brew install poppler). No Windows ou Linux, use o mesmo utilitário pdftotext do pacote Poppler. Abra o arquivo de texto resultante, copie o conteúdo e cole no campo URL ou cole texto/HTML. PDFs criados a partir de páginas da web geralmente contêm 20-100 URLs. PDFs de documentos nativos como relatórios geralmente contêm 5-20. O extrator captura URLs que abrangem quebras de linha se o PDF as preservar como strings contínuas. Observe PDFs que envolvem URLs longas em múltiplas linhas com hífens. Aquelas se tornam duas URLs quebradas. Se sua saída parecer suspeita, abra o PDF no Preview ou Adobe Reader e use a exportação incorporada "Salvar como Texto", que preserva a continuidade da URL melhor que ferramentas de linha de comando para alguns PDFs.

Abra o email, visualize a fonte bruta ou "Mostrar Original" (Gmail) ou "Exibir Fonte" (Outlook) e copie o corpo HTML completo. Cole isso no campo URL ou cole texto/HTML e clique em Extrair URLs. Um email de marketing típico contém 15-40 URLs incluindo pixels de rastreamento, links de cancelamento de inscrição, ícones sociais e links de conteúdo. Escolha o filtro Apenas HTTP/HTTPS para pular o endereço mailto: de resposta. Para Apple Mail ou Thunderbird, você pode copiar o email renderizado diretamente sem visualizar a fonte, mas perderá as URLs ocultas em atributos alt de imagem e pixels de rastreamento. Visualize a fonte para a extração mais completa. Se você processar emails em massa, exporte sua caixa de entrada para formato mbox e execute o arquivo através do extrator em pedaços. O mesmo regex captura URLs em corpos de email de texto simples e HTML igualmente bem.

Cada correspondência de regex passa pelo construtor new URL() do JavaScript. Se o construtor lançar um erro, o candidato é descartado. Isso filtra strings malformadas como https:// sem host, http://example sem domínio de nível superior e fragmentos parciais. O validador não verifica se a URL é resolvida ou retorna uma resposta 200. Apenas verifica validade sintática. Para verificar se as URLs estão ativas, execute a lista extraída através do http-status-checker um host por vez. A etapa de validação geralmente rejeita 5-10% das correspondências de regex brutas como malformadas. Referências simples www.example.com são normalizadas com um prefixo https:// antes da validação para que passem no analisador. Pontuação final como )., , e ] é removida antes da validação para evitar rejeições falsas de URLs coladas a prosa circundante.

O extrator corresponde a cinco padrões de protocolo: http://, https://, ftp://, mailto: e www. simples (que é normalizado para https://www.). Isso cobre 95% das URLs encontradas em entradas do mundo real. O extrator não corresponde a tel:, sms:, file://, chrome-extension:// ou outros esquemas específicos do navegador por design. Se você precisar extrair números de telefone de texto que mistura URLs e links tel:, use o phone-number-extractor na mesma entrada. O filtro Apenas HTTP/HTTPS restringe a saída a URLs da web e descarta correspondências mailto: e ftp://. O filtro Todas as URLs mostra tudo. O escopo de 5 protocolos mantém o padrão regex rápido o suficiente para processar entradas multi-megabyte em menos de um segundo em navegadores modernos. Protocolos personalizados podem ser adicionados editando o padrão regex na fonte se você bifurcar a ferramenta.

Deduplicação é executada automaticamente após a extração. A ferramenta compara cada URL por correspondência de string completa incluindo protocolo, host, caminho, consulta e fragmento. Duas URLs que diferem por apenas um caractere contam como entradas separadas. Isso significa que https://example.com/page e https://example.com/page/ são duas entradas (diferença de barra à direita). Também significa que example.com/page?utm_source=email e example.com/page?utm_source=social são duas entradas. Se você quiser páginas únicas independentemente dos parâmetros de consulta, cole a saída em uma planilha, divida em ? e desuplique a coluna somente de caminho. Uma extração bruta de 12.000 correspondências do log do servidor geralmente deuplica para 80-200 URLs únicas, uma redução de 60-150x. A etapa de deduplicação é o que torna o extrator útil para triagem de log. Sem deduplicação, você obtém a contagem de correspondência bruta, que raramente é o número que você deseja.

Cole o texto, clique em Extrair URLs e a ferramenta mostra a contagem de URL única ao lado dos totais do grupo de host. Para contagem de correspondência bruta antes de deduplicação, veja o resumo de resultado que exibe ambos os números. Um artigo de blog de 1.000 palavras geralmente contém 5-20 URLs. Um documento legal de 10 páginas contém 30-80 URLs. Um arquivo de log de servidor contém 50-500 URLs únicas dependendo dos padrões de tráfego. Se você precisar apenas da contagem sem ver as URLs, essa ferramenta ainda oferece a resposta mais rápida. Para contagens programáticas em scripts, use grep -oE 'https?://[^ ]+' input.txt | sort -u | wc -l na linha de comando. A ferramenta do navegador vence em entradas que você já tem em sua área de transferência. A abordagem de linha de comando vence no processamento em lote de 100+ arquivos.

Um extrator de URL lê texto bruto com regex e puxa qualquer coisa que pareça uma URL. Funciona em logs, JSON, prosa, HTML quebrado e qualquer entrada não estruturada. Um extrator de link analisa HTML válido com DOMParser e lê tags <a href>, retornando metadados estruturados como texto de âncora, sinalizadores nofollow e classificação interna versus externa. O extrator de URL é primeiro em texto. O link-extractor é HTML-aware. Use o extrator de URL quando sua entrada for confusa ou você não tiver uma URL em tempo real. Use o extrator de link quando quiser auditar a estrutura de link de uma página da web real com contexto de âncora completo. As duas ferramentas se complementam: extraia URLs de um log, depois execute cada URL única através do extrator de link para ver ao que cada página vincula. Juntas, elas cobrem tanto entradas de texto não estruturado quanto HTML estruturado.

O extrator de URL não classifica links por padrão porque não tem conceito de URL de base quando você cola texto bruto. O filtro Ocultar mesmo-domínio faz o próximo melhor: quando você busca uma URL usando o campo acima, a ferramenta conhece o host de origem e pode ocultar URLs apontando para esse mesmo host. Isso oferece uma visualização apenas externa. Para texto colado sem fonte de busca, cada URL conta como externa porque não há URL de base para comparar. Se você precisar de classificação verdadeira de interna versus externa com texto de âncora, use o link-extractor. Ele busca a URL, analisa o HTML e rotula cada tag <a> como interna ou externa com base no host da página de origem. Um post de blog B2B típico tem 80% de links internos e 20% de externos. Um artigo de notícias inverte essa proporção.

Cole a fonte HTML bruta no campo URL ou cole texto/HTML e clique em Extrair URLs. A regex captura URLs dentro de <a href>, <img src>, <link href>, <script src>, <iframe src>, chamadas inline CSS url() e URLs em texto simples no corpo HTML. Uma página HTML de 50KB geralmente contém 80-200 URLs únicas em todas essas fontes. Use o filtro Apenas HTTP/HTTPS para focar em URLs da web e pular correspondências mailto: e ftp://. Para HTML onde você especificamente quer apenas os links de âncora e precisa do texto de âncora, use o link-extractor. Ele analisa o DOM e retorna apenas correspondências <a href> com conteúdo de texto. O extrator de URL é mais amplo. O extrator de link é mais preciso para auditorias específicas de âncora. Escolha com base em se você quer toda URL ou apenas os links de âncora.

O padrão corresponde aos cinco prefixos de protocolo suportados seguidos por caracteres de URL válidos: aproximadamente (?:https?|ftp|mailto):\/\/[^\s<>"]+ mais uma correspondência separada para strings www. simples. O padrão exato trata casos especiais como URLs terminando em pontuação, URLs com parênteses e URLs contendo parâmetros de consulta com caracteres especiais. Após a correspondência, cada candidato passa pela validação new URL(), então o regex pode ser ligeiramente permissivo sem poluir a saída. Se você quiser usar o mesmo padrão fora do navegador, a versão simplificada https?:\/\/[^\s<>"]+ funciona em re.findall Python e grep -oE. O padrão completo com suporte mailto e www requer escape mais cuidadoso. Para a maioria das extrações ad-hoc, o padrão simplificado captura 95% das URLs reais. A ferramenta do navegador usa a versão completa para completude.

Sim. Este extrator de URL é gratuito sem cadastro, sem upload e sem limite de taxa. Tudo é executado no seu navegador. Você pode colar até alguns megabytes de texto e extrair URLs em menos de um segundo. A ferramenta não envia sua entrada para um servidor, o que importa ao processar logs ou emails que contêm dados sensíveis. Compare com ferramentas pagas como Screaming Frog (250 URLs livres, depois $259/ano para ilimitado) ou Ahrefs (sem extração de URL gratuita, requer assinatura $99/mês). Essas ferramentas incluem recursos que o extrator BlazeHive não possui, como crawling recursivo e pontuação de SEO. Para extração pura de URL do texto ou HTML, a ferramenta gratuita do navegador cobre o caso de uso. Emparelhe-a com email-extractor e phone-number-extractor para extração de dados de contato completa da mesma entrada, tudo gratuito.

Porque URLs em prosa frequentemente têm pontuação colada ao final. Uma frase como "Leia o artigo em https://example.com/post." tem o ponto anexado à URL após uma correspondência de regex ingênua. Sem remoção, a URL extraída se torna https://example.com/post. que falha no analisador URL porque o ponto à direita não faz parte do caminho. O extrator remove )., ,, ;, ], >, ", ' e . do final de cada correspondência antes da validação. Isso recupera a URL limpa https://example.com/post. A mesma lógica manipula URLs em markdown como [link](https://example.com) onde o parêntese de fechamento não é parte da URL. Sem remoção de pontuação final, 10-20% das URLs extraídas de prosa falhariam na validação e seriam descartadas. A etapa de remoção é o que torna o extrator confiável em texto do mundo real em vez de apenas arquivos de log limpos.