Vai al contenuto
Controllo in tempo reale · scarica il tuo URL lato server

URL Extractor

Estrai tutti gli URL da qualsiasi testo, log file, email o pagina web in un click.

Un estrattore di URL scansiona qualsiasi blocco di testo, file di log, dump JSON, corpo email o HTML grezzo e estrae ogni link che trova. Questo strumento esegue un'espressione regolare su quello che incolli, valida ogni corrispondenza con il parser URL del browser, rimuove la punteggiatura finale come virgole e punti, deduplica i risultati e li raggruppa per host. Filtra l'output per tutti gli URL, solo HTTP/HTTPS, o nascondi i link dello stesso dominio. Nessuna iscrizione, nessun caricamento, tutto rimane nel tuo browser.

or

Cosa estrae questo estrattore di URL dal testo grezzo

L'estrattore individua i modelli http, https, ftp, mailto e www. semplice dentro qualsiasi input che fornisci. Questo copre il 95% dei link reali trovati nei log del server, email di supporto clienti, thread di chat esportati e articoli incollati. I riferimenti a www.example.com semplice vengono normalizzati a https://www.example.com prima della validazione in modo che sopravvivano al passaggio di parsing. La punteggiatura finale che spesso si attacca agli URL nella prosa, cose come )., ,, ; e ], viene rimossa prima che il link sia archiviato.

Dopo l'estrazione, ogni candidato passa attraverso new URL(). Tutto ciò che non supera il parsing viene scartato. Questo rileva stringhe malformate come https:// senza host o http://example senza TLD. L'elenco pulito viene quindi deduplicato e ordinato per host in modo da vedere quali domini appaiono più spesso. Un log di accesso nginx di 4.000 righe con 12.000 corrispondenze grezze normalmente si riduce a 80-200 URL unici dopo la deduplicazione.

Come usare questo estrattore di URL

  1. Inserisci URL o incolla testo/HTML. Inserisci un log del server, payload JSON, esportazione email, paragrafo di prosa o sorgente HTML grezzo. Puoi anche inserire un URL nel campo sopra e fare clic su Fetch per caricare direttamente l'HTML di quella pagina.
  2. Scegli Filtro. Seleziona Tutti gli URL per vedere tutto, Solo HTTP/HTTPS per saltare le corrispondenze mailto e ftp, o Nascondi stesso-dominio per supprimere i link che puntano all'host della pagina sorgente.
  3. Premi Estrai URL. Lo strumento restituisce un elenco deduplicato raggruppato per host, con un conteggio accanto a ogni dominio e un'opzione di copia/download per l'output pulito.

Prova questo con un log webhook di Stripe. Incolla 200 righe contenenti riferimenti come https://api.stripe.com/v1/charges/ch_3O2, https://yourapp.com/webhooks/stripe e mailto:[email protected]. Imposta Filtro su Solo HTTP/HTTPS. L'estrattore restituisce tre URL unici raggruppati sotto due host: api.stripe.com (1 link) e yourapp.com (1 link). La corrispondenza mailto è nascosta. Attiva di nuovo Filtro su Tutti gli URL e mailto riappare nel suo gruppo.

Perché un estrattore di URL basato su testo batte il parsing DOM per input disordinati

La maggior parte degli estrattori di link richiedono HTML valido e parsano il DOM per trovare i tag <a href>. Funziona bene per pagine web pulite ma si rompe su file di log, JSON, testo semplice e HTML rotto dove gli ancoraggi mancano o sono malformati. Un estrattore di URL basato su regex legge i byte grezzi e trova tutto ciò che assomiglia a un URL, indipendentemente dalla struttura. Questo lo rende lo strumento giusto per audit di sicurezza, triage di ticket di supporto, migrazioni di contenuti e qualsiasi scenario in cui l'input non è una pagina web renderizzata.

Se hai bisogno di testo di ancoraggio, flag nofollow o classificazione interna-versus-esterna da una vera pagina web, usa l'estrattore di link invece. Questo strumento fetch l'URL, parsifica il DOM con DOMParser e restituisce metadati strutturati di ancoraggio. Usa l'estrattore di URL quando l'input è non strutturato. Usa l'estrattore di link quando l'input è HTML e vuoi il contesto di ancoraggio.

Errori comuni

  • Confondere l'estrattore di URL con l'estrattore di link. L'estrattore di URL legge qualsiasi testo ed esegue regex. L'estrattore di link parsifica l'HTML e legge i tag <a>. Usa l'estrattore di URL per log, JSON e prosa. Usa link-extractor per analizzare la struttura dei link di una pagina web live.
  • Dimenticare di rimuovere i parametri di query prima della deduplicazione per l'analitiche. Due URL che differiscono solo per ?utm_source= contano come voci separate. Se vuoi pagine uniche, esegui l'output attraverso un rapido passaggio di foglio di calcolo per eliminare le stringhe di query prima di contare.
  • Incollare HTML troncato e perdere metà dei link. La copia-incolla da "Visualizza origine pagina" a volte tronca a 100KB o taglia a metà tag. Usa l'opzione di fetch URL nel campo sopra, che pull la risposta completa del server.
  • Fidarsi del conteggio deduplicato come conteggio di pagine uniche. Dedupe è host più path più query. example.com/page e example.com/page/ sono due voci anche se si risolvono alla stessa pagina. Normalizza i slash finali se l'unicità esatta è importante.
  • Eseguire l'estrattore su un file di log da 50MB in un'unica incolla. La regex del browser su input enormi può bloccare la scheda per 30+ secondi. Dividi i log in chunk da 5MB o usa la modalità fetch per URL individuali.

Suggerimenti avanzati

  • Dopo l'estrazione, canalizza l'output nell'estrattore di link per URL per ottenere testo di ancoraggio e attributi rel per ogni link. I due strumenti si collegano naturalmente per audit di link completi.
  • Per migrazioni SEO, estrai ogni URL dalla tua vecchia sitemap.xml, esegui la stessa estrazione sulla nuova sitemap e diff gli elenchi per trovare pagine mancanti. Un sito da 5.000 URL di solito ha 50-200 reindirizzamenti mancanti dopo una riprogettazione.
  • Usa il filtro Nascondi stesso-dominio quando auditi i link in uscita da una singola pagina. Un sito di marketing B2B con 80 link interni e 12 link partner esterni mostra solo i 12 esterni, rendendo istantaneo l'audit dei partner.
  • Abbina questo all'estrattore di email quando elabori dump di contatti. L'estrattore di email cattura indirizzi che la regex mailto dell'estrattore di URL perde, come stringhe [email protected] grezze senza il prefisso mailto:.
  • Per flussi di lavoro sviluppatore, esegui l'estrazione su git log output per trovare ogni riferimento esterno nei messaggi di commit. Una storia di 2.000 commit contiene tipicamente 40-80 URL di riferimento univoci (ticket Jira, PR GitHub, thread Slack).

Una volta che hai un elenco di URL pulito, il passaggio successivo dipende dal tuo obiettivo. Per l'audit di link HTML con contesto di ancoraggio, esegui ogni URL attraverso l'estrattore di link. Per trovare informazioni di contatto nello stesso input, usa l'estrattore di email e l'estrattore di numeri di telefono sulla stessa incolla. Per crawl basati su sitemap, il controllore di sitemap ti dà la vista XML strutturata che l'approccio regex salta.

Domande frequenti

Cos'è un estrattore di URL?

Un estrattore di URL è uno strumento che scansiona qualsiasi input di testo e estrae ogni URL che contiene. Usa un'espressione regolare per trovare modelli che iniziano con http, https, ftp, mailto o www., quindi valida ogni corrispondenza rispetto al parser URL del browser per eliminare le stringhe malformate. Dopo la validazione, lo strumento deduplica l'elenco e raggruppa i risultati per host. Questo estrattore BlazeHive gestisce file di log da 4.000 righe, payload JSON fino a pochi megabyte, HTML grezzo e prosa incollata senza caricare nulla su un server. Tutto viene eseguito nel browser. I casi d'uso comuni includono triage di log di sicurezza, revisione di ticket di supporto, audit di migrazioni di contenuti e ricerca competitiva veloce su link in uscita da un articolo di un concorrente. Usa l'estrattore di link quando hai bisogno specificamente di testo di ancoraggio e flag nofollow da una pagina web live.

Come estrai URL dal testo?

Incolla il tuo testo nel campo URL o incolla testo/HTML, scegli un filtro e fai clic su Estrai URL. Lo strumento esegue un modello di espressione regolare sul tuo input che individua stringhe http://, https://, ftp://, mailto: e www. semplice. Ogni corrispondenza passa attraverso new URL() per filtrare i candidati malformati, quindi la punteggiatura finale come virgole, punti, parentesi e parentesi quadre viene rimossa. L'elenco deduplicato raggruppa per host e mostra un conteggio per ogni dominio. Un thread email di 200 righe típicamente produce 5-15 URL unici in meno di un secondo. Per l'estrazione programmatica, lo stesso modello di regex funziona in Python (re.findall), JavaScript (String.prototype.matchAll) o grep con il flag -oE, ma uno strumento browser ti dà il filtraggio istantaneo e il raggruppamento host che una one-liner non ha.

Posso estrarre URL da un file di log?

Sì. I log del server sono uno degli input più comuni per questo estrattore di URL. Incolla fino a pochi megabyte di linee di log nginx, Apache o applicazione nella textarea e fai clic su Estrai URL. Lo strumento trova ogni URL referenziato nel log, deduplica e raggruppa per host. Un log di accesso nginx da 4.000 righe con 12.000 corrispondenze grezze normalmente si riduce a 80-200 URL unici dopo la deduplicazione. Per file più grandi di 5MB, dividi il log in chunk prima di incollare. Se hai bisogno di estrarre URL da log come parte di un flusso di lavoro automatizzato, lo stesso modello di regex funziona in grep -oE sulla riga di comando. Usa lo strumento browser quando vuoi un raggruppamento visivo rapido. Usa grep quando vuoi canalizzare l'output in un altro script. Dopo l'estrazione, esegui gli host esterni sospetti attraverso l'estrattore di link per ispezionare il contenuto della pagina effettiva.

Come estrai URL da un PDF?

L'estrattore di URL funziona su testo, quindi prima converti il PDF in testo. Su macOS, esegui pdftotext input.pdf output.txt dalla riga di comando (installa via brew install poppler). Su Windows o Linux, usa lo stesso utility pdftotext dal pacchetto Poppler. Apri il file di testo risultante, copia il contenuto e incolla nel campo URL o incolla testo/HTML. I PDF creati da pagine web contengono tipicamente 20-100 URL. I PDF da documenti nativi come report contengono di solito 5-20. L'estrattore cattura gli URL che si estendono su interruzioni di riga se il PDF li conserva come stringhe continue. Fai attenzione ai PDF che avvolgono URL lunghi su più righe con trattini. Questi diventano due URL rotti. Se il tuo output appare sospetto, apri il PDF in Preview o Adobe Reader e usa l'export "Salva come testo" integrato, che preserva meglio la continuità degli URL rispetto agli strumenti da riga di comando per alcuni PDF.

Come estrai URL da un'email?

Apri l'email, visualizza il sorgente grezzo o "Mostra originale" (Gmail) o "Visualizza origine" (Outlook), e copia il corpo HTML completo. Incolla nel campo URL o incolla testo/HTML e fai clic su Estrai URL. Un'email di marketing tipica contiene 15-40 URL inclusi pixel di tracciamento, link di cancellazione, icone social e link di contenuto. Scegli il filtro Solo HTTP/HTTPS per saltare l'indirizzo mailto: di reply-to. Per Apple Mail o Thunderbird, puoi copiare l'email renderizzata direttamente senza visualizzare il sorgente, ma perderai gli URL nascosti negli attributi alt delle immagini e nei pixel di tracciamento. Visualizza il sorgente per l'estrazione più completa. Se elabori email in massa, esporta la tua casella di posta in formato mbox ed esegui il file attraverso l'estrattore in chunk. Lo stesso regex cattura gli URL nei corpi email di testo semplice e HTML allo stesso modo.

Come valida gli URL l'estrattore di URL?

Ogni corrispondenza di regex passa attraverso il costruttore new URL() di JavaScript. Se il costruttore genera un'eccezione, il candidato viene scartato. Questo filtra le stringhe malformate come https:// senza host, http://example senza top-level domain e frammenti parziali. Il validatore non controlla se l'URL si risolve o restituisce una risposta 200. Verifica solo la validità sintattica. Per controllare se gli URL sono live, esegui l'elenco estratto attraverso il controllore di stato HTTP uno host alla volta. Il passaggio di validazione normalmente rifiuta il 5-10% delle corrispondenze di regex grezze come malformate. I riferimenti a www.example.com semplice vengono normalizzati con un prefisso https:// prima della validazione in modo che passino il parser. La punteggiatura finale come )., , e ] viene rimossa prima della validazione per evitare falsi rifiuti dagli URL incollati alla prosa circostante.

Quali protocolli supporta l'estrattore di URL?

L'estrattore individua cinque modelli di protocollo: http://, https://, ftp://, mailto: e www. semplice (che viene normalizzato a https://www.). Questo copre il 95% degli URL trovati in input del mondo reale. L'estrattore non individua tel:, sms:, file://, chrome-extension:// o altri schemi specifici del browser per design. Se hai bisogno di estrarre numeri di telefono da testo che mescola URL e link tel:, usa l'estrattore di numeri di telefono sullo stesso input. Il filtro Solo HTTP/HTTPS limita l'output agli URL web e scarta le corrispondenze mailto: e ftp://. Il filtro Tutti gli URL mostra tutto. L'ambito di 5 protocolli mantiene il modello di regex abbastanza veloce da elaborare input multi-megabyte in meno di un secondo su browser moderni. I protocolli personalizzati possono essere aggiunti modificando il modello di regex nel sorgente se fai un fork dello strumento.

Come deduplichi gli URL?

La deduplicazione viene eseguita automaticamente dopo l'estrazione. Lo strumento confronta ogni URL per corrispondenza di stringa completa inclusa protocolo, host, path, query e frammento. Due URL che differiscono anche di un solo carattere contano come voci separate. Ciò significa che https://example.com/page e https://example.com/page/ sono due voci (differenza di slash finale). Significa anche che example.com/page?utm_source=email e example.com/page?utm_source=social sono due voci. Se vuoi pagine uniche indipendentemente dai parametri di query, incolla l'output in un foglio di calcolo, dividi su ? e deduplica la colonna path-only. Un'estrazione grezza da 12.000 corrispondenze da log del server normalmente si deduplica a 80-200 URL unici, una riduzione di 60-150x. Il passaggio di deduplicazione è ciò che rende l'estrattore utile per il triage dei log. Senza deduplicazione, ottieni il conteggio di corrispondenza grezzo, che raramente è il numero che vuoi.

Come conto gli URL nel testo?

Incolla il testo, fai clic su Estrai URL e lo strumento mostra il conteggio di URL unici accanto ai totali del gruppo host. Per il conteggio di corrispondenza grezza prima della deduplicazione, guarda il riepilogo dei risultati che visualizza entrambi i numeri. Un articolo di blog da 1.000 parole contiene tipicamente 5-20 URL. Un documento legale da 10 pagine contiene 30-80 URL. Un file di log del server contiene 50-500 URL unici a seconda dei modelli di traffico. Se hai bisogno solo del conteggio senza vedere gli URL, questo strumento ti dà comunque la risposta più veloce. Per conteggi programmatici negli script, usa grep -oE 'https?://[^ ]+' input.txt | sort -u | wc -l sulla riga di comando. Lo strumento browser vince su input che hai già negli appunti. L'approccio da riga di comando vince nell'elaborazione batch di 100+ file.

Qual è la differenza tra un estrattore di URL e un estrattore di link?

Un estrattore di URL legge il testo grezzo con regex ed estrae qualsiasi cosa che assomiglia a un URL. Funziona su log, JSON, prosa, HTML rotto e qualsiasi input non strutturato. Un estrattore di link parsifica HTML valido con DOMParser e legge i tag <a href>, restituendo metadati strutturati come testo di ancoraggio, flag nofollow e classificazione interna-versus-esterna. L'estrattore di URL è basato su testo. L'estrattore di link è consapevole di HTML. Usa l'estrattore di URL quando il tuo input è disordinato o non hai un URL live. Usa l'estrattore di link quando vuoi fare audit della struttura dei link di una vera pagina web con il contesto di ancoraggio completo. I due strumenti si completano: estrai URL da un log, quindi esegui ogni URL unico attraverso l'estrattore di link per vedere cosa collega ogni pagina. Insieme coprono sia input di testo non strutturato che input HTML strutturato.

L'estrattore di URL può classificare i link interni vs esterni?

L'estrattore di URL non classifica i link per default perché non ha il concetto di URL base quando incolli testo grezzo. Il filtro Nascondi stesso-dominio fa la cosa successiva migliore: quando fetch un URL usando il campo sopra, lo strumento conosce l'host sorgente e può nascondere gli URL che puntano a quello stesso host. Questo ti dà una vista solo esterna. Per testo incollato senza una sorgente fetch, ogni URL conta come esterno perché non esiste un URL base per il confronto. Se hai bisogno di vera classificazione interna-versus-esterna con testo di ancoraggio, usa l'estrattore di link. Fa il fetch dell'URL, parsifica l'HTML e etichetta ogni tag <a> come interno o esterno in base all'host della pagina sorgente. Un post di blog B2B tipico ha l'80% di link interni e il 20% di esterni. Un articolo di notizie inverte quel rapporto.

Come estrai URL da HTML?

Incolla il sorgente HTML grezzo nel campo URL o incolla testo/HTML e fai clic su Estrai URL. La regex cattura gli URL dentro <a href>, <img src>, <link href>, <script src>, <iframe src>, chiamate url() di CSS inline e URL di testo semplice nel corpo HTML. Una pagina HTML da 50KB contiene tipicamente 80-200 URL unici in tutte quelle fonti. Usa il filtro Solo HTTP/HTTPS per concentrarti su URL web e salta le corrispondenze mailto: e ftp://. Per HTML dove vuoi specificamente solo i link di ancoraggio e hai bisogno di testo di ancoraggio, usa l'estrattore di link invece. Parsifica il DOM e restituisce solo le corrispondenze <a href> con il contenuto di testo. L'estrattore di URL è più ampio. L'estrattore di link è più preciso per audit specifici degli ancoraggi. Scegli in base a se vuoi ogni URL o solo i link di ancoraggio.

Quale modello di regex usa l'estrattore di URL?

Il modello individua i cinque prefissi di protocollo supportati seguiti da caratteri URL validi: approssimativamente (?:https?|ftp|mailto):\/\/[^\s<>"]+ più una corrispondenza separata per stringhe www. semplice. Il modello esatto gestisce i casi limite come gli URL che terminano con punteggiatura, gli URL con parentesi e gli URL contenenti parametri di query con caratteri speciali. Dopo la corrispondenza, ogni candidato passa attraverso la validazione new URL(), quindi la regex può essere leggermente permissiva senza inquinare l'output. Se vuoi usare lo stesso modello fuori dal browser, la versione semplificata https?:\/\/[^\s<>"]+ funziona in re.findall di Python e grep -oE. Il modello completo con supporto mailto e www richiede escape più attento. Per la maggior parte delle estrazioni ad hoc, il modello semplificato cattura il 95% degli URL reali. Lo strumento browser usa la versione completa per completezza.

L'estrattore di URL è gratuito?

Sì. Questo estrattore di URL è gratuito senza iscrizione, senza caricamento e senza limite di velocità. Tutto viene eseguito nel tuo browser. Puoi incollare fino a pochi megabyte di testo ed estrarre URL in meno di un secondo. Lo strumento non invia il tuo input a un server, il che è importante quando elabori log o email che contengono dati sensibili. Comparato con strumenti a pagamento come Screaming Frog (250 URL gratuiti, poi $259/anno per illimitati) o Ahrefs (nessuna estrazione URL gratuita, richiede $99/mese di sottoscrizione). Questi strumenti includono funzionalità che l'estrattore BlazeHive non ha, come il crawling ricorsivo e il punteggio SEO. Per pura estrazione di URL da testo o HTML, lo strumento browser gratuito copre il caso d'uso. Abbinalo all'estrattore di email e all'estrattore di numeri di telefono per l'estrazione dati di contatto completa dal medesimo input, tutto gratuito.

Perché l'estrattore di URL rimuove la punteggiatura finale?

Perché gli URL nella prosa spesso hanno la punteggiatura incollata alla fine. Una frase come "Leggi l'articolo su https://example.com/post." ha il punto allegato all'URL dopo una corrispondenza regex ingenua. Senza rimozione, l'URL estratto diventa https://example.com/post. che non supera il parser URL perché il punto finale non fa parte del path. L'estrattore rimuove )., ,, ;, ], >, ", ' e . dalla fine di ogni corrispondenza prima della validazione. Questo recupera l'URL pulito https://example.com/post. La stessa logica gestisce gli URL in markdown come [link](https://example.com) dove la parentesi di chiusura non fa parte dell'URL. Senza la rimozione della punteggiatura finale, il 10-20% degli URL estratti dalla prosa fallirebbe la validazione e verrebbe scartato. Il passaggio di rimozione è ciò che rende l'estrattore affidabile su testo del mondo reale invece che solo su file di log puliti.

Strumenti gratuiti correlati

Tutti gli strumenti →