Cosa estrae questo estrattore di URL dal testo grezzo
L'estrattore individua i modelli http, https, ftp, mailto e www. semplice dentro qualsiasi input che fornisci. Questo copre il 95% dei link reali trovati nei log del server, email di supporto clienti, thread di chat esportati e articoli incollati. I riferimenti a www.example.com semplice vengono normalizzati a https://www.example.com prima della validazione in modo che sopravvivano al passaggio di parsing. La punteggiatura finale che spesso si attacca agli URL nella prosa, cose come )., ,, ; e ], viene rimossa prima che il link sia archiviato.
Dopo l'estrazione, ogni candidato passa attraverso new URL(). Tutto ciò che non supera il parsing viene scartato. Questo rileva stringhe malformate come https:// senza host o http://example senza TLD. L'elenco pulito viene quindi deduplicato e ordinato per host in modo da vedere quali domini appaiono più spesso. Un log di accesso nginx di 4.000 righe con 12.000 corrispondenze grezze normalmente si riduce a 80-200 URL unici dopo la deduplicazione.
Come usare questo estrattore di URL
- Inserisci URL o incolla testo/HTML. Inserisci un log del server, payload JSON, esportazione email, paragrafo di prosa o sorgente HTML grezzo. Puoi anche inserire un URL nel campo sopra e fare clic su Fetch per caricare direttamente l'HTML di quella pagina.
- Scegli Filtro. Seleziona Tutti gli URL per vedere tutto, Solo HTTP/HTTPS per saltare le corrispondenze mailto e ftp, o Nascondi stesso-dominio per supprimere i link che puntano all'host della pagina sorgente.
- Premi Estrai URL. Lo strumento restituisce un elenco deduplicato raggruppato per host, con un conteggio accanto a ogni dominio e un'opzione di copia/download per l'output pulito.
Prova questo con un log webhook di Stripe. Incolla 200 righe contenenti riferimenti come https://api.stripe.com/v1/charges/ch_3O2, https://yourapp.com/webhooks/stripe e mailto:[email protected]. Imposta Filtro su Solo HTTP/HTTPS. L'estrattore restituisce tre URL unici raggruppati sotto due host: api.stripe.com (1 link) e yourapp.com (1 link). La corrispondenza mailto è nascosta. Attiva di nuovo Filtro su Tutti gli URL e mailto riappare nel suo gruppo.
Perché un estrattore di URL basato su testo batte il parsing DOM per input disordinati
La maggior parte degli estrattori di link richiedono HTML valido e parsano il DOM per trovare i tag <a href>. Funziona bene per pagine web pulite ma si rompe su file di log, JSON, testo semplice e HTML rotto dove gli ancoraggi mancano o sono malformati. Un estrattore di URL basato su regex legge i byte grezzi e trova tutto ciò che assomiglia a un URL, indipendentemente dalla struttura. Questo lo rende lo strumento giusto per audit di sicurezza, triage di ticket di supporto, migrazioni di contenuti e qualsiasi scenario in cui l'input non è una pagina web renderizzata.
Se hai bisogno di testo di ancoraggio, flag nofollow o classificazione interna-versus-esterna da una vera pagina web, usa l'estrattore di link invece. Questo strumento fetch l'URL, parsifica il DOM con DOMParser e restituisce metadati strutturati di ancoraggio. Usa l'estrattore di URL quando l'input è non strutturato. Usa l'estrattore di link quando l'input è HTML e vuoi il contesto di ancoraggio.
Errori comuni
- Confondere l'estrattore di URL con l'estrattore di link. L'estrattore di URL legge qualsiasi testo ed esegue regex. L'estrattore di link parsifica l'HTML e legge i tag
<a>. Usa l'estrattore di URL per log, JSON e prosa. Usa link-extractor per analizzare la struttura dei link di una pagina web live. - Dimenticare di rimuovere i parametri di query prima della deduplicazione per l'analitiche. Due URL che differiscono solo per
?utm_source=contano come voci separate. Se vuoi pagine uniche, esegui l'output attraverso un rapido passaggio di foglio di calcolo per eliminare le stringhe di query prima di contare. - Incollare HTML troncato e perdere metà dei link. La copia-incolla da "Visualizza origine pagina" a volte tronca a 100KB o taglia a metà tag. Usa l'opzione di fetch URL nel campo sopra, che pull la risposta completa del server.
- Fidarsi del conteggio deduplicato come conteggio di pagine uniche. Dedupe è host più path più query.
example.com/pageeexample.com/page/sono due voci anche se si risolvono alla stessa pagina. Normalizza i slash finali se l'unicità esatta è importante. - Eseguire l'estrattore su un file di log da 50MB in un'unica incolla. La regex del browser su input enormi può bloccare la scheda per 30+ secondi. Dividi i log in chunk da 5MB o usa la modalità fetch per URL individuali.
Suggerimenti avanzati
- Dopo l'estrazione, canalizza l'output nell'estrattore di link per URL per ottenere testo di ancoraggio e attributi rel per ogni link. I due strumenti si collegano naturalmente per audit di link completi.
- Per migrazioni SEO, estrai ogni URL dalla tua vecchia sitemap.xml, esegui la stessa estrazione sulla nuova sitemap e diff gli elenchi per trovare pagine mancanti. Un sito da 5.000 URL di solito ha 50-200 reindirizzamenti mancanti dopo una riprogettazione.
- Usa il filtro Nascondi stesso-dominio quando auditi i link in uscita da una singola pagina. Un sito di marketing B2B con 80 link interni e 12 link partner esterni mostra solo i 12 esterni, rendendo istantaneo l'audit dei partner.
- Abbina questo all'estrattore di email quando elabori dump di contatti. L'estrattore di email cattura indirizzi che la regex mailto dell'estrattore di URL perde, come stringhe
[email protected]grezze senza il prefissomailto:. - Per flussi di lavoro sviluppatore, esegui l'estrazione su git log output per trovare ogni riferimento esterno nei messaggi di commit. Una storia di 2.000 commit contiene tipicamente 40-80 URL di riferimento univoci (ticket Jira, PR GitHub, thread Slack).
Una volta che hai un elenco di URL pulito, il passaggio successivo dipende dal tuo obiettivo. Per l'audit di link HTML con contesto di ancoraggio, esegui ogni URL attraverso l'estrattore di link. Per trovare informazioni di contatto nello stesso input, usa l'estrattore di email e l'estrattore di numeri di telefono sulla stessa incolla. Per crawl basati su sitemap, il controllore di sitemap ti dà la vista XML strutturata che l'approccio regex salta.