URL Extractor

Un extracteur d'URL est un outil qui scanne n'importe quelle entrée de texte et en extrait chaque URL qu'elle contient. Il utilise une expression régulière pour trouver les modèles commençant par http, https, ftp, mailto, ou www., puis valide chaque correspondance contre le parser URL du navigateur pour supprimer les chaînes mal formées. Après la validation, l'outil déduplique la liste et regroupe les résultats par host. Cet extracteur BlazeHive gère les fichiers journaux de 4 000 lignes, les charges JSON jusqu'à quelques mégaoctets, le HTML brut et la prose collée sans rien uploader vers un serveur. Tout s'exécute dans le navigateur. Les cas d'usage courants incluent le triage des journaux de sécurité, l'examen des tickets d'assistance, les audits de migration de contenu et la recherche concurrentielle rapide sur les liens sortants d'un article concurrent. Utilisez l'extracteur de lien quand vous avez spécifiquement besoin du texte d'ancrage et des drapeaux nofollow d'une page web en direct à la place.

Collez votre texte dans le champ URL ou coller du texte/HTML, choisissez un filtre et cliquez sur Extraire les URL. L'outil exécute un modèle regex sur votre entrée qui correspond aux chaînes http://, https://, ftp://, mailto: et nues www.. Chaque correspondance passe par new URL() pour filtrer les candidats mal formés, puis la ponctuation finale comme les virgules, les points, les parenthèses et les crochets est supprimée. La liste dédupliquée regroupe par host et affiche un compte pour chaque domaine. Un thread d'email de 200 lignes produit généralement 5-15 URL uniques en moins d'une seconde. Pour l'extraction programmatique, le même modèle regex fonctionne en Python (re.findall), JavaScript (String.prototype.matchAll), ou grep avec le flag -oE, mais un outil de navigateur vous donne le filtrage instantané et le regroupement par host qu'une commande d'une ligne ne fait pas.

Oui. Les journaux serveur sont l'une des entrées les plus courantes pour cet extracteur d'URL. Collez jusqu'à quelques mégaoctets de lignes de journal nginx, Apache ou application dans la textarea et cliquez sur Extraire les URL. L'outil trouve chaque URL référencée dans le journal, déduplique et regroupe par host. Un journal d'accès nginx de 4 000 lignes avec 12 000 correspondances brutes se réduit généralement à 80-200 URL uniques après la déduplication. Pour les fichiers plus grands que 5 MB, divisez le journal en chunks avant de le coller. Si vous devez extraire des URL des journaux dans le cadre d'un workflow automatisé, le même modèle regex fonctionne dans grep -oE sur la ligne de commande. Utilisez l'outil de navigateur quand vous voulez un regroupement visuel rapide. Utilisez grep quand vous voulez canaliser la sortie dans un autre script. Après l'extraction, exécutez les hosts externes suspects via l'extracteur de lien pour inspecter le contenu de la page réelle.

L'extracteur d'URL fonctionne sur du texte, donc convertissez d'abord le PDF en texte. Sur macOS, exécutez pdftotext input.pdf output.txt depuis la ligne de commande (installez via brew install poppler). Sur Windows ou Linux, utilisez le même utilitaire pdftotext du package Poppler. Ouvrez le fichier texte résultant, copiez le contenu et collez-le dans le champ URL ou coller du texte/HTML. Les PDF créés à partir de pages web contiennent généralement 20-100 URL. Les PDF de documents natifs comme les rapports en contiennent généralement 5-20. L'extracteur capture les URL qui s'étendent sur les sauts de ligne si le PDF les préserve comme des chaînes continues. Attention aux PDF qui enroulent les longues URL sur plusieurs lignes avec des tirets. Celles-ci deviennent deux URL cassées. Si votre sortie semble suspecte, ouvrez le PDF dans Preview ou Adobe Reader et utilisez l'export « Save as Text » intégré, qui préserve mieux la continuité de l'URL que les outils en ligne de commande pour certains PDF.

Ouvrez l'email, affichez la source brute ou « Afficher l'original » (Gmail) ou « Afficher la source » (Outlook), et copiez le corps HTML complet. Collez-le dans le champ URL ou coller du texte/HTML et cliquez sur Extraire les URL. Un email marketing typique contient 15-40 URL incluant les pixels de suivi, les liens de désinscription, les icônes de réseaux sociaux et les liens de contenu. Choisissez le filtre HTTP/HTTPS uniquement pour ignorer l'adresse mailto: de réponse. Pour Apple Mail ou Thunderbird, vous pouvez copier directement l'email rendu sans voir la source, mais vous manquerez les URL masquées dans les attributs alt d'image et les pixels de suivi. Affichez la source pour l'extraction la plus complète. Si vous traitez les emails en masse, exportez votre boîte de réception au format mbox et exécutez le fichier via l'extracteur en chunks. La même regex capture les URL dans les corps d'emails en texte brut et HTML de manière égale.

Chaque correspondance regex passe par le constructeur new URL() de JavaScript. Si le constructeur lève une exception, le candidat est supprimé. Cela filtre les chaînes mal formées comme https:// sans host, http://example sans domaine de niveau supérieur et les fragments partiels. Le validateur ne vérifie pas si l'URL se résout ou retourne une réponse 200. Il vérifie uniquement la validité syntaxique. Pour vérifier si les URL sont actives, exécutez la liste extraite via le vérificateur de code d'état HTTP un host à la fois. L'étape de validation rejette généralement 5-10 % des correspondances regex brutes comme mal formées. Les références nues www.example.com sont normalisées avec un préfixe https:// avant la validation afin qu'elles passent le parser. La ponctuation finale comme )., , et ] est supprimée avant la validation pour éviter les faux rejets des URL collées à la prose environnante.

L'extracteur correspond à cinq modèles de protocole : http://, https://, ftp://, mailto: et www. nu (qui est normalisé en https://www.). Cela couvre 95 % des URL trouvées dans les entrées du monde réel. L'extracteur ne correspond pas aux schémas tel:, sms:, file://, chrome-extension:// ou autres schémas spécifiques au navigateur par conception. Si vous devez extraire les numéros de téléphone du texte qui mélange URL et liens tel:, utilisez l'extracteur de numéro de téléphone sur la même entrée. Le filtre HTTP/HTTPS uniquement restreint la sortie aux URL web et supprime les correspondances mailto: et ftp://. Le filtre Toutes les URL affiche tout. La portée de 5 protocoles maintient le modèle regex assez rapide pour traiter les entrées multi-mégaoctets en moins d'une seconde sur les navigateurs modernes. Les protocoles personnalisés peuvent être ajoutés en modifiant le modèle regex dans la source si vous forkez l'outil.

La déduplication s'exécute automatiquement après l'extraction. L'outil compare chaque URL par correspondance de chaîne complète incluant le protocole, le host, le path, la query et le fragment. Deux URL qui diffèrent même d'un caractère comptent comme des entrées distinctes. Cela signifie que https://example.com/page et https://example.com/page/ sont deux entrées (différence de slash final). Cela signifie aussi que example.com/page?utm_source=email et example.com/page?utm_source=social sont deux entrées. Si vous voulez des pages uniques indépendamment des paramètres de requête, collez la sortie dans une feuille de calcul, divisez sur ?, et déduplique la colonne path uniquement. Une extraction brute de 12 000 correspondances d'un journal serveur se déduplique généralement en 80-200 URL uniques, une réduction de 60-150x. L'étape de déduplication est ce qui rend l'extracteur utile pour le triage des journaux. Sans déduplication, vous obtenez le compte de correspondance brute, ce qui n'est rarement le nombre que vous voulez.

Collez le texte, cliquez sur Extraire les URL, et l'outil affiche le compte d'URL unique à côté des totaux du groupe d'hôtes. Pour le compte de correspondance brute avant déduplication, regardez le résumé du résultat qui affiche les deux nombres. Un article de blog de 1 000 mots contient généralement 5-20 URL. Un document juridique de 10 pages contient 30-80 URL. Un fichier journal serveur contient 50-500 URL uniques selon les modèles de trafic. Si vous avez juste besoin du compte sans voir les URL, cet outil donne toujours la réponse la plus rapide. Pour les comptages programmatiques dans les scripts, utilisez grep -oE 'https?://[^ ]+' input.txt | sort -u | wc -l sur la ligne de commande. L'outil de navigateur gagne sur les entrées que vous avez déjà dans votre presse-papiers. L'approche en ligne de commande gagne pour le traitement en batch de 100+ fichiers.

Un extracteur d'URL lit du texte brut avec regex et en extrait tout ce qui ressemble à une URL. Il fonctionne sur les journaux, JSON, prose, HTML cassé et n'importe quelle entrée non structurée. Un extracteur de lien analyse l'HTML valide avec DOMParser et lit les balises <a href>, retournant des métadonnées structurées comme le texte d'ancrage, les drapeaux nofollow et la classification interne/externe. L'extracteur d'URL est orienté texte. L'extracteur de lien est conscient du HTML. Utilisez l'extracteur d'URL quand votre entrée est désordonnée ou que vous n'avez pas une URL en direct. Utilisez l'extracteur de lien quand vous voulez auditer la structure des liens d'une véritable page web avec le contexte d'ancrage complet. Les deux outils se complètent : extrayez les URL d'un journal, puis exécutez chaque URL unique via l'extracteur de lien pour voir ce que chaque page lie. Ensemble, ils couvrent les entrées de texte non structurées et d'HTML structuré.

L'extracteur d'URL ne classe pas les liens par défaut car il n'a aucune notion d'URL de base quand vous collez du texte brut. Le filtre Masquer le même domaine fait le mieux suivant : quand vous récupérez une URL en utilisant le champ ci-dessus, l'outil connaît le host source et peut masquer les URL pointant vers ce même host. Cela vous donne une vue externe uniquement. Pour le texte collé sans une source récupérée, chaque URL compte comme externe car il n'y a pas d'URL de base pour comparer. Si vous avez besoin de la véritable classification interne/externe avec le texte d'ancrage, utilisez l'extracteur de lien. Il récupère l'URL, analyse l'HTML, et étiquette chaque balise <a> comme interne ou externe en fonction du host de la page source. Un article de blog B2B typique a 80 % de liens internes et 20 % de liens externes. Un article de presse inverse ce ratio.

Collez la source HTML brute dans le champ URL ou coller du texte/HTML et cliquez sur Extraire les URL. La regex capture les URL à l'intérieur des balises <a href>, <img src>, <link href>, <script src>, <iframe src>, les appels CSS en ligne url(), et les URL en texte brut dans le corps HTML. Une page HTML de 50 KB contient généralement 80-200 URL uniques dans toutes ces sources. Utilisez le filtre HTTP/HTTPS uniquement pour vous concentrer sur les URL web et ignorer les correspondances mailto: et ftp://. Pour le HTML où vous voulez spécifiquement seulement les liens d'ancrage et avez besoin du texte d'ancrage, utilisez plutôt l'extracteur de lien. Il analyse le DOM et retourne seulement les correspondances <a href> avec le contenu texte. L'extracteur d'URL est plus large. L'extracteur de lien est plus précis pour les audits spécifiques aux ancres. Choisissez selon que vous voulez chaque URL ou seulement les liens d'ancrage.

Le modèle correspond aux cinq préfixes de protocole supportés suivis par les caractères URL valides : à peu près (?:https?|ftp|mailto):\/\/[^\s<>"]+ plus une correspondance séparée pour les chaînes www. nues. Le modèle exact gère les cas limites comme les URL se terminant par la ponctuation, les URL avec des parenthèses et les URL contenant des paramètres de requête avec des caractères spéciaux. Après la correspondance, chaque candidat passe par la validation new URL(), donc le regex peut être légèrement permissif sans polluer la sortie. Si vous voulez utiliser le même modèle en dehors du navigateur, la version simplifiée https?:\/\/[^\s<>"]+ fonctionne en Python re.findall et grep -oE. La version complète avec le support mailto et www requiert une échappement plus soignée. Pour la plupart des extractions ad-hoc, le modèle simplifié capture 95 % des URL réelles. L'outil de navigateur utilise la version complète pour l'exhaustivité.

Oui. Cet extracteur d'URL est gratuit sans inscription, pas d'upload et pas de limite de débit. Tout s'exécute dans votre navigateur. Vous pouvez coller jusqu'à quelques mégaoctets de texte et extraire les URL en moins d'une seconde. L'outil n'envoie pas votre entrée vers un serveur, ce qui importe lors du traitement de journaux ou d'emails contenant des données sensibles. Comparez avec les outils payants comme Screaming Frog (250 URL gratuites, puis 259 $/an pour illimité) ou Ahrefs (pas d'extraction d'URL gratuite, nécessite un abonnement de 99 $/mois). Ces outils incluent des fonctionnalités que l'extracteur BlazeHive n'a pas, comme le crawling récursif et le scoring SEO. Pour la pure extraction d'URL du texte ou HTML, l'outil de navigateur gratuit couvre le cas d'usage. Associez-le à l'extracteur d'email et l'extracteur de numéro de téléphone pour l'extraction complète de données de contact à partir de la même entrée, tous gratuits.

Parce que les URL en prose ont souvent la ponctuation collée à la fin. Une phrase comme « Lisez l'article à https://example.com/post. » a la période attachée à l'URL après une correspondance regex naïve. Sans suppression, l'URL extraite devient https://example.com/post. ce qui échoue le parser URL car la période finale n'est pas partie du path. L'extracteur supprime )., ,, ;, ], >, ", ' et . de la fin de chaque correspondance avant la validation. Cela récupère l'URL propre https://example.com/post. La même logique gère les URL en markdown comme [lien](https://example.com) où la parenthèse fermante n'est pas partie de l'URL. Sans suppression de la ponctuation finale, 10-20 % des URL extraites de la prose échoueraient la validation et seraient supprimées. L'étape de suppression est ce qui rend l'extracteur fiable sur du texte du monde réel au lieu de juste des fichiers journaux propres.