URL Extractor

Ein URL-Extractor ist ein Tool, das jeden Text-Input scannt und jeden URL extrahiert, den er enthält. Er nutzt einen regulären Ausdruck, um Muster zu finden, die mit http, https, ftp, mailto oder www. beginnen, validiert dann jeden Match gegen den URL-Parser des Browsers, um fehlerhafte Strings zu löschen. Nach der Validierung dedupliziert das Tool die Liste und gruppiert die Ergebnisse nach Host. Dieser BlazeHive-Extractor verarbeitet 4.000-zeilige Log-Dateien, JSON-Payloads bis zu einigen Megabyte, rohes HTML und eingefügten Prosa, ohne irgendetwas auf einen Server hochzuladen. Alles läuft im Browser. Häufige Use Cases sind Security-Log-Triage, Support-Ticket-Review, Content-Migration-Audits und schnelle Konkurrenzforschung bei ausgehenden Links aus einem Artikel der Konkurrenz. Nutze den Link-Extractor, wenn du speziell Anchor-Text und nofollow-Flags von einer live Web-Seite brauchst.

Füge deinen Text in das Feld URL oder Text/HTML einfügen ein, wähle einen Filter und klicke auf „URLs extrahieren". Das Tool führt ein Regex-Muster über deine Eingabe aus, das http://, https://, ftp://, mailto: und nackte www.-Strings findet. Jeder Match wird durch new URL() gefiltert, um fehlerhafte Kandidaten auszusortieren, dann werden nachfolgende Satzzeichen wie Kommas, Punkte, Klammern und eckige Klammern entfernt. Die deduplizierte Liste gruppiert nach Host und zeigt eine Anzahl für jede Domain. Ein 200-zeiliger Email-Thread ergibt typischerweise 5–15 eindeutige URLs in unter einer Sekunde. Für programmgesteuerte Extraktion funktioniert dasselbe Regex-Muster in Python (re.findall), JavaScript (String.prototype.matchAll) oder grep mit dem -oE-Flag, aber ein Browser-Tool gibt dir sofortige Filterung und Host-Gruppierung, die eine One-Liner nicht bietet.

Ja. Server-Logs sind eine der häufigsten Eingaben für diesen URL-Extractor. Füge bis zu einigen Megabyte nginx-, Apache- oder Application-Log-Zeilen in die Textarea ein und klicke auf „URLs extrahieren". Das Tool findet jeden URL, der im Log referenziert wird, dedupliziert und gruppiert nach Host. Ein 4.000-zeiliges nginx-Access-Log mit 12.000 rohen Matches reduziert sich typischerweise auf 80–200 eindeutige URLs nach der Deduplizierung. Bei Dateien größer als 5 MB teile das Log vor dem Einfügen in Chunks auf. Wenn du URLs aus Logs als Teil eines automatisierten Workflows extrahieren musst, funktioniert dasselbe Regex-Muster mit grep -oE in der Befehlszeile. Nutze das Browser-Tool, wenn du schnelle visuelle Gruppierung brauchst. Nutze grep, wenn du die Ausgabe in ein anderes Script pipen willst. Nach der Extraktion: Führe verdächtige externe Hosts durch den Link-Extractor, um den tatsächlichen Seiten-Inhalt zu prüfen.

Der URL-Extractor arbeitet mit Text, also konvertiere die PDF zuerst in Text. Auf macOS: Führe pdftotext input.pdf output.txt in der Befehlszeile aus (installiert via brew install poppler). Auf Windows oder Linux: Nutze dasselbe pdftotext-Utility aus dem Poppler-Paket. Öffne die resultierende Textdatei, kopiere den Inhalt und füge ihn ins Feld URL oder Text/HTML einfügen ein. PDFs, die aus Web-Seiten erstellt wurden, enthalten üblicherweise 20–100 URLs. PDFs aus nativen Dokumenten wie Reports enthalten üblicherweise 5–20. Der Extractor findet URLs, die sich über Zeilenumbrüche erstrecken, wenn die PDF sie als kontinuierliche Strings beibehält. Achte auf PDFs, die lange URLs über mehrere Zeilen mit Bindestrichen wrappen. Diese werden zu zwei unterbrochenen URLs. Wenn deine Ausgabe verdächtig aussieht, öffne die PDF in Preview oder Adobe Reader und nutze den eingebauten „Save as Text"-Export, der URL-Kontinuität für manche PDFs besser bewahrt als Command-Line-Tools.

Öffne die E-Mail, zeige den Rohrer-Quelltext oder „Nachricht anzeigen" (Gmail) oder „Quelle anzeigen" (Outlook) und kopiere den vollständigen HTML-Body. Füge das ins Feld URL oder Text/HTML einfügen ein und klicke auf „URLs extrahieren". Eine typische Marketing-E-Mail enthält 15–40 URLs inklusive Tracking-Pixels, Abmelde-Links, Social-Icons und Content-Links. Wähle den Filter „Nur HTTP/HTTPS", um die mailto:-Reply-Adresse zu überspringen. Bei Apple Mail oder Thunderbird kannst du die gerenderte E-Mail direkt kopieren, ohne die Quelle anzusehen, aber du wirst URLs übersehen, die in Bild-Alt-Attributen und Tracking-Pixels verborgen sind. Zeige die Quelle für die vollständigste Extraktion. Wenn du E-Mails in Massen verarbeitest: Exportiere dein Postfach im mbox-Format und führe die Datei in Chunks durch den Extractor. Dasselbe Regex findet URLs in Klartext- und HTML-E-Mail-Bodies gleich gut.

Jeder Regex-Match wird durch Javascripts new URL()-Konstruktor ausgeführt. Wenn der Konstruktor wirft, wird der Kandidat gelöscht. Das filtert fehlerhafte Strings wie https:// ohne Host, http://example ohne Top-Level-Domain und Teile-Fragmente. Der Validator prüft nicht, ob die URL aufgelöst wird oder eine 200-Response zurückgibt. Er verifiziert nur syntaktische Gültigkeit. Um zu prüfen, ob URLs live sind, führe die extrahierte Liste durch den HTTP-Status-Checker einzeln durch. Der Validierungs-Schritt verwirft typischerweise 5–10 % der rohen Regex-Matches als fehlerhaft. Nackte www.example.com-Referenzen werden mit einem https://-Präfix normalisiert, bevor sie validiert werden, damit sie den Parser bestehen. Nachfolgende Satzzeichen wie )., , und ] werden vor der Validierung entfernt, um falsche Ablehnungen von URLs, die an umgebender Prosa kleben, zu vermeiden.

Der Extractor findet fünf Protokoll-Muster: http://, https://, ftp://, mailto: und nackt www. (was zu https://www. normalisiert wird). Das deckt 95 % der URLs ab, die in echten Eingaben vorkommen. Der Extractor findet keine tel:, sms:, file://, chrome-extension:// oder andere Browser-spezifische Schemes mit Absicht. Wenn du Telefonnummern aus Text extrahieren musst, die URLs und tel:-Links vermischt enthält, nutze den Phone-Number-Extractor auf derselben Eingabe. Der Filter „Nur HTTP/HTTPS" beschränkt die Ausgabe auf Web-URLs und löscht mailto:- und ftp://-Matches. Der Filter „Alle URLs" zeigt alles. Der 5-Protokoll-Umfang hält das Regex-Muster schnell genug, um mehrere Megabyte große Eingaben in unter einer Sekunde auf modernen Browsern zu verarbeiten. Custom-Protokolle können durch die Bearbeitung des Regex-Musters in der Quelle hinzugefügt werden, wenn du das Tool abspinnst.

Deduplizierung läuft automatisch nach der Extraktion. Das Tool vergleicht jede URL durch vollständigen String-Match inklusive Protokoll, Host, Pfad, Query und Fragment. Zwei URLs, die sich auch nur um ein Zeichen unterscheiden, zählen als separate Einträge. Das bedeutet https://example.com/page und https://example.com/page/ sind zwei Einträge (Unterschied durch Slash am Ende). Es bedeutet auch example.com/page?utm_source=email und example.com/page?utm_source=social sind zwei Einträge. Wenn du eindeutige Seiten unabhängig von Query-Parametern brauchst: Füge die Ausgabe in eine Spreadsheet, teile bei ? auf und dedupliziere die pfad-only Spalte. Eine 12.000-Match-Rohextraktion aus Server-Logs dedupliziert typischerweise auf 80–200 eindeutige URLs, eine 60–150x Reduktion. Der Deduplizierungs-Schritt ist das, was den Extractor für Log-Triage nützlich macht. Ohne Deduplizierung bekommst du die rohe Match-Anzahl, was selten die Zahl ist, die du willst.

Füge den Text ein, klicke auf „URLs extrahieren" und das Tool zeigt die eindeutige URL-Anzahl neben den Host-Gruppen-Gesamtzahlen. Für die Rohe-Match-Anzahl vor Deduplizierung: Schau die Ergebniszusammenfassung an, die beide Zahlen anzeigt. Ein 1.000-Wort-Blog-Artikel enthält typischerweise 5–20 URLs. Ein 10-seitiges Rechtsdokument enthält 30–80 URLs. Eine Server-Log-Datei enthält 50–500 eindeutige URLs, abhängig von Traffic-Mustern. Wenn du nur die Anzahl brauchst, ohne die URLs zu sehen: Dieses Tool gibt dir trotzdem die schnellste Antwort. Für programmgesteuerte Anzahlen in Scripts: Nutze grep -oE 'https?://[^ ]+' input.txt | sort -u | wc -l in der Befehlszeile. Das Browser-Tool gewinnt bei Eingaben, die du bereits in deiner Zwischenablage hast. Der Command-Line-Ansatz gewinnt bei der Batch-Verarbeitung von 100+ Dateien.

Ein URL-Extractor liest rohen Text mit Regex und zieht alles heraus, das wie eine URL aussieht. Er arbeitet auf Logs, JSON, Prosa, defektem HTML und jeder unstrukturierten Eingabe. Ein Link-Extractor parsed gültiges HTML mit DOMParser und liest <a href>-Tags, gibt strukturierte Metadaten wie Anchor-Text, nofollow-Flags und Klassifizierung interne-vs-externe zurück. Der URL-Extractor ist text-first. Der Link-Extractor ist HTML-bewusst. Nutze den URL-Extractor, wenn deine Eingabe chaotisch ist oder du keine live URL hast. Nutze den Link-Extractor, wenn du die Link-Struktur einer echten Web-Seite mit vollem Anchor-Kontext auditieren willst. Die beiden Tools ergänzen sich: Extrahiere URLs aus einem Log, dann führe jede eindeutige URL durch den Link-Extractor, um zu sehen, auf was jede Seite verlinkt. Zusammen decken sie sowohl unstrukturierten Text als auch strukturiertes HTML ab.

Der URL-Extractor klassifiziert Links standardmäßig nicht, da er beim Einfügen von rohem Text keine Kenntnis einer Base-URL hat. Der Filter „Gleiche Domain ausblenden" ist das nächstbeste: Wenn du eine URL mit dem Feld oben abrufst, weiß das Tool den Quellen-Host und kann URLs, die auf denselben Host zeigen, ausblenden. Das gibt dir eine nur-externe Ansicht. Für eingefügten Text ohne abgerufene Quelle zählt jede URL als extern, da es keine Base-URL zum Vergleichen gibt. Wenn du wahre Klassifizierung interne-vs-externe mit Anchor-Text brauchst: Nutze den Link-Extractor. Er ruft die URL ab, parsed das HTML und kennzeichnet jedes <a>-Tag basierend auf dem Source-Page-Host als intern oder extern. Ein typischer B2B-Blog-Post hat 80 % interne Links und 20 % externe. Ein News-Artikel kehrt dieses Verhältnis um.

Füge die rohes HTML-Quelle ins Feld URL oder Text/HTML einfügen ein und klicke auf „URLs extrahieren". Das Regex findet URLs in <a href>, <img src>, <link href>, <script src>, <iframe src>, Inline-CSS url()-Aufrufen und Klartext-URLs im HTML-Body. Eine 50KB HTML-Seite enthält typischerweise 80–200 eindeutige URLs über alle diese Quellen. Nutze den Filter „Nur HTTP/HTTPS", um dich auf Web-URLs zu konzentrieren und mailto:- und ftp://-Matches zu überspringen. Für HTML, wo du speziell nur die Anchor-Links brauchst und Anchor-Text willst: Nutze den Link-Extractor stattdessen. Er parsed das DOM und gibt nur <a href>-Matches mit Textinhalt zurück. Der URL-Extractor ist breiter. Der Link-Extractor ist präziser für Anchor-spezifische Audits. Wähle basierend darauf, ob du jeden URL oder nur die Anchor-Links brauchst.

Das Muster findet die fünf unterstützten Protokoll-Präfixe, gefolgt von gültigen URL-Zeichen: grob (?:https?|ftp|mailto):\/\/[^\s<>"]+ plus ein separater Match für nackte www.-Strings. Das exakte Muster handhabt Edge Cases wie URLs, die mit Satzzeichen enden, URLs mit Klammern und URLs, die Query-Parameter mit Sonderzeichen enthalten. Nach dem Matching wird jeder Kandidat durch new URL()-Validierung ausgeführt, so dass das Regex leicht permissiv sein kann, ohne die Ausgabe zu verschmutzen. Wenn du dasselbe Muster außerhalb des Browsers nutzen willst: Die vereinfachte Version https?:\/\/[^\s<>"]+ funktioniert in Python re.findall und grep -oE. Das volle Muster mit mailto und www Support erfordert sorgfältigeres Escaping. Für die meisten Ad-hoc-Extraktionen findet die vereinfachte Version 95 % der echten URLs. Das Browser-Tool nutzt die volle Version für Vollständigkeit.

Ja. Dieser URL-Extractor ist kostenlos ohne Anmeldung, ohne Upload und ohne Rate-Limit. Alles läuft in deinem Browser. Du kannst bis zu einige Megabyte Text einfügen und URLs in unter einer Sekunde extrahieren. Das Tool sendet deine Eingabe nicht an einen Server, was wichtig ist, wenn du Logs oder E-Mails verarbeitest, die sensible Daten enthalten. Vergleiche zu bezahlten Tools wie Screaming Frog (250 kostenlose URLs, dann $259/Jahr für unbegrenzt) oder Ahrefs (keine kostenlose URL-Extraktion, erfordert $99/Monat Abonnement). Diese Tools enthalten Features, die der BlazeHive-Extractor nicht hat, wie rekursives Crawling und SEO-Scoring. Für reine URL-Extraktion aus Text oder HTML deckt das kostenlose Browser-Tool den Use Case ab. Paare es mit dem Email-Extractor und Phone-Number-Extractor für vollständige Contact-Data-Extraktion aus derselben Eingabe – alles kostenlos.

Weil URLs in Prosa oft Satzzeichen am Ende haben. Ein Satz wie „Lies den Artikel auf https://example.com/post." hat den Punkt an die URL nach einem naiven Regex-Match angeheftet. Ohne Entfernung wird die extrahierte URL zu https://example.com/post., was den URL-Parser nicht besteht, da der nachfolgende Punkt nicht Teil des Pfads ist. Der Extractor entfernt )., ,, ;, ], >, ", ' und . vom Ende jedes Matches vor der Validierung. Das erholt den sauberen URL https://example.com/post. Dieselbe Logik handhabt URLs in Markdown wie [link](https://example.com), wo die schließende Klammer nicht Teil der URL ist. Ohne Entfernung nachfolgender Satzzeichen würden 10–20 % der aus Prosa extrahierten URLs bei Validierung fehlschlagen und gelöscht. Der Entfernungs-Schritt ist das, was den Extractor zuverlässig auf echtem Text macht, statt nur sauberer Log-Dateien.