Bezpłatny przeszukiwacz domeny Pythona

Czy kupiłeś listę domen? Chcesz zaindeksować Internet i swoje domeny w poszukiwaniu żądanych danych?

Świetnie, po prostu otworzyliśmy jeden z naszych robotów, co jest super SZYBKIE! i niskie zużycie zasobów (tj. na połączenia 100 na sekundę) przy niskim zużyciu pamięci RAM i procesora. Jest asynchroniczny, więc zapewnia najlepszą wydajność nawet na mniejszym serwerze VPS / Linux. Możesz skonfigurować klaster robotów indeksujących, używając na przykład Redis i na przykład RQ (Redis Queue) do przetwarzania domen z kilku komputerów.

Jak widać, będzie to kosztować trochę pieniędzy na skonfigurowanie i uruchomienie takiego środowiska. Możesz zrobić matematykę, z ok. Żądania 100 na sekundę i domeny 199,000,000 wymagałyby około. Serwery 30 (np. $ 10 / miesiąc pro Server) do przetworzenia w ciągu jednego dnia. Zrobiliśmy to i robimy to ciągle.

Kupując od nas, oszczędzasz pieniądze i kłopoty.

Skorzystaj z niego, aby uzyskać żądane dane, po zakupieniu listy domen od nas:

Oto strona GitHub przeszukiwacza domeny Open Source:

https://github.com/topcodersonline/domain-crawler/blob/master/crawler.py

Musisz określić pola, które chcesz przeszukać i plik wejściowy.

Obecnie na standardowe wyjście w formacie JSON wyświetli następujące wartości:

- Domena
- IP
- Typ serwera WWW
- Stos Tech (Powered By)
- MetaGenerator
- E-mail
- Krajowy

Nie krępuj się dodawać / modyfikować.

W razie pytań prosimy o bezpośredni kontakt z nami.