Вопрос по выгрузке из Shodan!

[Anunnack]

Всем доброго времени суток! У меня такой вопрос!
Выгружаю из cli shodan большие результаты, качается какая то часть при этом пишет

Notice: fewer results were saved than requested
Saved 20596 results into file test.json.gz

хотя изначально в результатах

Total number of results: 544530

Запросы разные, пример

shodan download --limit 5450 test.json.gz test
Search query: test
Total number of results: 544530
Query credits left: 200000
Output file: 1.json.gz

Так же пробовал --limit -1, ситуация не поменялась. Грешил на слабый канал, и локации. Попробовал 3 разные локации везде 1гб/с канал, ситуация не поменялась, постоянно выдает
Notice: fewer results were saved than requested
Saved [разные значения] results into file test.json.gz
Гугл результатов не дал

 

[Anunnack]

Это косяк шодана. Лимит на скорость загрузки. И даже так бывают какие-то лаги, когда загрузка стопается.

Freezing while downloading large datasets through Shodan?

I'm using Shodan's API through the Anaconda Terminal on Windows 10 to get data against the query below, but after a few seconds of running, the ETA timer freezes, and my network activity drops to z...

stackoverflow.com

Есть, этой проблеме решение адекватное?

 

[Vespiary]

Есть, этой проблеме решение адекватное?

Использование альтернатив
fofa zoomeye

 

[Anunnack]

Спасибо парни, не думал что 500к резалтов для шодана могут быть проблемой, ладно бы миллионами делать выгрузки..

 

[marmalade]

Меня бы позвали, я бы пояснил. Дело в том, что помимо того как Шодан скрывает критические важные объекты да и обычное корпы по первому запросу в abuse@shodan.io так он и не дает выгрузить большие объемы данных, ну а зачем вы это делаете? Там тоже есть некоторый анти-фрод и репутация аккаунта. Шодан не заинтересован отдавать свои данные всем подряд, я думаю что скоро он еще больше порежет. Потому что делает кучу обвесов - тренды, мониторы, статистики, чтобы работали в его кабинете и никуда не выгружали ничего.

Пол-ляма это уже критический объем, его не часто получатеся выгрузить на тех ключах что продают на форумах. Особенно с заюзаных ключей найденных на github. Поэтому ко мне и обращаются помимо ключей еще и по выгрузке - я готов оказать любой формат работ как фрилансер. Ну там, например, MS IIS выгрузить X лямов. А по поводу Fofa и Zoomeye - там еще хуже. Но солиная подписка решает вопрос во всех случаях.