Elasticsearch/MongoDB | Поиск открытых баз в интернете

[Guron_18]

Shodan API KEY : запросов там нормальное количество доступно! пользуйтесь

Скрытое содержимое

Шодан теперь по страницам. К примеру 100кредитов = 100 страниц вроде.

 

[netcat]

Шодан теперь по страницам. К примеру 100кредитов = 100 страниц вроде.

можно подробнее?

ключ апи для работы с cli выше выставил

 

[Guron_18]

можно подробнее?

https://help.shodan.io/the-basics/credit-types-explained

1 export credit lets you download up to 10,000 results

1 query credit lets you download 100 results

The Shodan Membership includes 20 export credits.

P.s. Пока, что максимум, что удалось набрутить это Member: yes | Credit: 100

 

[netcat]

https://help.shodan.io/the-basics/credit-types-explained




P.s. Пока, что максимум, что удалось набрутить это Member: yes | Credit: 100

как раз я про апи и писал. данные запросы считаются по скачке с апишки =)

 

[Elite]

Кто разбирается в Elasticsearch, такой вопрос.
В индексах по линке .../indexname/_search?size=500 бывает содержится не мало Мб а то и Гб информации. Обычным запросом через браузер можно вывести максимум .../_search?size=10000 инфы. Сообственно вопрос, как можно скачать весь индекс? Есть одна прога для винды - Kaizen, как раз для этого, только очень глючная и при скачивании индекса почти сразу выдает ошибку.
Буду рад услышать любые соображения по данному вопросу.

 

[m00r]

Друзья, отличная тема! Очень здравая идея,amstrot
Я всячески готов поддерживать такие инициативы. Просто ситуация сейчас с открытыми базами такая. Их много, они есть и это ОЧЕНЬ интересный способ получать свежие и порой отличные базы данных.
Меня очень парит то, что белые компании, например "DeviceLock" очень оперативно их находят, и сливают информацию как баг репорт, т.е. после них - как потоп. Сами скачали - остальным хрен. Надо создать инициативную группу людей, которая готова развернуть все требующиеся скрипты и мониторить ситуацию, сливать базы, а дальше - не наши проблемы.
Ко мне сразу возникнет вопрос, если ты такой умный, чё сам не сделал???
Я реально зарываюсь со своей БД из этой темы:

http://xssforum7mmh3n56inuf2h73hvhnzobi7h2ytb3gvklrfqm7ut3xdnyd.onion/threads/26244/#post-145844

это постоянная работа по обработке и заливу информации, постоянная, день и ночь. Без шуток, в квартал, параллельно с задачами в реале я лью около 700 млн. "хороших" записей в базу. Плюс большие проекты по сбору информации с некоторых сайтов. Я честно, физически не могу взять на себя такую задачу. Поэтому у меня будет чем с вами поделиться, это не одностороннее сотрудничество будет. Плюс как обычно, я складываю исключительно в базу и на этом "жизнь" базы у меня заканчивается. НИКОГДА она не продаётся, не спамится и тд. А вы делайте что хотите с ней)

Более подробное видение ситуации я ещё изложу в теме, где расскажу своё видение развития раздела БД. Кому вообще интересна эта тема - отпишитесь в теме, дайте о себе знать. Высказывайте свои мысли.

eshyo huje kogda etot ara nachinaet svoe mnenie pisat kasatelno teh ili inih situcii

tema horoshaya. inogda perepadaet toje shtoto iz shodana. vstanu blije k kormushke.

 

[Nil$]

m00r, куда делась твоя кириллица? Раньше же писал на ней...

 

[m00r]

Ещё пример поиска: blockchain product:"CouchDB"
Здесь пример работы с этим продуктом

sps

m00r, куда делась твоя кириллица? Раньше же писал на ней...

eto vsyo linuks, izvinite))

Шодан теперь по страницам. К примеру 100кредитов = 100 страниц вроде.

zaca$hirovali))

 

[Guron_18]

Пишите подробный мануал как сдампить:
elastic
mongo
couch

Желательно:
виндоуз
консолька
выбор БД, столбцов
в идеале сразу в .sql формат
в идеале клиент типа Navicat

 

[DBforumsUser]

Как исследователи обнаруживают открытые базы данных MongoDB и Elasticsearch

#Полезное Какое-то время назад среди исследователей безопасности было очень «модно» находить неправильно сконфигурированные облачные хранилища AWS с разного рода конфиденциальной информацией. Однако, время идет и акцент в исследовательских изысканиях сместился на поиск оставленных в открытом...

telegra.ph

 

[Elite]

Нашел прогу а может и не то совсем, для дампа индексов Elasticsearch, только не знаю как юзать. Знающие люди, помогите разобраться.

GitHub - elasticsearch-dump/elasticsearch-dump: Import and export tools for elasticsearch & opensearch

Import and export tools for elasticsearch & opensearch - elasticsearch-dump/elasticsearch-dump

github.com

 

[Проверк]

The best tool I have found and ez mode https://github.com/Ibonok/elastic_scan good luck brothers.

 

[bgdata]

Спойлер: Usa компании с мыльниками

http://54.165.126.152:80/companydatabase/_search?size=500

http://54.165.126.152:80/bank/_search?size=500

Похоже на тестовые данные.
Письма являются поддельными

 

[jerryanonymouse]

elastic, mongo, couchdb, rsync, sonarqube, jenkins, gitlab, kibana, cassandra, rethinkdb в одном флаконе, nohup + >> output.txt, и забирай каждый день кучу всего полезного, дает отчет о названии баз их размере и тд..

GitHub - woj-ciech/LeakLooker: Find open databases - Powered by Binaryedge.io

Find open databases - Powered by Binaryedge.io. Contribute to woj-ciech/LeakLooker development by creating an account on GitHub.

github.com

были мысли по эластику, поставить его на хороший сервер, с возможностью добавления в конфиге других эластиков, для поиска сразу по всем эластикам. Если есть энтузиасты, мог бы помочь. Эластик хорошо и с монгой будет работать да и вообще с чем угодно. Кормим список открытых доступов, получаем возможность искать внутри с веб морды.

 

[jerryanonymouse]

Нашел прогу а может и не то совсем, для дампа индексов Elasticsearch, только не знаю как юзать. Знающие люди, помогите разобраться.

GitHub - elasticsearch-dump/elasticsearch-dump: Import and export tools for elasticsearch & opensearch

Import and export tools for elasticsearch & opensearch - elasticsearch-dump/elasticsearch-dump

github.com

все очень просто, указываем url и индекс который хотим забрать в input, в output название файла.
elasticdump --input=http://production.es.com:9200/my_index --output=query.json --type=data

 

[Nil$]

А никто не юзал Clickhouse вместо эластика? Спецы говорят, что прирост скорости несколько сотен процентов.

 

[netcat]

А никто не юзал Clickhouse вместо эластика? Спецы говорят, что прирост скорости несколько сотен процентов.

ну клик дампится очень быстро ) за короткое время помню 300-400 гигов дампил без проблем

 

[netcat]

1154 IP : FRANCE

Спойлер: кусок

http://62.210.92.87:9200/_cat/indices?v

http://164.132.135.86:9200/_cat/indices?v

http://51.15.194.12:9200/_cat/indices?v

http://37.187.149.135:9200/_cat/indices?v

http://51.255.87.38:9200/_cat/indices?v

http://51.75.25.116:9200/_cat/indices?v

http://163.172.173.129:9200/_cat/indices?v

http://137.74.53.48:9200/_cat/indices?v

http://178.33.47.234:9200/_cat/indices?v

http://171.33.99.143:9200/_cat/indices?v

http://193.70.19.214:9202/_cat/indices?v

http://46.105.135.121:9200/_cat/indices?v

http://54.38.36.47:9200/_cat/indices?v

http://91.121.107.91:9200/_cat/indices?v

http://80.12.90.91:9200/_cat/indices?v

http://90.110.19.183:9201/_cat/indices?v

http://145.239.155.57:9200/_cat/indices?v

http://5.135.219.228:9200/_cat/indices?v

http://164.132.74.130:9200/_cat/indices?v

http://194.242.113.240:9200/_cat/indices?v

http://51.15.200.255:9200/_cat/indices?v

[CLIKE]https://www.sendspace.com/file/buyxu0[/CLIKE]

 

[netcat]

1203 IP : GERMANY

Спойлер: кусок

http://18.197.141.124:9200/_cat/indices?v

http://148.251.4.203:9200/_cat/indices?v

http://52.58.26.16:9200/_cat/indices?v

http://148.251.24.252:9200/_cat/indices?v

http://52.58.193.196:9200/_cat/indices?v

http://207.154.232.34:9200/_cat/indices?v

http://173.249.10.179:9200/_cat/indices?v

http://18.184.224.113:9200/_cat/indices?v

http://18.185.80.195:9200/_cat/indices?v

http://52.59.194.67:9200/_cat/indices?v

http://18.194.60.158:9200/_cat/indices?v

http://159.69.132.217:9200/_cat/indices?v

http://18.185.18.75:9200/_cat/indices?v

http://116.203.43.251:9200/_cat/indices?v

http://3.120.157.131:9200/_cat/indices?v

http://52.28.113.73:9200/_cat/indices?v

http://51.68.173.252:9200/_cat/indices?v

http://172.104.151.68:9200/_cat/indices?v

[CLIKE]https://www.sendspace.com/file/3ay8rw[/CLIKE]

 

[Guron_18]

Не могу подключица по таймауту. Мб у вас получиться. Интересно, что там.

http://218.245.5.188:9200/account_index/_search?size=5

account_index
docs count 15.753.492