Вытянуть RSS ленту

[mmdblack]

Может кто подскажет как это можно осуществить
Есть лента https://bits.media/rss2/
Если вытягивать полную новость то там лимит 10 новостей (например через этот сервис https://www.fullcontentrss.com)
Есть ли способ вытянуть полную ленту с сайта на свой (20K новостей) ?

 

[lisa99]

Делается это так (если не знать ничего о движке - а битрикс виден сходу)

1) заходим сюда

https://bits.media/robots.txt

видим название монструозного движка, тучу инфы с закрытым урлом админки, и тд. но...находим внизу строчку:
Sitemap:

https://bits.media/sitemap.php

2) копаем карту сайта
Битрикс объединяет компоненты, один из которых новости.
Сейчас урлы новостей закрыты ЧПУ в .htaccess, поэтому парсить напрямую не получится, имеем что-то типа этого

http://__https_://bits.media/brazil...alsya-v-nezhelanii-rabotat-s-kriptovalyutami/

Поэтому открываем sitemap.php и видим ссылки на карты разделов (модулей, компонентов). Фрагмент ниже
<sitemapindex>

<sitemapindex>
<sitemap>
<loc>https://bits.media/bitrix-sitemap-files.xml</loc>
<lastmod>2022-08-24T18:00:01+03:00</lastmod>
</sitemap>
<sitemap>
<loc>https://bits.media/bitrix-sitemap-iblock-4.xml</loc>
<lastmod>2022-08-24T18:00:01+03:00</lastmod>
</sitemap>
<sitemap>
<loc>https://bits.media/bitrix-sitemap-iblock-7.xml</loc>
<lastmod>2022-08-24T18:00:04+03:00</lastmod>
</sitemap>
<sitemap>
<loc>https://bits.media/bitrix-sitemap-iblock-31.xml</loc>
<lastmod>2022-08-24T18:00:05+03:00</lastmod>
</sitemap>
<sitemap>
<loc>https://bits.media/bitrix-sitemap-iblock-37.xml</loc>
<lastmod>2022-08-24T18:00:05+03:00</lastmod>
</sitemap>

3) пробуем ..и по ссылке

http://https:_//bits.media/bitrix-sitemap-iblock-7.xml

открывается то, что вам нужно - ссылки на все страницы новостей , вместе с датами

<urlset>

<url>
<loc>

http://https:_//bits.media/onlayn-rynok-square-market-nachinaet-prinimat-bitcoin/

</loc>
<lastmod>2020-09-29T01:37:58+03:00</lastmod>
</url>
<url>
<loc>

http://https:_//bits.media/platforma-mobilnykh-platezhey-stripe-testiruet-platezhi-v-bitcoin/

</loc>
<lastmod>2020-09-29T01:41:05+03:00</lastmod>
</url>

4) распарсить xml в таком виде элементарно.
Затем curl или чем-то на питоне забираете всю страницу..за страницей. По ходу пьесы можно их микшировать, обрезать, разбавлять картинками
и закачивать на ваш сервер\БД, инклудя стили css[/CODE]