Ты переводишь в лист, он идет в память. Нужно использовать конструкцию типа:
Python:
with open(...) as f:
for line in f:
...-
XSS.stack #1 – первый литературный журнал от юзеров форума
Python:
input_filename = 'test.txt'
with open(input_filename) as f:
input_lines = [l for l in (line.strip() for line in f) if l]
with open('good_filename.txt', 'a') as f:
buffer = 'buffer'
for line in input_lines:
if not buffer[:-1].lower() in line.lower():
buffer = line
f.write(line + '\n')P.S Человек выше говорит правильно. Но в любом случае я рекомендую работать с большой нагрузкой конкурентно.
Перевести чтение файла на мультипроцессинг? Однозначно, тебе надо ебнуть по рукам за такое. То что написал Satie, означает, что нужно работать в контексте итератора, когда он читается по строкам, без загрузки в память полностью.
Делал такое уже, если лично ты не в курсе как правильно разделять работу, не обязательно залупаться и кого-то по рукам бить : )
Делай, никто не запрещает говнокодить. Только не стоит учить других такому подходу.
У чела проблема с памятью при загрузке целого файла из-за readlines(), а ты предлагаешь ебучие саб-процессы, конкурентность бл#ть? Как это может помочь? Да даже без нехватки памяти, как ты будешь параллелить чтение файла, и, главное, зачем (IO/bound, не, не слышал)?
У чела проблема с памятью при загрузке целого файла из-за readlines(), а ты предлагаешь ебучие саб-процессы, конкурентность бл#ть? Как это может помочь? Да даже без нехватки памяти, как ты будешь параллелить чтение файла, и, главное, зачем (IO/bound, не, не слышал)?
Последнее редактирование:
В чем говнокод то? Если прочитаешь мое сообщение внимательнее, увидишь, что ты сам додумал "чтение на мультипроцессинг". Очевидно что помимо чтения есть еще обработка прочтенной инфы, которую можно выполнять конкурентно. Критикуешь - предлагай, иначе ты просто очередной типичный хейтерок, который, как я заметил, гуляет по форуму и только то и делает что ставит дизлайки, никакой пользы в себе не неся
Неуместное поведение
Переделай себе очко на мультипроцессинг. Однозначно
А ты видимо только слышал. Человек грамотный всегда найдет выход из ситуации, а не будет упираться в собою выдуманное предложение, без разбирательства как шейрить память между процессами.
Так не стоит себя вести.
"Человек грамотный" не дает тупые советы с умным выражением ебучки, когда сам нихуя не понимает в теме вопроса. Иди покушай, и вернись на лолз
О чем с тобой говорить, если ты только огрызаешься)? Приходится делать умное выражение лица и сливать. До чего ты бы и сам мог бы додуматься с твоим iq: читаешь файл сколько позволяет память --> обрабатываешь конкурентно --> повторяешь цикл до завершения файла. Сложно представить как ты работаешь с гигом текста в контексте итератора...
Есть хороший гайд по aiohttp ?>
aiohttp - это библиотека Python для создания веб-приложений с использованием asyncio, которая является библиотекой для написания асинхронного кода на Python. aiohttp предоставляет платформу для создания высокопроизводительных веб-серверов, клиентов и прокси-серверов. aiohttp поддерживает множество других функций, таких как промежуточное ПО, сеансы, веб-пакеты и тд.
Старт aiohttp. Установим его с помощью pip:
Код:
pip install aiohttp
Python:
from aiohttp import web
async def hello(request):
return web.Response(text="Hello, world")
app = web.Application()
app.add_routes([web.get('/', hello)])
if __name__ == '__main__':
web.run_app(app)- 'from aiohttp import web': Эта строка импортирует модуль из библиотеки aiohttp, которую мы используем для создания нашего веб-приложения.'web'
- 'async def hello(request)': Эта строка определяет асинхронную функцию, которая принимает один аргумент , . Эта функция возвращает объект с текстом "Hello, world".'hello''request''web.Response'
- 'app = web.Application()': Эта строка создает новый объект, который мы будем использовать для создания нашего веб-сервера.'web.Application'
- 'app.add_routes([web.get('/', hello)])': Эта строка добавляет новый маршрут в наше веб-приложение. Маршрут сопоставляет URL-адрес с нашей функцией, а метод HTTP — './helloGET'
- 'if __name__ == '__main__':': Эта строка проверяет, выполняется ли сценарий в качестве основной программы.
- 'web.run_app(app)': Эта строка запускает веб-сервер и запускает наше приложение.
При запуске этого сценария запускается веб-сервер, прослушивающий порт 8080. Если вы перейдете в свой веб-браузер, вы должны увидеть текст «Hello, world», отображаемый в окне браузера.'http://localhost:8080'
Или книга: Ernesto Arbitrio - Изучение Asyncio с aiohttp. Ну или документацию aiohttp.
Последнее редактирование:
спасибо ! все изучил и получилось !
Привет, у меня есть отскаированный датасет фотмат jpg, каждую картинку я с помощью скрипта делю на несколько частей, проблема в том что на самом теплете есть сетка, пытался ее убрать с openCv не особо получилось. Сетка мешает обучению сети, есть идеи как ее убрать?
Привет, у меня есть отскаированный датасет фотмат jpg, каждую картинку я с помощью скрипта делю на несколько частей, проблема в том что на самом теплете есть сетка, пытался ее убрать с openCv не особо получилось. Сетка мешает обучению сети, есть идеи как ее убрать?
Ребят, всем привет! Может кто подскажет куда копать, если я хочу делать logIn в акк через запросы, но на сайте куча всякой "генерки"? Вообще что такое генёрка и с чем её едят? Токен сессии (или доп. дата разная) могу забирать, а вот хэши сгенерированные браузером через js не пойму где искать или сам скрипт генерации хэша.
Покажи что там
ответил в ЛС
Что стоит изучать после понимания базы? Дошел до уровня, где легко понимаю как использовать функции по типу def, начал неплохо разбираться с открытием и использованием файлов, могу по простому алгоритму зашифровать текстовый фаил. Что дальше и откуда брать знания?
Ну вообще эта "база" - не база, нужно охватить ещё много чего. На форуме (и не только) вагон и маленькая тележка и роадмапов, и обучений под всякие цели, знания бери решая практические задачи, подкрепляя их теорией и пониманием того что твой код делает