• XSS.stack #1 – первый литературный журнал от юзеров форума

прочее Textpipe pro

2channel

RAID-массив
Пользователь
Регистрация
22.01.2019
Сообщения
54
Реакции
24
Привет всем. Здесь будет мой топик о программе Textpipe pro, он скорее для новичков, но, возможно, и опытные что-то найдут здесь полезное.

TextPipe Pro — мощный инструмент для преобразования, очистки и извлечения текста для мэйнфреймов, архивирования данных в IoT, SSIS, PDF, Word / Excel, HTML-XML, JSON и данных с разделителями: замены в них текста, выполнения сложных преобразований, конвертирования и т.п.

В TextPipe Pro встроено почти полторы сотни фильтров практически на все случаи жизни — для разбивки и объединения файлов, добавления номеров строк, преобразований между OEM и ANSI, удаления столбцов, двоичных символов, кодов ANSI, дублирующихся строк кодов HTML, конвертации почтовых приложений из одного формата в другой и т.д.

Поддерживается сложный поиск/замена, возможна связь с любой ADO/ODBC-базой и выполнение SQL-запросов с сохранением полученных результатов в файлах различного формата, работа из командной строки и очень многое другое.

Я часто вижу, как люди не могут обработать данные - логи, тексты, при этом ищут какой-то специфический софт, скрипт - достаточно часто для этого достаточно просто Textpipe pro. При этом, например, использовать sed в консоли linux достаточно геморно, я вам скажу. Самое неудобное там - это отсутствие вменяемой отладки (да и сам bash супер-тормоз, но консольные утилиты - быстрые). А в Textpipe она есть и очень удобная.

Magnet-cсылка для скачивания с рутрекера (с кряком):

magnet:?xt=urn:btih:78D004C809B7FED410941B91A9AD41461F9ADE48&tr=http%3A%2F%2Fbt2.t-ru.org%2Fann%3Fmagnet&dn=TextPipe%20Pro%20v9.7.3%20Retail%20%5B2014%2CMl%5CRus%5D

Плюсы программы:


+ бесконечное количество папок и файлов для обработки, бесконечное количество фильтров. Фильтры выстраиваются последовательно для обработки.
+ регулярные выражения в полном объеме и даже больше

Минусы:
- работает только под windows
- не загружает в память файл(ы) целиком, процесся их по очереди
- слабая многопроцессорность - она есть, но очень условная, все задачи проходятся линейно.

(возможно, будет дополняться)

Я планирую этот топик в помощь новичкам, и в качестве примера буду сюда скидывать проекты для Textpipe pro, попутно объясняя, что там делается.
 
Последнее редактирование:
Вот тут человек даже топик создал (что и послужило толчок к созданию топика):

- очистить от дубликатов строки с кириллицей-

789f45cb0faede95caa0bff35b1b3287.png


faf52e6963ce6095fd8a7d31a55d5744.png


скачать


Внимание! может быть не супер шустро, т.к. не загружает в память, как я уже писал выше
 
Вытащить нужные строки из базы - разберу распространенные пример.

Допустим, имеется такая база и нужно вытащить только строки с email, name, hash

Вот эти ребята:

eb25ced9af6f70f6514deac69174ac07.png




Причем, sql - это часто по сути одна строка.

1. Делим все на строки с разделителем (

a0651539da26e0293d7dbe2f245fe86e.png


результат:


78250f2bb749c3e2d4529988c9d1358f.png



2. Извлекаем только строки с символом @

e263579daf4da88ef3aace360a88c176.png


результат

852ae0fbec86d9a77d7d4cb7194f6edf.png


3. Теперь видим, что разделитель у нас - ' ,' (пробел запятая)

Удаляем первую колонку с таким разделителем:

bab75fd7a7ec057b03e925a70f2cc35e.png


ce988148a960c9fc6c0cde4814a05298.png



А теперь удаляем с пятой колонки с таким же разделителем по хрензнаеткакую

462395beae8c78939b83768ee689367f.png


785dd11cc22da73577793e950beb8e54.png


Ну и пара замен:

4ae0ea44dfda769c58215924d202e6e2.png


e3cef27237a77fcd059336dde3d20deb.png


1533e8a7e6755d41092b6f9375ce0592.png


Готово!

7dbe0741c30147b1811d643a2fbc7494.png
 
Последнее редактирование:
Вот ребята ищут решение, фильтр строк по словам по сути:


Элементарно, Ватсон!

f4fceef11c2452c7ab38af3f3e6a148f.png



Затестирую-ка по хардкору - 23,6 гигабайта


850efc786c7dbdf3b9f5a555a272a5bc.png



Расход памяти и проца - 1 одно ядро, но все упирается в дисковую систему (делаю на средненьком 2,5 hdd)

0abd58e5907a8c38d57f902bbbbdaf7e.png


Ну и сколько времени это заняло - 13 минут:

c3f6d2fb1fc3dde5a737399655a2a70b.png


И объем получился

1c14153ea7ab6924483ecf294f99d0bf.png


Готово, безо всяких левых тулз, господа.

Скачать
 
подскажи пожалуйста, как искать текст в запароленных архивах? если можно, то как) карош, как чекать логи

Если архив запаролен, то никак - на то он и пароль.
 
подскажи пожалуйста, как искать текст в запароленных архивах? если можно, то как) карош, как чекать логи
You need download hashcat
 
Old but not useless :)

Проект сортера логов для этого топика

9ba0d7fdb32a52df4092a32e41cfe9a3.png


скачать
Это не совсем работает так как мне нужно!
 
разделить базу мыло-пасс на мыло и пасс.
В два проекта, прогнать каждый над файл(ами) - сохранить логины и сохранить пароли.
скачать:
keep login и keep pass
 
В два проекта, прогнать каждый над файл(ами) - сохранить логины и сохранить пароли.
скачать:
keep login и keep pass
благодарю,вот еще с той же оперы.Разделить большой файл на куски по 10 гиг к примеру.
 


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх