Свой поисковик

[lisa99]

Насколько сложно, и в чем могут быть трудности при создании собственого специализированного поисковика?

Видимо, парсинг выдачи других поисковиков - это прокси..Ну свой сервер хороший, а еще что? :baby:

 

[R3VoLuT1OneR]

Помойму 1го мочного не хватит, если что то серьезное делать

 

[Gr.dog]

Когда то давно, работал я в одной конторке, мне поручили спроектировать такой проект, ели убедил руководство в безперспективности этой идеи )))

А теперь по делу, вообще сложностей очень много от способа сбора информации до методов их хранения и обработки ... все зависит от конкретной задачи .... а еще необходимы ОГРОМНЫЕ ресурсы одним сервером с куцым каналом даже делать нечего ....

 

[lance]

Когда то давно, работал я в одной конторке, мне поручили спроектировать такой проект, ели убедил руководство в безперспективности этой идеи )))

А теперь по делу, вообще сложностей очень много от способа сбора информации до методов их хранения и обработки ... все зависит от конкретной задачи .... а еще необходимы ОГРОМНЫЕ ресурсы одним сервером с куцым каналом даже делать нечего ....

Есть у знакомого поисковик, основанный на выдаче yandex. Ресурсов не жрёт особо. Т.ч. всё уирается в написание/покупку необходимого скрипта.

 

[Beaten_Sect0r]

а с какой целью?
можно тогда просто граббер =)

 

[lisa99]

нене..., поисковик - для людей - как сервис.
Будет посещаемость- будет реклама. Плюс потихньку добавление сервисов за денюжку- т.е. монетизация...
Но это прикидки, конечно.

Gr.Dog - все упирается в объемы, т.е. что мы хотим парсить.
Парсеров тьма и не все из них требуют мощи..

Вот, кстати, проект о котором вы говорили
http://www.megaindex.ru/ - хвастаются о парсинге и анализе всех сайтов рунета

 

[0o•IG•o0]

хех, писать поисковик- самоубийство ) я думал заказать паука, для сбора ссылок на форумы и мейлов... потом подумал, что слишком геморное это дело... реально, от двух очень мощных серверов с каналом от 100мб\с (желательно 1гб\с) и парочка программистов, возможно что-нибудь и получится толковое, но на общем фоне выглядеть ЭТО будет более чем скромно + неизвестно за сколько времени система себя окупит...

 

[lisa99]

хех, писать поисковик- самоубийство ) я думал заказать паука, для сбора ссылок на форумы и мейлов... потом подумал, что слишком геморное это дело.

все проще), это потому что ты не кодер=)
я знаю программиста (но кодер аццкий, уник), который один написал между делом то, о чем ты упоминаешь, для своих сеошных нужд.

ну и поисковики разные - одно дело искать текст песни по запросу, есть и такие поисковики, другое дело анализировать весь инет и делать аналог яндекса с упором в сео

Для работы MegaIndex использует специальную поисковую систему, которая индексирует всю российскую часть Интернета и результаты поиска.

Ну и по поводу окупаемости - увы...полгода, как минимум без прибыли. притом, если идея перспективная, ее подхватят и опередят те у кого ресурсов поболее.

 

[Gr.dog]

lance
Ну это не поисковоик а парсер результатов,
lisa99

Написать паука пол дела, это не особо сложная задача ... а вот с обработкой и хранением гемороя дофигища будет ... вспомните тот же cuil компания была очень большая, а нет прогорела ...


P.S. Сложилось впечателние о том что некоторые путают парсеры выдачи с поисковиками ...

 

[lisa99]

P.S. Сложилось впечателние о том что некоторые путают парсеры выдачи с поисковиками .

кто-то - это, видимо, я...

я вообще могу путать что угодно)) мне простительно, ..что такое парсер я узнала год назад)

НО..

для юзера будет написано

ПОИСК ЧЕГО-ТО

форма поиска и тп.
реально за этим будет стоять парсинг и анализ выдачи популярных + специализированный поисковиков и сервисов. Я так мыслю свою миссию.

что касается кластеров и распределенныхБД (о датацентрах того же гугла) слышали все

 

[Gr.dog]

lisa99

Тогда не вижу больших сложностей, да и ресусров тут уже не надо больших ... все тогда упирается в целесообразность затрат ...