ANTICHAT

ANTICHAT (https://forum.antichat.xyz/index.php)
-   Избранное (https://forum.antichat.xyz/forumdisplay.php?f=89)
-   -   Reverse IP Lookup (https://forum.antichat.xyz/showthread.php?t=424776)

Expl0ited 04.05.2015 15:43

Сервис для поиска доменов по IP адресу: http://devel.wtf/

Работает довольно медленно, на определение 1 ипа уходит от 5 до 40 секунд.

Если будут какие проблемы, или предложения, пишите в тему.

x0rg 05.05.2015 11:06

http://i.imgur.com/myr7RLO.png

Однако быстро он у вас работает.

Поправьте подсчет работы скрипта)

faza02 05.05.2015 11:19

Цитата:

Сообщение от x0rg

http://i.imgur.com/myr7RLO.png
Однако быстро он у вас работает.
Поправьте подсчет работы скрипта)

не уверен, что не работает:

Цитата:

Сообщение от None
Скрипт выполнялся 9.6400 сек.

это vk.com

Expl0ited 05.05.2015 11:20

Цитата:

Сообщение от x0rg

http://i.imgur.com/myr7RLO.png
Однако быстро он у вас работает.
Поправьте подсчет работы скрипта)

Видимо столько и отрабатывал, если IP определен, то время получения инфы крайне ничтожно, в ближайшем будущем добавим определение UTF-8 доменов, более точное определение, а так же работаем над скоростью выполнения, новая версия работает относительно быстро, однако если на сервере свыше 500-1000 доменов, то время определения может достигать 30-40 секунд, в данный момент сократили время выполнения до двух-трех раз, и среднее время выполнения около 5-10 секунд, для серверов которые еще не проиндексированы. Для точности информации, переиндексация происходит раз в месяц.

Expl0ited 05.05.2015 11:23

Если есть кто умеет в HTML5, CSS3, jquery, Bootstrap, и имеет желание помочь проекту, велкам в ЛС

ZodiaX 05.05.2015 13:12

Хороший сервис.

Для удобства, можно сделать домены кликабельными, в рамках одной сессии сохранять предыдущие результаты поиска (с возможностью быстрого просмотра), и форму поиска выводить и в результатах (чтобы постоянно не откатывать)

smack 05.05.2015 16:01

http://s2.postimg.org/s01llwiqx/image.png

smack 05.05.2015 17:02

Код:

Скрипт выполнялся 74.9100 сек.
Получил свои 40 доменов. Сколько раз нажал F5 - не сосчитать.

Expl0ited 05.05.2015 22:27

Цитата:

Сообщение от smack

Пофикшено

Сделал апдейт:

1. немного видоизменил внешний вид

2. теперь все работает через jquery/ajax

3. намного увеличена скорость индексации сервера

4. увеличилась точность индексации сервера и определения доменов на сервере

5. появился таймер работы, среднее время выполнения индексации занимает от 10 секунд до 5 минут

6. добавлена поддержка utf8 доменов (типа http://devel.wtf/reverse/москва.рф)

7. добавлено определение Proxy серверов (Proxy сервера типа CLoudFlare нет смысла смотреть на реверс, по этому такие IP не индексируются)

8. разные багфиксы

Работает только с включенным JS

smack 05.05.2015 23:41

wtf_swag?

А можно как-то пробить домен который в хуисе не пробивается?

Expl0ited 06.05.2015 00:02

Цитата:

Сообщение от smack

wtf_swag?

При каких обстоятельствах получил?

Цитата:

Сообщение от smack

А можно как-то пробить домен который в хуисе не пробивается?

Пример домена?

Expl0ited 06.05.2015 00:02

За косяки, ерроры, баги, с меня репа

Cthulchu 06.05.2015 02:00

а что вы юзаете? я так понимаю, чьи-то апи? Может, даже, иканновские. Интересно откуда уши растут у сервиса.

Вопрос юзабилити: делайте кнопу "Нозад" после выдачи результатов.

Баг: стрипайте строку от http:// и слешей. Вообще, есть в паблике тонна решений по получению домена с урла, есть даже готовая функция в PECL

.SpoilerTarget" type="button">Spoiler
http://i.imgur.com/HvUW5cd.png

Expl0ited 06.05.2015 10:14

Цитата:

Сообщение от Cthulchu

а что вы юзаете? я так понимаю, чьи-то апи? Может, даже, иканновские. Интересно откуда уши растут у сервиса.
Вопрос юзабилити: делайте кнопу "Нозад" после выдачи результатов.
Баг: стрипайте строку от http:// и слешей. Вообще, есть в паблике тонна решений по получению домена с урла, есть даже готовая функция в PECL
Spoiler
http://i.imgur.com/HvUW5cd.png

Баг пофиксин

Кнопка назад в данный момент есть в футере devel.wtf - reverse ip lookup

Cthulchu 06.05.2015 10:15

Цитата:

Сообщение от Expl0ited

Пофиксино

так а чьи апи юзаете? или парсите что-то интересное?

Expl0ited 06.05.2015 10:19

Цитата:

Сообщение от Cthulchu

так а чьи апи юзаете? или парсите что-то интересное?

Собираем информацию, анализируем. В данный момент информации очень много, и мощностей не хватает со всем справиться, но работаю на износ, может что и выйдет лучшего.

Кстати, если кому интересно можете проанализировать с подобными бесплатными сервисами, я полагаю devel.wtf выдаст самый лучший результат.

Cthulchu 06.05.2015 10:43

да, я по роду работы постоянно делаю реверс айпи и пока то, что у вас - самое точное. Мне и интересно, где вы нашли данные такие. Под ногами не валяются.

А что вы собираетесь делать с сервисом, когда допилите? Монетизировать? За денежку будете данные выдавать?

Expl0ited 06.05.2015 10:57

Цитата:

Сообщение от Cthulchu

да, я по роду работы постоянно делаю реверс айпи и пока то, что у вас - самое точное. Мне и интересно, где вы нашли данные такие. Под ногами не валяются.
А что вы собираетесь делать с сервисом, когда допилите? Монетизировать? За денежку будете данные выдавать?

На данный момент нет плана монетизации, можно было бы ввести донат на развитие сервиса (оплата аренды серверов, плюс аренда мощности для увелечения скорости индексации серверов), но опять же, пока незнаю.

ZodiaX 06.05.2015 13:03

Можно сделать поиск по маске адреса? Чтобы сильно не нагрузить железо, хотя бы до /24

Expl0ited 06.05.2015 13:06

Цитата:

Сообщение от ZodiaX

Можно сделать поиск по маске адреса? Чтобы сильно не нагрузить железо, хотя бы до /24

В данный момент это пока в планах, так как железа не хватает.

ZodiaX 06.05.2015 14:00

Хорошо бы еще вместе с названием отображать ip диапазон провайдера.

Cthulchu 06.05.2015 18:44

я вчера засыпал и подумал, что вам бы не мешало вместе с реверсом выводить простенький полный хуиз. Нагрузка для сервера - ничтожная. Выражаясь языком математики - большое О от константы. тода я вас вместо domaintools юзать буду. Как трафа будет больше 500 человек в сутки - повесите адсенс и будете деньгу зарабатывать. Аналитикс обязательно повесьте (если еще не висит, я не проверял)

кроме того, лучше выполнять поле ввода на флеше, или полностью джаваскриптом передавать переменную в бекенд. Ну, чтобы автоматизированный парсинг шел дольше. Тут и апи желающим за символическую плату можно будет продавать. Ну и да, для особо умных придется прикрутить какую-то рекапчу для начала и более сложную каптчу на момент выхода проекта в свет.

x0rg 06.05.2015 23:37

1. Для улучшения скорости загрузки страницы, лучше использовать yandex сервера, вот тут список на поддерживаемые библиотеки (jQuery и Bootstrap имеется) - https://tech.yandex.ru/jslibs/

2. JS скрипты и CSS должны подключаться внизу страницы, а не в

3. jQuery должен подключаться раньше, чем bootstrap.min.js

4. Плохая практика делать редирект, при 404 ошибке.

5. Don't repeat youself: функция checkData, копирует код, который выполняется после нажатия Enter ( if(e.keyCode == 13) {...} )

6. Примеры запросов, которые находятся в span'e Example, можно сократить. Стандартные действия на onClick: "$('#search_input').val('66.211.160.87');$('#searc h_input').focus();", лучше сделать через тот же click у jQuery, ведь код одинаковый для двух ссылок.

7. Смысл делать размер у favicon.ico 256x256, это замедляет загрузку страницы. Иконка, она на то и иконка, чтоб маленькой быть

8. Нет HTTP заголовков, которые бы обеспечивали защиту ресурса: X-Frame-Option, CSP, etc.

9. HTTPS сертификат повышает место в выдаче гугла: делается бесплатно на StartSSL или покупается за 1к в год.

10. Нет проверки на отключенный JavaScript, ведь сайт без него не работает. Откуда человек с отключенным в браузере JS, узнает, что ему надо его включить для этого сайта? Он подумает, что сайт не работает и уйдет. А вообще лучше не делать никаких проверок, а просто замутить серверную валидацию данных, параллельно с jQuery/AJAX

11. Хоть проект только-только родился, но сделать коротенькое API (которое даже назвать токовым сложно, из-за мизирности кода), можно. Посылаем GET запрос, получаем ответ в json, xml, plain text. Серверная часть же есть, просто допишите одну функцию и вуаля, программисты уже будут юзать ваше API в своих библиотеках

12. Не стоит опошлять сервис - в примерах запросов, была ссылка на xvideos.com, я конечно понимаю, что сайт годный, но нет - не стоит.

P.S. А вообще абсолютно бессмысленно по моему мнению, тащить целый BootStrap, ради одного input'a и кнопки.

Expl0ited 07.05.2015 15:29

Цитата:

Сообщение от x0rg

1. Для улучшения скорости загрузки страницы, лучше использовать yandex сервера, вот тут список на поддерживаемые библиотеки (jQuery и Bootstrap имеется) -
https://tech.yandex.ru/jslibs/

US и GB ко мне располгаются ближе, по этому и отклик у меня от них быстрее, тут дело больше предпочтений, однако, большинство ресурсов используют CDN сервера google, по этому и в кеше они наверняка у всех есть, но это я не считаю особо важным моментом

Цитата:

Сообщение от x0rg

2. JS скрипты и CSS должны подключаться внизу страницы, а не в
3. jQuery должен подключаться раньше, чем
bootstrap.min.js
4. Плохая практика делать редирект, при 404 ошибке.
5.
Don't repeat youself:
функция checkData, копирует код, который выполняется после нажатия Enter ( if(e.keyCode == 13) {...} )
6. Примеры запросов, которые находятся в span'e Example, можно сократить. Стандартные действия на onClick: "$('#search_input').val('66.211.160.87');$('#searc h_input').focus();", лучше сделать через тот же click у jQuery, ведь код одинаковый для двух ссылок.
7. Смысл делать размер у favicon.ico 256x256, это замедляет загрузку страницы. Иконка, она на то и иконка, чтоб маленькой быть
8. Нет HTTP заголовков, которые бы обеспечивали защиту ресурса: X-Frame-Option, CSP, etc.
9. HTTPS сертификат повышает место в выдаче гугла: делается бесплатно на StartSSL или покупается за 1к в год.
10. Нет проверки на отключенный JavaScript, ведь сайт без него не работает. Откуда человек с отключенным в браузере JS, узнает, что ему надо его включить для этого сайта? Он подумает, что сайт не работает и уйдет. А вообще лучше не делать никаких проверок, а просто замутить серверную валидацию данных, параллельно с jQuery/AJAX

Что касается шаблона, тут да, каюсь, я не умею в HTML, CSS, JS и все эти фреймворки, по этому нагородил костыли как мог, по этому и жду когда вдруг кто подможет нормально, и кроссбраузерно сверстать шаблон

Цитата:

Сообщение от x0rg

11. Хоть проект только-только родился, но сделать коротенькое API (которое даже назвать токовым сложно, из-за мизирности кода), можно. Посылаем GET запрос, получаем ответ в json, xml, plain text. Серверная часть же есть, просто допишите одну функцию и вуаля, программисты уже будут юзать ваше API в своих библиотеках

API в данный момент пока не думаю делать (скрипты по идеи заточены под API), пока идет обкатка беты, когда движок будет доработан до конца, уже буду думать стоит ли открывать API, ведь проект в первую очередь пишется для себя, и тех кто по своей работе, сталкивается с необходимостью получать более точные списки доменов по IP

Цитата:

Сообщение от x0rg

12. Не стоит опошлять сервис - в примерах запросов, была ссылка на xvideos.com, я конечно понимаю, что сайт годный, но нет - не стоит.

На главной в примере отображаются топ-50 сайтов по мнени алексы

А вообще спасибо за критику, будем исправлять.

Цитата:

Сообщение от Cthulchu

я вчера засыпал и подумал, что вам бы не мешало вместе с реверсом выводить простенький полный хуиз.

Принято к сведению

Цитата:

Сообщение от ZodiaX

Хорошо бы еще вместе с названием отображать ip диапазон провайдера

Принято к сведению

Expl0ited 11.05.2015 01:56

Доработан шаблон (правда пока есть косяки с адаптивностью), появилась возможность просмотреть whois IP и доменов.

Появился Feedback, так что можно обо всем сообщать через формочку на сайте.

За баги, косяки и прочее с меня +++

Cthulchu 11.05.2015 20:23

Я сегодня опять попробовал (мне по работе надо много хуизы/реверсы изучать).

Вы молодцы, сделали красиво. Круто.

Теперь пожелания по юзабилити (надеюсь, что я достаточно четко описал):

Сейчас вы выводите только хуиз айпи, даже если я домен ввожу. Было бы замечательно, если бы вы, в случае если пользователь вводит домен, выдавали ему еще и хуиз домена (хуиз домена - абсолютно не связан с хуизом айпи.) Влепите, пожуйста, хуиз домена сразу над хуизом айпишника:

.SpoilerTarget" type="button">Spoiler
http://i.imgur.com/at4LMGj.png

Было бы хорошо сделать ширину правой колонки 25%, там много не надо.

Наверху, перед основной таблицей (я вижу, что вы дивами сделали, но буду называть это таблицей) вы даете основные данные. Это крутейшая идея, но сейчас вы выводите только важные данные айпи хуиза. Добавьте в него еще четвертую строку - название организации, которая владеет этим пулом/айпишкой.

Надо добавить, так же, в ту же "таблицу (с основными данными)" основные данные и о хуизе домена, тоже четыре строки: регистратор, дата экспайра, владелец и первый неймсервер (неймсервер нужен, чтобы найти хостера). Только надо махнуть их местами: краткая инфа о хуизе домена слева, а краткая инфа о хуизе айпи - справа, ибо инфа о домене на порядок важнее.

Юзайте обязательно какой-то разделитель, можно в виде hr и h2,h1. Юзайте h2 обязательно и один H1 на страницу тоже. H1 может быть следующим: ("Domain whois, IP whois, IP reverse for domain $domain"); Он должен быть сразу после . Можно его положить в таблицу с двумя колонками: H1 слева в таблице, а справа влепите инпут, чтобы хуиз можно было проверить со страницы результатов, не возвращаясь назад. Юзабилити.

Давайте посмотрим, как юзать хедеры (h1,h2):

H1 понятно, сразу после него (в контейнере, в котором у вас краткое summary айпи и домен хуиза) идет

Short summary of $domain Domain and IP whois:

Дальше, первый h2 в левой колонке должен быть:

Full $domain Whois:, за ним идет хуиз домена, потом и Full $ip Whois:, после чего - хуиз айпишки.

В правой же части, у нас только один h2: Reverse IP for $ip:

Стили для h1 и h2 в вашем случае, наверное, можно слизать со стилей хедеров в MS word 2013/2010:

http://i.imgur.com/HoqcqJt.png

И так, еще раз, о том, как это было бы круто отполировать:

.SpoilerTarget" type="button">Spoiler
http://i.imgur.com/czMA41C.png

Expl0ited 23.05.2015 16:56

В данный момент у сервиса небольшая проблема, есть большой потенциал в развитии, но не хватает финансирования.

Для сервиса необходим, хороший сервер, стоимость которого фигурирует в пределах 3500-5000$ в год.

Выбираемый конфиг сервера:

https://www.ovh.com/us/dedicated-ser...014-MG-128.xml - 3500$ в год

https://www.ovh.com/us/dedicated-ser...014-MG-256.xml - 5000$ в год

В полной версии сервиса будут добавлены такие плюшки как reverse ip, reverse dns, поиск поддоменов, определение движков и характиристик доменов, которые находятся на сервере, более проработанный интерфейс, мультиязычность.

Но для всего этого, нам необходима финансовая помощь.

Если вы заинтересованы в развитии сервиса, и стабильной работе, вы можете помочь финансово, в данный момент необходима сумма для оплаты сервера, если сможем набрать 5000$ то возьмем лучший сервер.

Связаться со мной можно либо в ЛС, либо написать на емейл admin@devel.wtf

Expl0ited 24.05.2015 01:36

$500 внес @m0nzt3r, спасибо =)

m0nzt3r 24.05.2015 01:39

Ребята, нужна помощь, чтобы проект жил. Поддержите, пожалуйста, кто может!

Cthulchu 24.05.2015 02:00

Не знаю, зачем вам такое жесткое железо нужно, по моему, пока трафа нету, можно хоститься у васьки на вдсике, но есть много более эстетичных выходов для стартапов:

http://special.habrahabr.ru/hello_startup/bizspark/

http://siliconrus.com/2013/09/select...ping-startups/

https://www.colocall.net/startup.html

http://unit-is.com/ru/startups

https://cloud.google.com/developers/startups/ ( http://techcrunch.com/2014/09/12/go...-100000-in-cloud-platform-credits-for-1-year/ )

http://clickbrain.com/technology/we...-to-build-your-startup-bizspark-windowsazure/

И такая фигня постоянно случается. Если есть бизнес-план, то можно находить пути бесплатного железа. У множества компаний железо тупо стоит и скучает, они постоянно пытаются монетнуть простой железа за счет самопиара по поводу бесплатной помощи стартапам.

Expl0ited 24.05.2015 02:05

Цитата:

Сообщение от Cthulchu

Не знаю, зачем вам такое жесткое железо нужно, по моему, пока трафа нету, можно хоститься у васьки на вдсике, но есть много более эстетичных выходов для стартапов:
http://special.habrahabr.ru/hello_startup/bizspark/
http://siliconrus.com/2013/09/select...ping-startups/
https://www.colocall.net/startup.html
http://unit-is.com/ru/startups
https://cloud.google.com/developers/startups/
(
http://techcrunch.com/2014/09/12/go...-100000-in-cloud-platform-credits-for-1-year/
)
http://clickbrain.com/technology/we...-to-build-your-startup-bizspark-windowsazure/
И такая фигня постоянно случается. Если есть бизнес-план, то можно находить пути бесплатного железа. У множества компаний железо тупо стоит и скучает, они постоянно пытаются монетнуть простой железа за счет самопиара по поводу бесплатной помощи стартапам.

Нагрузку на железо делает робот, который собственно и актуализирует базу, в данный момент, просто напросто нехватает железа, что бы воплотить некоторые идеи в жизнь.

Unknown 24.05.2015 03:01

Расскажи, плз, про алгоритм работы (академический интерес). Резолвится большой список доменов и группируется?

оффтоп:

Всё таки корректнее говорить не utf-8, а punycode домены.

Expl0ited 24.05.2015 10:36

Цитата:

Сообщение от int

Расскажи, плз, про алгоритм работы (академический интерес).

коммерческая тайна

usasoft 25.05.2015 01:41

идея прекрасна

M_script 25.05.2015 21:51

Цитата:

Сообщение от Expl0ited

Нагрузку на железо делает робот, который собственно и актуализирует базу

Все упирается в ширину канала. Зачем столько памяти?

Expl0ited 26.05.2015 08:29

Цитата:

Сообщение от M_script

Все упирается в ширину канала. Зачем столько памяти?

Хочу для быстроты обработки выгружать часть данных в memcached

Expl0ited 31.05.2015 14:48

Небольшая сводка за месяц:

С 5 мая по 31 мая, нас посетило 442 уникальных человека, максимально одновремеено было зафиксировано 54 человека.

http://makescreen.ru/i/66b1b5cab976c...e04041a38e.png

Статистика по странам:

http://makescreen.ru/i/91199a3af4384...fd6f5ba01c.png

Проверено 14 676 IP адресов, обнаружено 142 362 доменов.

huntercs16 09.06.2015 13:24

Expl0ited

Api для разработчиков бы не помешал. У вас бы сразу % пользователей вырос

Expl0ited 09.06.2015 14:13

Цитата:

Сообщение от huntercs16

Expl0ited
Api для разработчиков бы не помешал. У вас бы сразу % пользователей вырос

В данный момент ведется разработка новой версии, которая будет включать API (только пока не решно, доступ будет открытый или закрытый).

Новая версия будет включать возможности поиска сабдоменов, поиска по маске домена, reverse dns, reverse ip по ip range, определение характеристик доменов, нормальное отображение whois, поиск по whois, и еще ряд некоторых аналитических фишек.

К сожаления ввиду финансовой ограниченности, процесс кодинга замедлен.

За время подключения доната было только одно предложение (выше в теме)

frank 09.06.2015 16:43

Инструмент не плохой, но сырой, по крайне мере в рамках определения ресурсов на айпи, проверял по своим ресурсам, он показывает не все ... По донату, сейчас нет возможности, но в целом постараюсь хоть сколько то помочь, напишу тогда в личку.


Время: 12:20