Написание веб-роботов на Delphi


В этой статье Дэвид Болтон показывает, как создать простой веб-робота, который делает несколько параллельных запросов на поисковике и посещении каждого веб-сайта в результатах и загрузки этой страницы.
В этой статье Дэвид Болтон показывает, как создать простой веб-робот, которая выполняет несколько параллельных запросов на поисковике посещает каждого веб-сайта в результатах и загрузки этой страницы. Он использует компоненты ActiveX предусмотрено Internet Explorer 4 или 5.
есть нюанс - кода изначально написано будет работать с Альтавистой, но что изменилось, наверное, с десяток раз так его как правоподобны для того чтобы работать, как ваш шанс bicyling до Эвереста! Коперник (www.copernic.com) удивительный (и бесплатный) поиск поисковик и они выпускают обновления для конкретных двигателей на регулярной основе. Если вы хотите писать, играть с Коперником. Я оцениваю это 11 из 10. (Нет, я не finanicial или иное отношение к ним - я просто очень довольный клиент).
и хотя это звучит необычно, с помощью бота (также известный как паук, интеллектуальный агент, веб-робот, индексатор, робот, и так далее) - это программа, которая посещает множество веб-сайтов. Самые известные боты, конечно, пауки используют различные поисковые системы каталог новый контент. Посмотрите в Интернете и вы найдете много ссылок и детали. Есть даже книга на эту тему, опубликованные Microsoft пресс: боты программирования, пауки и интеллектуальных агентов в среде Visual с , Дэвид Pallmann (ИСБН 0-7356-0565-3). Это хорошо стоит получать, если вы заинтересованы в написании ботов и Вы не возражаете, пробираясь через код C.
когда вы создаете бота, вы должны знать, что материал ваш бот собирает с сайтов, которые он посещает также могут быть защищены авторским правом-так что будьте осторожны, как вы используете его. Другое дело, иметь в виду: если ваш бот неоднократно посещает Веб-сайт, это может расстроить владельцев веб-сайта, особенно если они несут платной рекламы. За подобную реакцию, просто упомянуть Видеорегистраторы, которые автоматически пропускать рекламу или tivo для рекламы люди. Конечно, если ваш бот делает молоток определенного веб-сайта и получает заметил, вы можете обнаружить, что Ваш IP-адрес не разрешен доступ к этому сайту (самый страшный 403!). В этом случае соединения, когда провайдер дает вам динамический IP-адрес, вероятно, гораздо лучше идея. Я буду обсуждать Стандарт исключений для роботов позже в отношении к этому.
основная проблема с прокатки свой собственный бот не может писать код, это как быстро ваше Интернет-соединение. Для серьезных ползание, вам нужна постоянная ссылка, не удаленный доступ!
для программируемые просмотра
что Microsoft сделала жизнь намного проще для создателей бота (и создатели вирусов, троянских авторов!) по их обычной практики, включая пару объектов просмотра ActiveX в Internet Explorer (т. е.) начиная с версии 4. На самом деле это многоразовый "двигатель" подход можно восхищаться, если только это не было так неправильно! Если вы используете их, они заботятся о 99 процентах сложные вещи, как доступ к Интернету, брандмауэров и через http-адрес для загрузки страницы. Т. е. имеет много функций, встроенных в, и большая часть ее доступна. Т. е. 3 были некоторые предметы в ней, но я не уверен, что эти можно использовать таким же образом.
если вы ярый ненавистник IE, мужайтесь! Вы не должны предавать свои принципы или пропустить эту статью. Когда вы используете объекты, то есть, вы никогда не увидеть, т. е.-это полностью интегрирована в Windows.
В webbrowser является имя объекта ActiveX от IE. С Delphi 3, Если у вас установлен IE установлен на вашем ПК, необходимо создать блок-идти библиотеку типов для импорта элементов управления ActiveX в Delphi, выберите элементы управления Microsoft в Интернете, и нажмите кнопку установить. Теперь вы должны увидеть TWebBrowser_V1, TWebBrowser, и TShellFolderViewOC на вкладке ActiveX на палитры компонентов. Мы будем использовать TWebBrowser. В Delphi 4 представляет собой проблему из-за изменений в обработке элементов ActiveX между Delphi версий 3 и 4. Программа, которая побежал штрафа в Delphi 3 генерирует EOLESysError в Delphi 4: "метод coinitialize не назвал." Библиотеки типа Паскаль источник для управление теперь два раза в Delphi 5, чем в Delphi 3. Если у вас есть Делфи 4, я предлагаю Вам либо обновления для Дельфи 5 или найти того, кто его и посмотреть, если Делфи 5 shdocvw.ССА работает для вас. Все функции объекта, т. е. содержится в shdocvw.dll.
если у вас есть Дельфи 5 или 6, вам не нужно этого делать. TWebBrowser заменил более старый компонент THTML и последний компонент на вкладке Интернет. Вы также получите демо использования этого в папке Демос/Coolstuff, и файл справки и кое-что на TWebBrowser, но любопытно, что Борланд не добавил компонент TWebBrowser_V1, хотя в исходном файле. Если вы хотите узнать больше об использовании TWebBrowser или TWebBrowser_V1, перейдите к www.microsoft.com и сделайте поиск, или Делфи 5 для файла помощью!
В TWebBrowser-это очень простой компонент для работы. Около половины свойствами можно пренебречь, так как они за интерфейс, т. е. для управления на экране выглядит т. е. как панели инструментов или отображение в полноэкранном режиме. Свойство visible определяет, будет ли мы видим в окне браузера или нет. В окончательной заявке, пользователь никогда не увидит его, но она может быть полезна для отладки.
это самый простой способ, используя браузер, вызывая навигации(юзабилити) метод, затем обработав событие OnNavigateComplete2 и используя свойство документа получить доступ к загруженной странице. Хотя есть два других события OnDocumentComplete и OnDownloadComplete-это должно помочь определить, был ли успешно загрузили веб-страницу, я нашел его проще обрабатывать все от OnNavigateComplete2. Это срабатывает только когда браузер успешно, однако переехал на указанный URL-адрес, это смущает несколько кадров, поэтому некоторые дополнительный уход должны быть приняты, как вы увидите.
В веб-браузере предусмотрено несколько свойств, которые упрощают задачу извлечения данных. Эти свойства включают ссылки, анкоры, апплеты, формы, фреймы, таблицы стилей, и еще несколько. Единственная проблема, особенно, когда используются фреймы, это сортировка плевел от пшеницы-какие ссылки являются действительными, и что может быть рекламы или других услуг? В этом случае, единственный способ сделать это для сканирования HTML и извлечь необходимую информацию. Так как каждая страница загружается, она может быть доступна напрямую.
В рамках

как вы знаете, многие поисковикам не индексировать фреймы. HTML-документ может состоять из одного или более кадров. Какой кадр держит, чего вы хотите? Это обычно первый (и часто единственный) страницы. Единственный надежный способ-пройтись по каждой странице ищу текст, а затем поиск для строк, которые определяют результаты. Гораздо большей проблемой является многократное срабатывание различных DocumentComplete, DownloadComplete, и события NavigationComplete. Много отладки, матерясь, и удаление волос произошло прежде, чем я понял, что происходит. Игнорировать DownloadComplete. Вместо этого используйте либо DocumentComplete или NavigationComplete. Я сделал еще несколько экспериментов и выяснили, что лучшим способом было использование одной и проверить, действительно ли документ был готов с VarIsEmpty(fwebbrowser.документа). Затем сделать каркас из документа браузер := fWebBrowser.Документ, подсчитывать количество кадров, и индекс через них. Кадр 0 использует скрипт.топ, в то время как другие фреймы использовать кадры.Элемента(индекса). Обратите внимание на базовый Тип индексирования массива. Из рамы, проверьте документ.тело, и извлечь текст из этого. Имейте в виду, что CreateTextRange будет вызывать исключение, если нет никакого текста, как в объекте-поэтому баннер попробовать-только, чтобы поймать его. На данный момент, у нас есть полный HTML-код, и все мы должны получить результаты и навигации по ссылкам из него.
в HTML-код сканирования
когда я был тестирования этого, я использовал параметры Word на Altavista. Страница, которая была возвращена содержала 85 одной по браузере, одной (документ.ссылки.Используемые элементы(Индекс) свойства). Из них только 10 являются результаты и номер из объявления, баннеры, и тому подобное, а также ссылки навигации. Макет отличается за результат каждой поисковой машины, а объект анализа HTML-сделали бы хорошую идею для будущей статьи. Я застрял с Альтавистой, как и другие поисковые системы, заложить вещи в их собственный путь. Чтобы сохранить короткий код, я использовал две строки текста-"Апорт" и "результат страницы"-отметить старт и стоп в результате прыжков. Все URL-адреса (посмотрите для "href="), которые происходят между этими двумя строками и не содержат текст, заданный в игнор текста (например, "прыгать.альтависта") используются.
В структуре программы
и все центры на трех составляющих: TSearchEngine, TFetchResult, и TResultHandler. Список TSearchEngines создается при старте программы каждый объект, содержащий данные, необходимые для использования этого двигателя и экземпляр объекта webbrowser. В строке поиска передается в этот список, и каждый компонент, затем начинает запроса с собственным двигателем. Результат возвращается в общий список, хотя будьте осторожны, чтобы сериализовать доступ к этому списку через простой переменной охранник (fbusy), чтобы предотвратить два дополнения списка происходит одновременно. Если бы она была одна операция делается, этого можно было бы избежать, но у меня в списке поиска, а также и для этого нужно время, поэтому переменная охранник должен быть использован.
для типичного поисковик, запрос обрабатывается с помощью cgi-bin и скрипт запроса с разными параметрами добавил что-то вроде этого в поисковой строке "искать текст" (кавычки в комплекте): ПГ=г & кл=еп & вопрос="текст для поиска" & данные=20, который я понимаю, как ПГ = д (это запросов), кл = АН (Язык-английский), и данные=20 (результаты начинаются с 20-й результат).
на TSearchEngine класс PostQuestion методов, ExtractResultLinks, и NavigateNextResultPage и устанавливает обработчики событий объект webbrowser, чтобы действовать соответственно. Большую часть времени приложения тратится делать больше нечего, чем ждать событий webbrowser для триггера. Я включил простой государственный механизм, так что пользователи этого класса могут определить, что происходит, и он способен отслеживать, что он должен делать.
для каждой поисковой нашли ссылку, компонент TFetchResult будет создан и добавлен в список выборки. Каждый экземпляр этого класса имеет свой собственный объект webbrowser компонент и обработчик событий код. Я использовал список, чтобы упростить отслеживание всех выборках. Я использую период времени (по умолчанию 240 секунд), и каждые 30 секунд, весь список получает сканируется и проверяется на тайм-ауты. Один глобальный Таймер светлее на Windows, ресурсов, чем Таймер для каждого объекта. Как это также трудно точно определить, когда страница уже полностью загружена, то этот промежуток обеспечивает опрятнее способ сделать это.
если выборка выполняется успешно, содержимое HTML-документа сохраняются в папке результаты. Я не включенными графики для того, чтобы сохранить код короче. Имя является производным от имени фрейма после удаления недопустимые символы.
и Параллельность
в некотором смысле, это многопоточное приложение с достаточной степенью параллелизма, хотя там нет ни одной темы явно используется. Каждый из компонентов веб-браузера используется самостоятельно, одной в каждой TSearchEngine и по одному в каждом TFetchResult. Там, кажется, нет верхнего ограничения на количество одновременных поисков, хотя общая скорость явно с учетом пропускной способности интернет-канала<.br />если вы пишете в розницу товара, вы, вероятно, создаст конфигурационный файл с какой-то способ определения формате запрос для каждого двигателя он может обрабатывать, а также извлечения в результате одной. Каждая поисковая система выдает результаты в разных форматах и, возможно, изменить Формат, когда захотят.
есть также высокая вероятность того, что два или более поисковых запросов будет давать один и тот же URL. Я обойти это путем поиска в списке текущих выборок. Я предлагаю другой список будет использоваться, так как это имеет только текущую выборку. Перед получением результатов из определенного URL, быстрый поиск делается в этом списке, чтобы убедиться, что URL-адрес еще не извлечена. Если это не так, URL-адрес добавляется в список и извлечения доходов.
как всегда с поисковых систем, нужно тщательно выбрать ваш текстовый поиск, чтобы избежать многомиллионные результаты. Жестко ограничивают значение как 100 устанавливается для каждого TSearchEngine.
и последнее замечание: будьте осторожны при использовании приложения.ProcessMessages при использовании webbrowser. Я избегал его, за исключением, где выбирает не добавил, что ждет, если resultProcessor занят. Я не знаю, если он так направил события, но я обнаружил, что настройка метки и вызывающее приложение.ProcessMessages может заставить одно и то же событие повторилось. Это произошло еще в отладчике, но если вы получаете странное поведение, комментировать их.
предостережение
я думаю, что этот код является довольно грубым и готов, но он очень хорошо работает. Возможно, наименее удовлетворительные методы обнаружения, какой фрейм текста. Я нашел это трудно понять, кроме как используя исключения ловить, так что если вы запустите его в отладчике, ожидать несколько захваченных исключений. Это тоже не очень полированный приложения-что может быть лучше пользовательский интерфейс, например. Но он делает то, что я задумал-он выполняет несколько одновременных поисков и загрузок в то же время.
роботы не Добро пожаловать
стандарт появился называется Стандарт исключений для роботов, какие веб-сайты должны использовать, чтобы указать деревьев, которые не должны быть проиндексированы пауков, потому что страницы часто меняют или содержат исполняемых файлов или текстовых файлов.
я читал, что последние оценки указывают на то, что в мире насчитывается более 800 миллионов веб-страниц в существовании, и то, что большинство поисковых систем проиндексировали менее чем половиной от общего числа их. Крупнейшие поисковые системы имеют только индексы за 150-200 миллионов страниц. Поэтому все, что ограничивает "шума" можно только приветствовать, и один из способов сделать это через этот стандарт. Просто разместите robots.txt текстовый файл в корне-например, www.altavista.com/robots.txt-like следующий:

Пользователь-агент: *
В запретить: /цги-бин

при этом говорится, что все веб-роботов не должен смотреть в папку /cgi-мусорного-ведра. Конечно, ваши роботы не должны прислушаться к этому-он предназначен в основном для веб-пауков, но невежливо игнорировать это, и это имеет смысл, чтобы идти вместе с ней, если вам действительно нужно, чтобы увидеть, что там.
как вы могли бы задаться вопросом, сделать Веб-сайт, люди знают, когда робот посещал их? Все очень просто-это Ашераденс название в заголовке на веб-сервер. Это чаще всего Mozilla, но это может быть самокат (паук Апорт) или другие. Мозилла (для "мозаики убийца") было рабочее название для Netscape и IE также принял его. Это может быть возможным, чтобы изменить это в пятом параметре метода TWebBrowser навигации, которая содержит дополнительные заголовки. Или вы могли бы написать свой собственный интерфейс http, а не через е, а затем укажите имя. Учитывая то, что мы делаем, возможно, не очень популярен в поисковых системах, наверное, лучше сделать это за анонимность в браузере Mozilla! Кроме того, вы, возможно, захотите, чтобы добавить 10-секундная задержка между прыжками страниц. Таким образом, он будет по крайней мере выглядеть так, как будто это человек, а не программа<.br />и









Написание веб-роботов на Delphi


Написание веб-роботов на Delphi : Несколько тысяч советов, которые сделают вашу жизнь проще.


В этой статье Дэвид Болтон показывает, как создать простой веб-робота, который делает несколько параллельных запросов на поисковике и посещении каждого веб-сайта в результатах и загрузки этой страницы.
В этой статье Дэвид Болтон показывает, как создать простой веб-робот, которая выполняет несколько параллельных запросов на поисковике посещает каждого веб-сайта в результатах и загрузки этой страницы. Он использует компоненты ActiveX предусмотрено Internet Explorer 4 или 5.
есть нюанс - кода изначально написано будет работать с Альтавистой, но что изменилось, наверное, с десяток раз так его как правоподобны для того чтобы работать, как ваш шанс bicyling до Эвереста! Коперник (www.copernic.com) удивительный (и бесплатный) поиск поисковик и они выпускают обновления для конкретных двигателей на регулярной основе. Если вы хотите писать, играть с Коперником. Я оцениваю это 11 из 10. (Нет, я не finanicial или иное отношение к ним - я просто очень довольный клиент).
и хотя это звучит необычно, с помощью бота (также известный как паук, интеллектуальный агент, веб-робот, индексатор, робот, и так далее) - это программа, которая посещает множество веб-сайтов. Самые известные боты, конечно, пауки используют различные поисковые системы каталог новый контент. Посмотрите в Интернете и вы найдете много ссылок и детали. Есть даже книга на эту тему, опубликованные Microsoft пресс: боты программирования, пауки и интеллектуальных агентов в среде Visual с , Дэвид Pallmann (ИСБН 0-7356-0565-3). Это хорошо стоит получать, если вы заинтересованы в написании ботов и Вы не возражаете, пробираясь через код C.
когда вы создаете бота, вы должны знать, что материал ваш бот собирает с сайтов, которые он посещает также могут быть защищены авторским правом-так что будьте осторожны, как вы используете его. Другое дело, иметь в виду: если ваш бот неоднократно посещает Веб-сайт, это может расстроить владельцев веб-сайта, особенно если они несут платной рекламы. За подобную реакцию, просто упомянуть Видеорегистраторы, которые автоматически пропускать рекламу или tivo для рекламы люди. Конечно, если ваш бот делает молоток определенного веб-сайта и получает заметил, вы можете обнаружить, что Ваш IP-адрес не разрешен доступ к этому сайту (самый страшный 403!). В этом случае соединения, когда провайдер дает вам динамический IP-адрес, вероятно, гораздо лучше идея. Я буду обсуждать Стандарт исключений для роботов позже в отношении к этому.
основная проблема с прокатки свой собственный бот не может писать код, это как быстро ваше Интернет-соединение. Для серьезных ползание, вам нужна постоянная ссылка, не удаленный доступ!
для программируемые просмотра
что Microsoft сделала жизнь намного проще для создателей бота (и создатели вирусов, троянских авторов!) по их обычной практики, включая пару объектов просмотра ActiveX в Internet Explorer (т. е.) начиная с версии 4. На самом деле это многоразовый "двигатель" подход можно восхищаться, если только это не было так неправильно! Если вы используете их, они заботятся о 99 процентах сложные вещи, как доступ к Интернету, брандмауэров и через http-адрес для загрузки страницы. Т. е. имеет много функций, встроенных в, и большая часть ее доступна. Т. е. 3 были некоторые предметы в ней, но я не уверен, что эти можно использовать таким же образом.
если вы ярый ненавистник IE, мужайтесь! Вы не должны предавать свои принципы или пропустить эту статью. Когда вы используете объекты, то есть, вы никогда не увидеть, т. е.-это полностью интегрирована в Windows.
В webbrowser является имя объекта ActiveX от IE. С Delphi 3, Если у вас установлен IE установлен на вашем ПК, необходимо создать блок-идти библиотеку типов для импорта элементов управления ActiveX в Delphi, выберите элементы управления Microsoft в Интернете, и нажмите кнопку установить. Теперь вы должны увидеть TWebBrowser_V1, TWebBrowser, и TShellFolderViewOC на вкладке ActiveX на палитры компонентов. Мы будем использовать TWebBrowser. В Delphi 4 представляет собой проблему из-за изменений в обработке элементов ActiveX между Delphi версий 3 и 4. Программа, которая побежал штрафа в Delphi 3 генерирует EOLESysError в Delphi 4: "метод coinitialize не назвал." Библиотеки типа Паскаль источник для управление теперь два раза в Delphi 5, чем в Delphi 3. Если у вас есть Делфи 4, я предлагаю Вам либо обновления для Дельфи 5 или найти того, кто его и посмотреть, если Делфи 5 shdocvw.ССА работает для вас. Все функции объекта, т. е. содержится в shdocvw.dll.
если у вас есть Дельфи 5 или 6, вам не нужно этого делать. TWebBrowser заменил более старый компонент THTML и последний компонент на вкладке Интернет. Вы также получите демо использования этого в папке Демос/Coolstuff, и файл справки и кое-что на TWebBrowser, но любопытно, что Борланд не добавил компонент TWebBrowser_V1, хотя в исходном файле. Если вы хотите узнать больше об использовании TWebBrowser или TWebBrowser_V1, перейдите к www.microsoft.com и сделайте поиск, или Делфи 5 для файла помощью!
В TWebBrowser-это очень простой компонент для работы. Около половины свойствами можно пренебречь, так как они за интерфейс, т. е. для управления на экране выглядит т. е. как панели инструментов или отображение в полноэкранном режиме. Свойство visible определяет, будет ли мы видим в окне браузера или нет. В окончательной заявке, пользователь никогда не увидит его, но она может быть полезна для отладки.
это самый простой способ, используя браузер, вызывая навигации(юзабилити) метод, затем обработав событие OnNavigateComplete2 и используя свойство документа получить доступ к загруженной странице. Хотя есть два других события OnDocumentComplete и OnDownloadComplete-это должно помочь определить, был ли успешно загрузили веб-страницу, я нашел его проще обрабатывать все от OnNavigateComplete2. Это срабатывает только когда браузер успешно, однако переехал на указанный URL-адрес, это смущает несколько кадров, поэтому некоторые дополнительный уход должны быть приняты, как вы увидите.
В веб-браузере предусмотрено несколько свойств, которые упрощают задачу извлечения данных. Эти свойства включают ссылки, анкоры, апплеты, формы, фреймы, таблицы стилей, и еще несколько. Единственная проблема, особенно, когда используются фреймы, это сортировка плевел от пшеницы-какие ссылки являются действительными, и что может быть рекламы или других услуг? В этом случае, единственный способ сделать это для сканирования HTML и извлечь необходимую информацию. Так как каждая страница загружается, она может быть доступна напрямую.
В рамках

как вы знаете, многие поисковикам не индексировать фреймы. HTML-документ может состоять из одного или более кадров. Какой кадр держит, чего вы хотите? Это обычно первый (и часто единственный) страницы. Единственный надежный способ-пройтись по каждой странице ищу текст, а затем поиск для строк, которые определяют результаты. Гораздо большей проблемой является многократное срабатывание различных DocumentComplete, DownloadComplete, и события NavigationComplete. Много отладки, матерясь, и удаление волос произошло прежде, чем я понял, что происходит. Игнорировать DownloadComplete. Вместо этого используйте либо DocumentComplete или NavigationComplete. Я сделал еще несколько экспериментов и выяснили, что лучшим способом было использование одной и проверить, действительно ли документ был готов с VarIsEmpty(fwebbrowser.документа). Затем сделать каркас из документа браузер := fWebBrowser.Документ, подсчитывать количество кадров, и индекс через них. Кадр 0 использует скрипт.топ, в то время как другие фреймы использовать кадры.Элемента(индекса). Обратите внимание на базовый Тип индексирования массива. Из рамы, проверьте документ.тело, и извлечь текст из этого. Имейте в виду, что CreateTextRange будет вызывать исключение, если нет никакого текста, как в объекте-поэтому баннер попробовать-только, чтобы поймать его. На данный момент, у нас есть полный HTML-код, и все мы должны получить результаты и навигации по ссылкам из него.
в HTML-код сканирования
когда я был тестирования этого, я использовал параметры Word на Altavista. Страница, которая была возвращена содержала 85 одной по браузере, одной (документ.ссылки.Используемые элементы(Индекс) свойства). Из них только 10 являются результаты и номер из объявления, баннеры, и тому подобное, а также ссылки навигации. Макет отличается за результат каждой поисковой машины, а объект анализа HTML-сделали бы хорошую идею для будущей статьи. Я застрял с Альтавистой, как и другие поисковые системы, заложить вещи в их собственный путь. Чтобы сохранить короткий код, я использовал две строки текста-"Апорт" и "результат страницы"-отметить старт и стоп в результате прыжков. Все URL-адреса (посмотрите для "href="), которые происходят между этими двумя строками и не содержат текст, заданный в игнор текста (например, "прыгать.альтависта") используются.
В структуре программы
и все центры на трех составляющих: TSearchEngine, TFetchResult, и TResultHandler. Список TSearchEngines создается при старте программы каждый объект, содержащий данные, необходимые для использования этого двигателя и экземпляр объекта webbrowser. В строке поиска передается в этот список, и каждый компонент, затем начинает запроса с собственным двигателем. Результат возвращается в общий список, хотя будьте осторожны, чтобы сериализовать доступ к этому списку через простой переменной охранник (fbusy), чтобы предотвратить два дополнения списка происходит одновременно. Если бы она была одна операция делается, этого можно было бы избежать, но у меня в списке поиска, а также и для этого нужно время, поэтому переменная охранник должен быть использован.
для типичного поисковик, запрос обрабатывается с помощью cgi-bin и скрипт запроса с разными параметрами добавил что-то вроде этого в поисковой строке "искать текст" (кавычки в комплекте): ПГ=г & кл=еп & вопрос="текст для поиска" & данные=20, который я понимаю, как ПГ = д (это запросов), кл = АН (Язык-английский), и данные=20 (результаты начинаются с 20-й результат).
на TSearchEngine класс PostQuestion методов, ExtractResultLinks, и NavigateNextResultPage и устанавливает обработчики событий объект webbrowser, чтобы действовать соответственно. Большую часть времени приложения тратится делать больше нечего, чем ждать событий webbrowser для триггера. Я включил простой государственный механизм, так что пользователи этого класса могут определить, что происходит, и он способен отслеживать, что он должен делать.
для каждой поисковой нашли ссылку, компонент TFetchResult будет создан и добавлен в список выборки. Каждый экземпляр этого класса имеет свой собственный объект webbrowser компонент и обработчик событий код. Я использовал список, чтобы упростить отслеживание всех выборках. Я использую период времени (по умолчанию 240 секунд), и каждые 30 секунд, весь список получает сканируется и проверяется на тайм-ауты. Один глобальный Таймер светлее на Windows, ресурсов, чем Таймер для каждого объекта. Как это также трудно точно определить, когда страница уже полностью загружена, то этот промежуток обеспечивает опрятнее способ сделать это.
если выборка выполняется успешно, содержимое HTML-документа сохраняются в папке результаты. Я не включенными графики для того, чтобы сохранить код короче. Имя является производным от имени фрейма после удаления недопустимые символы.
и Параллельность
в некотором смысле, это многопоточное приложение с достаточной степенью параллелизма, хотя там нет ни одной темы явно используется. Каждый из компонентов веб-браузера используется самостоятельно, одной в каждой TSearchEngine и по одному в каждом TFetchResult. Там, кажется, нет верхнего ограничения на количество одновременных поисков, хотя общая скорость явно с учетом пропускной способности интернет-канала<.br />если вы пишете в розницу товара, вы, вероятно, создаст конфигурационный файл с какой-то способ определения формате запрос для каждого двигателя он может обрабатывать, а также извлечения в результате одной. Каждая поисковая система выдает результаты в разных форматах и, возможно, изменить Формат, когда захотят.
есть также высокая вероятность того, что два или более поисковых запросов будет давать один и тот же URL. Я обойти это путем поиска в списке текущих выборок. Я предлагаю другой список будет использоваться, так как это имеет только текущую выборку. Перед получением результатов из определенного URL, быстрый поиск делается в этом списке, чтобы убедиться, что URL-адрес еще не извлечена. Если это не так, URL-адрес добавляется в список и извлечения доходов.
как всегда с поисковых систем, нужно тщательно выбрать ваш текстовый поиск, чтобы избежать многомиллионные результаты. Жестко ограничивают значение как 100 устанавливается для каждого TSearchEngine.
и последнее замечание: будьте осторожны при использовании приложения.ProcessMessages при использовании webbrowser. Я избегал его, за исключением, где выбирает не добавил, что ждет, если resultProcessor занят. Я не знаю, если он так направил события, но я обнаружил, что настройка метки и вызывающее приложение.ProcessMessages может заставить одно и то же событие повторилось. Это произошло еще в отладчике, но если вы получаете странное поведение, комментировать их.
предостережение
я думаю, что этот код является довольно грубым и готов, но он очень хорошо работает. Возможно, наименее удовлетворительные методы обнаружения, какой фрейм текста. Я нашел это трудно понять, кроме как используя исключения ловить, так что если вы запустите его в отладчике, ожидать несколько захваченных исключений. Это тоже не очень полированный приложения-что может быть лучше пользовательский интерфейс, например. Но он делает то, что я задумал-он выполняет несколько одновременных поисков и загрузок в то же время.
роботы не Добро пожаловать
стандарт появился называется Стандарт исключений для роботов, какие веб-сайты должны использовать, чтобы указать деревьев, которые не должны быть проиндексированы пауков, потому что страницы часто меняют или содержат исполняемых файлов или текстовых файлов.
я читал, что последние оценки указывают на то, что в мире насчитывается более 800 миллионов веб-страниц в существовании, и то, что большинство поисковых систем проиндексировали менее чем половиной от общего числа их. Крупнейшие поисковые системы имеют только индексы за 150-200 миллионов страниц. Поэтому все, что ограничивает "шума" можно только приветствовать, и один из способов сделать это через этот стандарт. Просто разместите robots.txt текстовый файл в корне-например, www.altavista.com/robots.txt-like следующий:

Пользователь-агент: *
В запретить: /цги-бин

при этом говорится, что все веб-роботов не должен смотреть в папку /cgi-мусорного-ведра. Конечно, ваши роботы не должны прислушаться к этому-он предназначен в основном для веб-пауков, но невежливо игнорировать это, и это имеет смысл, чтобы идти вместе с ней, если вам действительно нужно, чтобы увидеть, что там.
как вы могли бы задаться вопросом, сделать Веб-сайт, люди знают, когда робот посещал их? Все очень просто-это Ашераденс название в заголовке на веб-сервер. Это чаще всего Mozilla, но это может быть самокат (паук Апорт) или другие. Мозилла (для "мозаики убийца") было рабочее название для Netscape и IE также принял его. Это может быть возможным, чтобы изменить это в пятом параметре метода TWebBrowser навигации, которая содержит дополнительные заголовки. Или вы могли бы написать свой собственный интерфейс http, а не через е, а затем укажите имя. Учитывая то, что мы делаем, возможно, не очень популярен в поисковых системах, наверное, лучше сделать это за анонимность в браузере Mozilla! Кроме того, вы, возможно, захотите, чтобы добавить 10-секундная задержка между прыжками страниц. Таким образом, он будет по крайней мере выглядеть так, как будто это человек, а не программа<.br />и


Написание веб-роботов на Delphi

Написание веб-роботов на Delphi : Несколько тысяч советов, которые сделают вашу жизнь проще.
рекомендовать друзьям
  • gplus
  • pinterest

Комментарий

  1. zjublpsh [11/8/2026 7:35:24 PM] : <a href="https://longnews.ru/">https://longnews.ru/</a>
  2. govcvadf [11/12/2026 12:57:30 PM] : Желаемый товар <a href="https://firstwant.ru">https://firstwant.ru</a> по приемлемой цене!
  3. qizrubda [11/20/2026 1:14:42 AM] : <a href="https://longnews.ru/">https://longnews.ru/</a>

Оставить комментарий

Оценивать