日期:2014-05-17  浏览次数:20696 次

PHP深层扫描
我想抓取网页中的内容时
file_get_contents 参数填入url就可以获得当前的内容

现在我想做的是如何深层抓取?

难道是遇到 a标签后 就获取url 然后再file_get_contents

一直这么遍历下去吗??

不知道有没好的思路呢?

------解决方案--------------------
爬虫么?
不外乎两种常见的遍历形式:
1.深度扫描,类似图的深度遍历。递归是最容易理解的方式。

2.广度扫描。即按照层次的方式来扫描网页。容易实现且可以控制抓取的层次。

你说的方式基本就是深度爬虫的策略。ps:这个相当耗时额。