以前的只能沿着<a href=...>爬行，用了好久。但现在大量的网页都用POST方式或Script方式来链接网页。所以需要改进 <- 中国开发网

账号

中国开发网: 论坛: 程序员情感CBD: 贴子 109521

李战 · 2005-03-07 05:17:53 · 阅读: 483

以前的只能沿着<a href=...>爬行，用了好久。但现在大量的网页都用POST方式或Script方式来链接网页。所以需要改进

<空>

相关信息:

打算改进网络爬虫程序，打算爬进那些用JavaScript才能打开的网页。各位有何建议？ (空) (李战 [1144] 2005-03-07 13:12)
- 以前的只能沿着<a href=...>爬行，用了好久。但现在大量的网页都用POST方式或Script方式来链接网页。所以需要改进 (空) (李战 [482] 2005-03-07 13:17)
  - 这样就比较难了，典型的页面就是登录页面，你要想爬进去，难如登天。 (空) (Miracle [393] 2005-03-07 13:21)
    - 当然，我不是要登录，而是搜索网页。不过，有些自动登录软件可以自己填写表单，然后提交的，虽然没有通用性。 (空) (李战 [436] 2005-03-07 13:56)
  - 而且这也涉及到一个网络礼仪问题，一般来说通过编程手段大规模的post数据是非常不礼貌的 (空) (Miracle [413] 2005-03-07 13:23)
    - 先不说礼貌问题。将来ASP.NET的网页越来越多，都是WebForm，大量的链接都会用POST或Script。 (102字) (李战 [616] 2005-03-07 13:50)
      - 你是想抓什么东西？用什么做到爬虫？怎么不能post呢？ (17字) (haitao [480] 2005-03-07 14:16)
        就是从打开一个网页开始，然后收集所有可以到达的网页，再逐一去打开。如此递归，当然... (126字) (李战 [561] 2005-03-07 14:39)
        嘿嘿 (10字) (JoJo [439] 2005-03-07 14:47)
        是的，这也是很头痛的问题。碰到那些网页有错误的，常常需要人工处理。 (空) (李战 [474] 2005-03-07 15:40)
        关注的是什么行业、性质的内容呢？ (12字) (haitao [552] 2005-03-07 14:49)
        目前，我仅仅用于搜集企业名录。下一步打算再关联搜集产品信息。 (空) (李战 [406] 2005-03-07 15:43)
        这个专门收集一些大的网站就可以了吧。。不需要到处爬的 (空) (CJF [454] 2005-03-07 15:57)
        这样做的话，真得很危险，三下五除二你自己就被搞死了。 (空) (Miracle [760] 2005-03-07 15:38)
        死倒不会死，就是需要人工监控。但我本来也是用来收集指定网站内容的，系统停止的时候需要人工“跳过”。 (空) (李战 [442] 2005-03-07 15:46)
        经常要人工干预？这不能算spider吧 (空) (Miracle [389] 2005-03-07 15:47)
        嘿嘿，我做的东西从来不完美，但都能用。 (空) (李战 [401] 2005-03-07 15:52)
- 最简单的，如果url是js组合出来的 (20字) (haitao [523] 2005-03-07 13:27)
  - 不是要我去自己解释执行JavaScript吧。 (空) (李战 [440] 2005-03-07 13:53)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.030 - 501544