V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
? Learn Python the Hard Way
Python Sites
? PyPI - Python Package Index
? http://diveintopython.org/toc/index.html
? Pocoo
值得关注的项目
? PyPy
? Celery
? Jinja2
? Read the Docs
? gevent
? pyenv
? virtualenv
? Stackless Python
? Beautiful Soup
? 结巴中文分词
? Green Unicorn
? Sentry
? Shovel
? Pyflakes
? pytest
Python 编程
? pep8 Checker
Styles
? PEP 8
? Google Python Style Guide
? Code Style from The Hitchhiker's Guide
chendajun
V2EX  ?  Python

weixin.sogou.com 抓取微信公众号的文章,已经加了代理,还是很快就封掉。请问有好的办法吗?

  •  
  •   chendajun · 2016-11-25 15:55:09 +08:00 · 3534 次点击
    这是一个创建于 2726 天前的主题,其中的信息可能已经有所发展或是发生改变。
    9 条回复  ?  2016-12-01 15:13:49 +08:00
    Biny
        1
    Biny  
       2016-11-25 16:06:57 +08:00
    代理池大一点,采集的程序分布在多台机器上面跑,采集的频率降低,慢慢采
    iannil
        2
    iannil  
       2016-11-25 16:10:52 +08:00
    搜狗抓公众号信息,文章去微信抓。我抓过上亿条,没有问题的。
    chendajun
        3
    chendajun  
    OP
       2016-11-25 16:58:12 +08:00
    @iannil “搜狗抓公众号信息”指的是在搜狗上抓公众号的功能介绍,微信认证这些信息吗? “文章去微信抓”具体能说说怎么抓吗?谢了!
    stone1342006
        4
    stone1342006  
       2016-11-25 17:17:19 +08:00
    同在搜狗抓微信公众号文章, 加代理没有被封 。 可能如同 @Biny 说的,代理的 ip 多一点就没可以了
    chendajun
        5
    chendajun  
    OP
       2016-11-25 17:20:07 +08:00
    @Biny
    @stone1342006
    代理不稳定啊,付费的也是经常掉。
    zhaoyue199508
        6
    zhaoyue199508  
       2016-11-25 17:30:33 +08:00
    @chendajun 花点钱上动态 vps
    Biny
        7
    Biny  
       2016-11-25 22:23:26 +08:00
    @chendajun 可以购买国外的 vps ,一般最少都带有 2 个以上的 IP ,一般 512m 内存的 VPS 国外的也就 30-40 块人民币
    tkisme
        8
    tkisme  
       2016-11-26 00:03:32 +08:00
    偷偷说一句,用电话拨号上网 ip 是不断变化的,那就意味着。。。
    yanzixuan
        9
    yanzixuan  
       2016-12-01 15:13:49 +08:00
    @iannil 弱问如何在微信里抓。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5793 人在线   最高记录 6547   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 09:09 · PVG 17:09 · LAX 02:09 · JFK 05:09
    Developed with CodeLauncher
    ? Do have faith in what you're doing.


    http://www.vxiaotou.com