V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
whyorwhynot
V2EX  ?  互联网

360 蜘蛛爬取了隐藏的 https 路径

  •  
  •   whyorwhynot · 2020-04-24 12:53:47 +08:00 · 2247 次点击
    这是一个创建于 1466 天前的主题,其中的信息可能已经有所发展或是发生改变。

    腾讯云最新优惠活动来了:云产品限时1折,云服务器低至88元/年 ,点击这里立即抢购:9i0i.cn/qcloud,更有2860元代金券免费领取,付款直接抵现金用,点击这里立即领取:9i0i.cn/qcloudquan

    (福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun

    楼主在本地用 hfs 小工具搭建了一个 http 下载服务,然后通过 nps 映射到了海外的一台服务器上,通过 nginx 又对服务加了一层 ssl,用的 let's encrypt 的证书

    为了方便平时安全交换文件,我将 hfs 的一个文件目录设置为隐藏 url 了,无法通过列网站目录等方式获得这个目录的 url,外界人员也就无法得知这个交换地址。但是今天查看系统日志,发现存在一条 360 蜘蛛的访问记录,

    1:18:44 42.236.10.114:10648 Requested GET /这里是 16 位字符随机地址 / 1:18:45 42.236.10.114:10661 Requested GET /?mode=jquery

    理论上这个地址外界应该是不可能知道的,到底是哪一环节出了问题。。。。

    12 条回复  ?  2020-04-24 19:22:30 +08:00
    codingadog
        1
    codingadog  
       2020-04-24 12:58:11 +08:00 via Android
    你自己用的 360 浏览器或相关的东西访问过?
    whyorwhynot
        2
    whyorwhynot  
    OP
       2020-04-24 14:06:22 +08:00
    @codingadog 用 360 浏览器访问过一次,可能是这个原因
    1490213
        3
    1490213  
       2020-04-24 14:16:17 +08:00 via Android
    我们公司严禁安装任何 360 公司的软件
    vc1
        4
    vc1  
       2020-04-24 14:23:35 +08:00
    你在 qq 、wx 发一下也会有腾讯的请求去爬
    swulling
        5
    swulling  
       2020-04-24 14:24:58 +08:00
    你有设置 robots.txt 么
    imn1
        6
    imn1  
       2020-04-24 14:32:52 +08:00
    2 楼结贴
    whyorwhynot
        7
    whyorwhynot  
    OP
       2020-04-24 15:32:19 +08:00
    @swulling 没有 rebots.txt
    whyorwhynot
        8
    whyorwhynot  
    OP
       2020-04-24 15:34:06 +08:00
    @vc1 本想搞个私密连接,直接被 360 顺走了,难受
    vc1
        9
    vc1  
       2020-04-24 16:24:28 +08:00 via Android
    @whyorwhynot 像问卷投票的链接只在群里发也能被搜到,都有网址安全检查的,没有屏蔽搜索引擎
    hstdt
        10
    hstdt  
       2020-04-24 18:00:45 +08:00 via iPhone
    感觉是个大瓜
    0312birdzhang
        11
    0312birdzhang  
       2020-04-24 19:21:33 +08:00 via iPhone
    用 nginx 的话把这个路径加个认证吧
    autoxbc
        12
    autoxbc  
       2020-04-24 19:22:30 +08:00
    @hstdt #10 厂商都这么做十几二十年了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3081 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 12:20 · PVG 20:20 · LAX 05:20 · JFK 08:20
    Developed with CodeLauncher
    ? Do have faith in what you're doing.


    http://www.vxiaotou.com