Python 异步和线程的一些疑问

json_data = [
    'aaa': {
        'url': '....',
        'data': '...'
    },
    'bbb': {
        'url': '....',
        'data': '...'
    },
    'ccc': {
        'url': '....',
        'data': '...'
    },

    ...
 ]

利用 json_data 里面的 url 地址去请求返回数据然后替换 url 的值

同步请求太慢了如何利用异步或者线程请求

url'

data'

json_data

异步

7 条回复 ? 2018-05-22 14:08:14 +08:00

zhantss

2018-05-22 11:59:15 +08:00

用协程
asyncio+aiohttp

ltoddy

2018-05-22 12:58:48 +08:00

用线程池, futures 模块里面的。

enenaaa

2018-05-22 13:08:11 +08:00

requests-futures
可以用现成的库

prim

2018-05-22 13:50:23 +08:00

gevent + requests
几行代码

diggerdu

2018-05-22 13:55:40 +08:00

multiprocessing.pool.imap_async

whx20202

2018-05-22 13:58:54 +08:00

你只是说太慢了，那么简单的话起几个线程，异步然后 join 就行了
速度取决于最慢的那个

如果数目很多，就用上面说的就行了。几个没必要用那些协程库

NxnXgpuPSfsIT

2018-05-22 14:08:14 +08:00

没懂替换 url 的值，如果是替换 data 的值的话是不是这个意思？

import trip

json_data = {'a': {'url': '', 'data': '' },}

@trip.coroutine
def fetch(k):
r = yield trip.get(json_data[k]['url'])
json_data[k]['data'] = r.content

def main():
yield [fetch(k) for k in json_data]

trip.run(main)