V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sunorg
V2EX  ?  程序员

现在比较轻量的 bi 和 etl 是什么?

  •  
  •   sunorg · 146 天前 · 2335 次点击
    这是一个创建于 146 天前的主题,其中的信息可能已经有所发展或是发生改变。

    腾讯云最新优惠活动来了:云产品限时1折,云服务器低至88元/年 ,点击这里立即抢购:9i0i.cn/qcloud,更有2860元代金券免费领取,付款直接抵现金用,点击这里立即领取:9i0i.cn/qcloudquan

    (福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun

    有一批数据要处理,数据源乱七八糟,但数据量不大,一般一天递增 2 万,哪位朋友能给推荐个 ETL 和 BI 可视化的??

    15 条回复  ?  2024-01-18 20:24:33 +08:00
    sunorg
        1
    sunorg  
    OP
       146 天前 via Android
    .补充下信息:

    目前数据源主要是 excel ,mongodb ,json 文本,普通 txt.

    主要使用需要是 python 。
    haimianbihdata
        2
    haimianbihdata  
       146 天前 via Android   ?? 1
    有预算就帆软的,没有就开源 superset 之类的 bi 。etl 就海豚调度?Python 处理文本入库。大差不差
    KKLeon
        3
    KKLeon  
       146 天前 via Android
    powerbi 和 tableau ? tableau 可视化做的不错,原来体验过,不过我用的很基础
    ferock
        4
    ferock  
       146 天前 via iPhone
    mark ,期待后续解答
    hysys32
        5
    hysys32  
       146 天前 via iPhone
    powerbi 宇宙最强
    sunorg
        6
    sunorg  
    OP
       146 天前 via Android
    @haimianbihdata 感谢,我学习一下这个去
    Babbitt
        7
    Babbitt  
       146 天前 via iPhone
    有类似需求,关注下
    fridaycatye
        8
    fridaycatye  
       146 天前 via Android
    mark ,我自己用过 datax 和 kettle
    sujin190
        9
    sujin190  
       146 天前 via Android   ?? 1
    https://github.com/snower/syncany-sql

    那来推荐下这个项目呗,写 SQL 可以同时查询你需要的这些数据源还可以相互 join ,python 搞的,出发点也就是你现在遇到的这种需求,把统计结果同步到 mysql 之类的,图表用 superset 就很好用了
    sunorg
        10
    sunorg  
    OP
       146 天前 via Android
    @sujin190 十分有意思的项目,谢谢。晚点我试一下
    howfree
        11
    howfree  
       146 天前
    有个叫 datart 的,不知道能不能满足你的需求
    sujin190
        12
    sujin190  
       146 天前   ?? 1
    @sunorg #10 顺便补充一点点,这个写的 SQL 主要方向还是数据导出和数据同步,所以 insert into 并不和数据库的 insert into 一样,其 select 的第一个字段表示主键唯一值,insert into 的时候可以指定选项按这个字段值存在则更新否则插入以保证可重入,毕竟定时脚本统计同步数据不能保证重入简直坑死人,默认则是追加,如果是按天统计结果的也推荐用日期加统计类型来构建一个唯一值更容易保证不出错
    Chalice
        13
    Chalice  
       146 天前   ?? 1
    最近测了很多 bi ,大部分对 MongoDB 的支持都很烂(比如 metabase 不支持 MongoDB 的 array ), 有的甚至完全不支持,最好先用 MongoDB Connector for BI 转换下。
    sunorg
        14
    sunorg  
    OP
       145 天前 via Android
    @sujin190 有点不合适,有些追加有些覆盖
    sunorg
        15
    sunorg  
    OP
       107 天前 via Android
    @haimianbihdata

    海豚调度,客户端太耗费系统资源了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2437 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 209ms · UTC 10:30 · PVG 18:30 · LAX 03:30 · JFK 06:30
    Developed with CodeLauncher
    ? Do have faith in what you're doing.


    http://www.vxiaotou.com