Chinaunix首页 | 黑桃棋牌官方网下载 | 博客

-

  • 博客访问: 523765
  • 博文数量: 56
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 679
  • 用 户 组: 普通用户
  • 注册时间: 2018-12-20 14:57
  • 文章分类

    全部博文(56)

  • 集算器(51)
  • 未分配的博文(5)
  • 文章存档

    2019年(52)

    2018年(4)

    我的朋友

    分类: 敏捷开发

    2019-06-20 16:17:03

             csv文件存储数据时在结构上基本和一个数据库表相当,不过因为读写方便,所以使用频率很高,例如输出一些临时结果,或者持续记录类似日志形式的数据。不过,当需要对这些数据进一步处理时,如果还要先导入数据库,那么csv本身的便利性也就没有了。

    事实上,通过集算器,可以直接对csv文件进行处理,而且还可以进行一些“高级”操作,就像本文要介绍的比较两个csv文件的差异。

             假设在一个简单的销售系统中,前端系统只负责录入,包括新增、修改和删除订单,同时,每天会把数据文件做一次备份归档。在后期分析中,需要查看某个时间段内的新增、取消和修改的订单。下面就是不使用数据库,直接比较csv文件的操作。

    例子中使用了20153月的两个文件,早一点的是old.csv,晚一点的是new.csv。文件中的逻辑主键是userNamedate,需要分别找出新增的、删除的、修改的数据行。源文件如下:


    Old.csv
    New.csv

     

    1

    2

    3

    4

    5

    6

    7

    8

    9

    userName,date,saleValue,saleCount

    Rachel,2015-03-01,4500,9

    Rachel,2015-03-03,8700,4

    Tom,2015-03-02,3000,8

    Tom,2015-03-03,5000,7

    Tom,2015-03-04,6000,12

    John,2015-03-02,4000,3

    John,2015-03-02,4300,9

    John,2015-03-04,4800,4

    userName,date,saleValue,saleCount

    Rachel,2015-03-01,4500,9

    Rachel,2015-03-02,5000,5

    Ashley,2015-03-01,6000,5

    Rachel,2015-03-03,11700,4

    Tom,2015-03-03,5000,7

    Tom,2015-03-04,6000,12

    John,2015-03-02,4000,3

    John,2015-03-02,4300,9

    John,2015-03-04,4800,4

             直接观察数据,可以看到new.csv中的第23行是新增的记录,第4行是修改的记录,old.csv中第3行是删除的记录。

             集算器代码如下:


    A
    B
    1
    =file("d:\\old.csv").import@t(;,",")
    =file("d:\\new.csv").import@t(;,",")
    2
    =A1.sort(userName,date)
    =B1.sort(userName,date)
    3
    =new=[B2,A2].merge@d(userName,date)

    4
    =delete=[A2,B2].merge@d(userName,date)

    5
    =diff=[B2,A2].merge@d(userName,date,saleValue,saleCount)
    6
    =update=[A5,new].merge@d(userName,date)
    return update

             A1,B1:以逗号为分隔符读入文件。

             A2,B2:将数据按照关键字排序。因为后面使用merge函数要求数据有序。

             A3:函数merge可进行多数据集归并,使用选项@d表示归并时找出差集。类似地还有并集选项@u,交集选项@i。新增记录实际上就是较新的数据和较旧数据按关键字的差集,计算结果如下:

             A4:同样的,较旧数据和较新数据按关键字的差集就是删除的记录,计算结果如下:

             A5:将关键字作为普通字段计算差集,找到修改过的所有记录。计算结果如下:

             A6:要计算更新的记录,把A5作为中间计算结果,计算A5和“新增”记录之间的差集。计算结果如下:

     

             B6:将A6返回给JAVA或报表工具。

     

    上述脚本完成了所有的数据处理工作,接下来还可以通过JDBC将集算器脚本集成在JAVAJAVA代码如下:

             //建立esProc jdbc连接

             Class.forName("com.esproc.jdbc.InternalDriver");

             con= DriverManager.getConnection("jdbc:esproc:local://");

             //调用esProc,其中test是脚本文件名,可接收参数

             st =(com.esproc.jdbc.InternalCStatement)con.prepareCall("call test()");                       com.esproc.jdbc.InternalCStatement st = (com.esproc.jdbc.InternalCStatement)con.prepareCall("call test()");

             st.execute();//执行esProc存储过程

             ResultSet set = st.getResultSet();//获得计算结果

     

             而如果要将多个数据集返回给JAVA,可以将B6的代码改为:return new,delete,update


    阅读(39403) | 评论(0) | 转发(0) |
    给主人留下些什么吧!~~
    评论热议
    请登录后评论。

    登录 注册