大数据处理流程:

    确定数据来源:

        采集工程师爬取到对应的数据

        公开的数据集

        购买一些商用的数据
    数据仓库工程师:
            抽取数据,将数据抽取到数据仓库中
    数据分析工程师:
            数据进行汇总分析,挖掘出企业关心的内容
    将数据的结果同步到mysql中
    web工程师进行数据的展示和呈现
        
        
目标:
    经采集的数据结构化之后导入到数据仓库中,
        难点是数据结构化
            按照目录结构解析文件内容
            读取到文件里的内容,提取XML指定内容
            解析指定规则的文本内容
            java IO
    先把流程梳理出来
        得到原数据文件夹的目录
        获取文件夹下的目录(频道目录)
        获取频道下的content和user
        分别交给不同的解析器解析这些内容,解析content 解析user
        边解析边写文件
    先解决技术问题再解决业务问题