大数据分析现有技术与问题
1、数据仓库方法DW： -数据移动过程（ETL）浪费资源、性能； -随着数据载入，应用越来越小，受制于数据源2、数据云： -大量数据输入，类型是堆，结构混乱，不可用； -按来源，最近原则分发、使用； -应用上，异构数据来了后，不知道放到哪里去；3、Big data： -内容无限（海量的数据和海量的流量）； -无边（边界不
·
1、数据仓库方法DW：
-数据移动过程（ETL）浪费资源、性能；
-随着数据载入，应用越来越小，受制于数据源
2、数据云：
-大量数据输入，类型是堆，结构混乱，不可用；
-按来源，最近原则分发、使用；
-应用上，异构数据来了后，不知道放到哪里去；
3、Big data：
-内容无限（海量的数据和海量的流量）；
-无边（边界不清、类别模糊）；
4、传统的聚类方法
-怎么找到数据；类在什么？分界线在哪里？
-从DB上：ETL技术，分类，并行DB+ETL（OLAP）
-Google：云（Mapreduce）-SQL方式+存储太慢+读写对硬件要求高+PB级以上时性能与需求矛盾大
-并行DB+Mapreduce：综合数据生成、排序等；
1）横向规模扩展-节点无限增加，查询性能下降
2）纵向关系：异构数据（医疗、交通……），可用性？
5、架构型大数据？
-如果说大数据是有一个架构的，那么如何在架构上发现数据的分类条件（聚类）、边界、最小集、可用与不可用、弱关系与强关系？
永洪科技，致力于打造全球领先的数据技术厂商，具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。
更多推荐
0
0- 0
已为社区贡献3条内容
所有评论(0)