.NET工程师知识图谱--大数据
1.知识图谱1.1.数据采集名称说明网络爬虫按照一定规则自动抓取网站信息的程序，可以为数据收集提供来源。Flume分布式、高可靠、高可用服务，可以有效收集、聚合、移动大量的日志数据。Flume的设计目的是要向Hadoop集群批量导入基于事件的海量数据。Logstash开源服务器端数据处理管道，可以同时从多个数据来源采集数据和转换数据，并将数据传输至存储中。Beats轻量级数据采集产品，包含用于收集
·
1.知识图谱
1.1.数据采集
| 名称 | 说明 |
|---|---|
| 网络爬虫 | 按照一定规则自动抓取网站信息的程序，可以为数据收集提供来源。 |
| Flume | 分布式、高可靠、高可用服务，可以有效收集、聚合、移动大量的日志数据。Flume的设计目的是要向Hadoop集群批量导入基于事件的海量数据。 |
| Logstash | 开源服务器端数据处理管道，可以同时从多个数据来源采集数据和转换数据，并将数据传输至存储中。 |
| Beats | 轻量级数据采集产品，包含用于收集网络流量数据的Packetbeat，用于收集系统、进程和文件系统级别CPU及内存使用情况的Topbeat，用于收集日志与文件数据的Filebeat，用于收集Windows事件日志数据的Winlogbeat。 |
1.2.数据存储
| 名称 | 说明 |
|---|---|
| HDFS | Hadoop Distributed File System，Hadoop分布式文件系统的简称。HDFS是一个高容错性的系统，可以部署在配置和价格相对较低的计算机上，能够提供高吞吐量的数据访问，适合大规模数据集上的应用。 |
| HBase | Hadoop Database的简称，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。Hadoop项目的子项目，是可以运行在Hadoop集群上的NoSQL数据库。 |
1.3.数据挖掘
| 名称 | 说明 |
|---|---|
| Hive | 面向Hadoop生态的数据仓库，提供HiveQL用于查询和管理大数据。 |
| Pig | 面向分布式大数据分析的平台，用于简化Hadoop任务，对MapReduce进行更高层次的封装，执行效率快，适用于实时分析。 |
| Sqoop | 用于关系型数据库与Hadoop之间的数据传输，可以将数据导入到Hive或HBase中，并从Hadoop导出到关系型数据库。 |
1.4.数据处理
| 名称 | 说明 |
|---|---|
| Hadoop | 分布式系统基础架构，核心就是HDFS和MapReduce。 |
| MapReduce | 面向大数据并行处理的计算模型、框架和平台。主要用于数据划分和计算任务调度、数据及代码互定位、系统优化、出错检测和恢复。Hadoop的实现就是依据MapReduce的原理。 |
| Impala | Cloudera公司主导开发的新型查询系统，提供了SQL语义，可以查询存储在HDFS和HBase中的数据。与Hive相比其优势就是快。 |
| Storm | 用来做大数据流实时处理的开源框架，可以相对可靠的处理无限的数据流，实时处理Hadoop的批任务。使用简单，支持多种类型的编程语言。 |
| Spark | 一种基于内存的分布式并行计算框架，不同于MapReduce，Job中间输出结果可以保存在内存中，不需要读写HDFS，能更好的适应数据挖掘与机器学习等需要。 |
| Flink | 开源流处理框架，以数据并行和流水线方式执行流数据程序，支持迭代算法的执行，比较适合处理在线的实时大数据。 |
永洪科技，致力于打造全球领先的数据技术厂商，具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)