向es中插入大数据量数据解决方案
1.解决方案: 生成Vo 实体类生成数据转换为JsonString 写入本地文件 再使用curl 命令向es中插入json文件curl -H "Content-Type: application/json"-XPOST localhost:9201/_bulk --data-binary @demo.json十万条数据大概时间:3min2.遇到的问题:在生成的json文件中没有指定对应的索引和文档
·
1.解决方案: 生成Vo 实体类生成数据转换为JsonString 写入本地文件 再使用curl 命令向es中插入json文件
curl -H "Content-Type: application/json" -XPOST localhost:9201/_bulk --data-binary @demo.json
十万条数据大概时间:3min
2.遇到的问题:
-
在生成的json文件中没有指定对应的索引和文档类型
-
要使用root权限
3.使用方法
a.在venus-data-collector服务下找到GenerateJsonFileUtils工具类 自定义数据量生成json文件
b.将生成的Json文件上传到服务器
c.在服务器输入curl -H “Content-Type: application/json” -XPOST localhost:9200/_bulk --data-binary @demo.json 上传数据到es
| [Content-Type: application/json | 指定上传的是Json文件 |
|---|---|
| -XPOST localhost:9201 | 指定es对应的ip和端口 |
| –data-binary | 以二级制的方式上传 |
| emo.json | json文件在服务器上的位置 |
永洪科技，致力于打造全球领先的数据技术厂商，具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)