长尾问题是分布式计算里最常见的问题之一，也是典型的疑难杂症。究其原因，是因为数据分布不均，导致各个节点的工作量不同，整个任务就需要等最慢的节点完成才能完成。处理这类问题的思路就是把工作分给多个Worker去执行，而不是一个Worker单独抗下最重的那份工作。本文希望就平时工作中遇到的一些典型的长尾问题的场景及其解法做一些分享。
Join
Join能出现长尾，是因为Join时出现某个Key里的数据特别多的情况。不讨论两张表都是小表的情况。如果两张表里有一张大一张小，可以考虑使用Mapjoin，对小表进行缓存。具体语法和说明可以参考这里。如果是MapReduce作业，可以使用资源表的功能，对小表进行缓存。
但是如果两张表都比较大，就需要先尽量去重。实在不行的话，就需要从业务上考虑，为什么会有这样的两个大数据量的Key要做笛卡尔积，能否从业务上进行优化。
已为社区贡献1条内容
所有评论(0)