利用std::transform进行大数据计算
在日常编程中,可能会遇到,简单的计算,但是却要进行上亿次,循环累加耗时特别长std::transform就可以很好的解决问题。使用std::transform在提升速度的同时,CPU和内存回蹭蹭上涨,内部是多线程,自动分配工作。1.std::transform(input1.begin(), input1.end(), input2.begin(), outc.begin(), Calculate
在日常编程中,可能会遇到,简单的计算,但是却要进行上亿次,循环累加耗时特别长std::transform就可以很好的解决问题。
使用std::transform在提升速度的同时,CPU和内存回蹭蹭上涨,内部是多线程,自动分配工作。
1.std::transform(input1.begin(), input1.end(), input2.begin(), outc.begin(), CalculatePoor);
2.std::transform(std::execution::par_unseq, input1.begin(), input1.end(), input2.begin(), outc.begin(), CalculatePoor);
这两种方式都能很大程度提升CalculatePoor这里我们想做的事的速度,CalculatePoor也可以换成匿名函数
注意事项:
一.使用std::execution::par_unseq,即允许的并行性类型,会在多线程基础上进一步提升速度,同时CPU也会涨很多(在数据量大的时候特别明显)
二.input1和input2类型没有明确限制,但是input1和input2的大小要完全相同,如果input1的size是1000,而input2的size是2000,这样可以正常执行,如果input2的size是500,就会崩溃,内部input1[i]和input2[i]是一对一执行CalculatePoor这个操作,
会崩溃的原因就在下图
如果想{1, 2, 3, 4}和{5, 6, 7}相互减,进行12次减法,就要分三次传进去,分别为“
{1, 2, 3, 4}和{5,5,5, 5}
{1, 2, 3, 4}和{6, 6, 6,6}
{1, 2, 3, 4}和{7, 7, 7,7}
这样才是正确的12次运算
三.那么在算法中就会存在一个问题,创造第二输入数组,
例如vector有常见的三种办法:
1.vector<long long> vStop(10000);
std::fill(vStop.begin(), vStop.end(), 5);
2.vector<long long> vStop(10000);
stop.assign(vStop.begin(), vStop.end(), 5))
3.vector<long long> vStop(10000, 5);
第一种和第二种速度差不多,第三种要慢很多,
四.在CalculatePoor里面做什么事不需要加锁,例如我的CalculatePoor
QMap<int, long long> g_mStatisTau;
int CalculatePoor(long long i, long long j)
{
long long iValue = j - i;
if(std::abs(iValue) <= g_iMaxDiff) { //合格
g_mStatisTau[iValue] += 1;
}
return iValue;
}
g_mStatisTau这个用锁保护和不用锁基本没什么区别
然后就是CalculatePoor里面不要做什么耗时的事情。有什么注意的碰到再加
更多推荐
所有评论(0)