您当前的位置:首页 > 计算机 > 编程开发 > Python

Python利用Spark并行处理框架批量判断素数

时间:09-09来源:作者:点击数:

方法一:

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

def isPrime(n):

    if n<2:

        return False

    if n==2:

        return True

    if not n&1:

        return False

    for i in range(3, int(n**0.5)+2, 2):

        if n%i == 0:

            return False

    return True

#创建RDD

rdd = sc.parallelize(range(1000))

#过滤

result = rdd.filter(isPrime).collect()

print('='*30)

print(result)

方法二,空间占用大,不推荐:

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

n = 1000

m = int(n**0.5) + 1

rdd = sc.parallelize(range(2, n))

result = set()

while True:

    #获取第一个元素

    t = rdd.first()

    if t > m:

        break

    result.add(t)

    #对RDD上的所有元素进行过滤、筛选,能被整除的全部过滤掉

    rdd = sc.parallelize(rdd.filter(lambda x: x%t != 0).collect())

print(list(result)+rdd.collect())

方便获取更多学习、工作、生活信息请关注本站微信公众号城东书院 微信服务号城东书院 微信订阅号
推荐内容
相关内容
栏目更新
栏目热门