Spark整合Mongodb的方法
Spark介绍
按照官方的定义，Spark是一个通用，快速，适用于大规模数据的处理引擎。
通用性：我们可以使用SparkSQL来执行常规分析，SparkStreaming来流数据处理，以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。
快速：这个可能是Spark成功的最初原因之一，主要归功于其基于内存的运算方式。当需要处理的数据需要反复迭代时，Spark可以直接在内存中暂存数据，而无需像MapReduce一样需要把数据写回磁盘。官方的数据表明：它可以比传统的MapReduce快上100倍。
大规模：原生支持HDFS，并且其计算节点支持弹性扩展，利用大量廉价计算资源并发的特点来支持大规模数据处理。
环境准备
mongodb下载
解压安装
启动mongodb服务
$MONGODB_HOME/bin/mongod--fork--dbpath=/root/data/mongodb/--logpath=/root/data/log/mongodb/mongodb.log
pom依赖
org.mongodb.spark mongo-spark-connector_2.11 ${spark.version}
实例代码
objectConnAppTest{
defmain(args:Array[String]):Unit={
valspark=SparkSession.builder()
.master("local[2]")
.appName("ConnAppTest")
.config("spark.mongodb.input.uri","mongodb://192.168.31.136/testDB.testCollection")//指定mongodb输入
.config("spark.mongodb.output.uri","mongodb://192.168.31.136/testDB.testCollection")//指定mongodb输出
.getOrCreate()
//生成测试数据
valdocuments=spark.sparkContext.parallelize((1to10).map(i=>Document.parse(s"{test:$i}")))
//存储数据到mongodb
MongoSpark.save(documents)
//加载数据
valrdd=MongoSpark.load(spark)
//打印输出
rdd.show
}
}
总结
以上所述是小编给大家介绍的Spark整合Mongodb的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持！