spark mongo 性能优化

性能优化事项

http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf

MongoDB + Spark: 完整的大数据解决方案 | MongoDB中文社区 http://www.mongoing.com/tj/mongodb_shanghai_spark

性能优化事项

• 使用合适的chunksize (MB)
  Total data size / chunksize = chunks = RDD partitions = spark tasks
• 不要将所有CPU核分配给Spark
  预留1-2个core给操作系统及其他管理进程
• 同机部署
  适当情况可以同机部署Spark+MongoDB，利用本地IO提高性能