之前我还在想了解下datax,是否有可能替换sqoop,但了解后发现,datax和sqoop的业务场景是不同的。前者适合异构数据库的同步,后者适合hdfs与rdbms互相之间的同步。
针对sqoop的应用场景使用datax那么速度会有加倍的差距。主要原因在于datax是一个节点写数据,而sqoop会将任务拆成标准的mr,每个节点都会起数据库连接写数据的。
针对sqoop的应用场景使用datax那么速度会有加倍的差距。主要原因在于datax是一个节点写数据,而sqoop会将任务拆成标准的mr,每个节点都会起数据库连接写数据的。
另外。在我了解datax时,如果是to oracle的任务,可以使用OraOop插件提高sqoop的速度。是可提升一倍