neo4j使用文档

概述

1、Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。

2、Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。（摘自百度百科）

3、Neo4j图数据库遵循属性图模型来存储和管理其数据。

属性图模型规则

• 表示节点，关系和属性中的数据
• 节点和关系都包含属性
• 关系连接节点
• 属性是键值对
• 节点用圆圈表示，关系用方向键表示。
• 关系具有方向：单向和双向。
• 每个关系包含“开始节点”或“从节点”和“到节点”或“结束节点”
• 在属性图数据模型中，关系应该是定向的。如果我们尝试创建没有方向的关系，那么它将抛出一个错误消息。

4、在Neo4j中，关系也应该是有方向性的。如果我们尝试创建没有方向的关系，那么Neo4j会抛出一个错误消息，“关系应该是方向性的”。

5、Neo4j图数据库将其所有数据存储在节点和关系中。我们不需要任何额外的RRBMS数据库或无SQL数据库来存储Neo4j数据库数据。它以图形的形式存储其数据的本机格式。

6、图形数据库数据模型的主要构建块是：节点、关系、属性

7、neo4j主要存储节点和关系，其中关系必须为有向关系，描述节点和关系的数据以属性的形式存储，节点和关系上都能放键值对的属性。不同类型的节点和关系通过标签Label来区别，不同标签的节点代表不同类型节点，不同标签关系代表不同类型关系，示例：

创建一个标签为Person的节点，其有属性 name 和age：create (:Person{name:'小红',age:21});

查询一个节点：match (m:Person{name:'小红',age:21}) return n;

删除一个节点：match (m:Person{name:'小红',age:21}) delete n;

创建关系：create (a:Person{name:"a"}),(b:Person{name:"b"}) with a,b create (a)-[r:Friend]->(b);

查询关系：match (a:Person{name:"a"})-[r:Friend]->(b:Person{name:"b"}) return r;

删除关系：match p=(a:Person{name:"a"})-[r:Friend]->(b:Person{name:"b"}) delete p;

其中create还有个近似的操作merge，也可以创建数据，其中merge可以看做match和create的合体。merge会先去原始库match属性或标签，如果不存在会创建，可以结合on create 和on match使用，如：

• 在创建的时候使用on create(在创建时进行一些操作)---如果存在name为Keanu Reeves的Person节点，则新增或修改属性created 属性，否则新增节点

MERGE (keanu:Person { name: 'Keanu Reeves' }) ON CREATE SET keanu.created = timestamp() RETURN keanu.name, keanu.created

• 在创建的时候使用 on match---如果有Person标签的节点，则更新found 属性，否则不做操作

MERGE (person:Person) ON MATCH SET person.found = TRUE RETURN person.name, person.found

• 同时使用on create 和 on match---如果存在name为Keanu Reeves的Person节点，则执行on match操作，否则执行on create操作

MERGE (keanu:Person { name: 'Keanu Reeves' }) ON CREATE SET keanu.created = timestamp() ON MATCH SET keanu.lastSeen = timestamp() RETURN keanu.name, keanu.created, keanu.lastSeen

插入数据

目前主要有以下几种数据插入方式：

• Cypher create 语句，为每一条数据写一个create
• Cypher load csv 语句，将数据转成CSV格式，通过LOAD CSV读取数据。
• 官方提供的neo4j-import工具，未来将被neo4j-admin import代替
• 官方提供的Java API - BatchInserter
• 大牛编写的 batch-import 工具
• neo4j-apoc　　load.csv + apoc.load.relationship

just try	create语句	load csv语句	neo4j-import	BatchInserter	batch-import	apoc
适用场景	1 ~ 1w	0 ~ 1000w	千万以上	千万以上	千万以上	1 ~ 数千万
速度	很慢 1000/s	一般 5000/s	非常快 x w/s	很快 x w/s	很快x w/s	1w /s
实际测试	无	9.5k/s(节点+关系) 用到了merge，数据量越大，速度越慢	12w/s(节点+关系)	1w/s(节点+关系)	1w/s(节点+关系)	4k/s(1亿数据上增量更新) 1w/s(百万数据上更新) 用到了merge，数据量越大，速度越慢
优点	1.使用方便 2.可实时插入	1.官方ETL工具 2.可以加载本地/远程CSV 3.可实时插入	1.官方工具 2.占用资源少	1.官方API	1.可以增量更新 2.基于BatchInserter	1.官方ETL工具 2.可以增量更新 3.支持在线导入 4.支持动态传Label RelationShip
缺点	1.速度慢 2.处理数据，拼CQL复杂，很少使用	1.导入速度较慢 2.只能导入节点 3.不能动态传Label RelationShip	1.需要脱机导入 停止Neo4j数据库 2.只能用于初始化导入	1.只能在JAVA中使用 2.需要脱机导入 停止Neo4j数据库	1.需要脱机导入 停止Neo4j数据库	1.速度一般

比对：

• neo4j-import导入速度快，但是要求是空库，导入时要停止neo4j，也就是脱机导入，而且你要提前处理好数据，数据最好不要有重复，如果有重复，可以导入时跳过，然后根据bad.log来查看或者修正这部分数据
• batch-import可以增量导入，但是要求导入时停止neo4j数据库(脱机导入)，而且增量更新的数据不会和库里存在的数据对比，所以要求数据全是新的，否则会出现重复数据
• load csv比较通用，而且可以在neo4j数据库运行时导入，但是导入速度相对较慢，要提前整理好数据，而且不能动态创建 Label RelationShip
• apoc挺好用的，可以动态创建RelationShip，但是不能动态创建Label (动态创建Label只能在程序里通过拼接字符串的方法实现)

实际情况中，处理数据比导入数据更花费时间

（这里介绍我使用过的create、neo4j-import、load csv方法）

1、neo4j-import批量导入，如上所述，导入很快，需要停止neo4j服务才能进行导入，否则会导入失败（适合用于初始化，否则会影响正在使用的服务）；需要导入的库不存在，如果存在需要删除对应的.db文件再执行，否则导入会失败；需要事先把要导入的数据按特定格式整理好放入csv中（这里可以参照ba-es项目的service.KnCallsBulkPut类），这里以导入通话记录关系为例

节点csv（person.csv）格式：（其中节点标签为Person，属性有personId、name，且personId的值为节点ID）

personId:ID(Person),name

13661909859,郑敏

angeloo68@163.com,李晓芊

15107253239,胡强

关系csv（rels.csv）格式：（其中:START_ID为关系起始点的id，对应上面节点的ID，:END_ID为关系结束点的id，对应上面节点的ID，in，out分别别关系的属性）

:START_ID(Person),in,out,:END_ID(Person)

13545342144,0,300,15207123026

18016315333,0,50000,1529703684@qq.com

13661909859,0,2000.0,855-0979212256

13661909859,0,22210.0,15880082973

执行初始化批量录入命令：

.../neo4j-community-3.3.5/bin/neo4j-import —multiline-fields=true —bad-tolerance=0 —into .../neo4j-community-3.3.5/data/databases/caifen.db —nodes:Pesron .../person.csv —relationships:CALLWITH .../rels.csv (其中bad-tolerance指定你能容忍的错误数据量，如果对数据精度要求不高可以放大，这样在导入过程中，即使有小于设置值数量的数据错误，导入不报错，正确的数据能导入成功。.../neo4j-community-3.3.5/data/databases目录下如果已经有caifen.db，执行命令会报错，需要手动删除。--nodes:、--relationships：可以拼接多个，后面跟的分别是节点标签和关系标签，再后面跟着的是对应生成对应节点和关系的csv文件）

2、load csv使用（当前公司用于导入虫洞数据更新到已有库里）

使用方式：

neo4j自带客户端浏览器访问：http://ip:7474，如 http://192.168.0.246:7474

进到neo4j的安装目录的bin目录下（需要先进到neo4j-community-3.3.5/conf/neo4j.conf放开dbms.shell.port的注释，再重启），执行neo4j-shell

把整理好的文档放入对应目录，然后通过上面两种方式进入命令行执行：

[USING PERIODIC COMMIT 500] LOAD CSV [ WITH HEADERS] FROM “file:///rels20190717.csv”[W] AS line with line merge (n:Suspect{personId:line[0]}) on match set n.name=case when line[1] <> line[0] then line[1] else n.name end on create set n.personId=line[0],n.name=line[1] with line,n merge(m:Suspect{personId:line[2]}) on match set m.name=case when line[2] <> line[3] then line[3] else m.name end on create set m.personId=line[2],m.name=line[3] with n,m,line merge (n)-[r:CAPITALFLOWING]->(m)

说明：上面命令中[]里的命令为可选，[USING PERIODIC COMMIT 500] 表示 每500 行进行一次事务提交， [ WITH HEADERS] 导入时是否带csv中的表头，其中带表头用的是 line.name ，反之用的是 line[0]。导入命令中还可以用 toInt(‘1’) toFloat(‘1.0’)toInteger(), toFloat(), split()对数据进行处理；其中fill:后面跟的是文档路径，可以使绝对路径也可以是相对路径，neo4j默认是从neo4j-community-3.3.5/import中读取文件的，上面示例的写法就是将csv放在import文件夹下的写法；windows下相对路径方式如：file:/Test.csv，windows下绝对路径方式如：file:///C:/User/wdb/2017-04-06_test.csv，linux下相对路径格式：file:/2017-04-06_test.csv，linux下绝对路径格式：file:/home/wkq/databases/data/2017-04-06_test.csv；

3、插入一条数据，前面已经介绍过了，上面两种方式进入到命令行，执行create或merge进行数据插入，这里介绍unwind list+create（一条一条数据录入）在java API中的使用（扫黑数据的录入程序中）

if (phSet.size() > 0) {
								for (String eachph : phSet) {
									if (!MiscUtils.isNullOrEmpty(sfz)) {
										String temp = "{sfz:"" + sfz + "",name:"" + name + "",sex:"" + sex
												+ "",ph:"" + eachph + "",rksj:"" + rksj + ""}";
										sfzPhoneSet.add(temp);
									}
								}
							}

...

		StringBuilder sb = new StringBuilder();
				// 存在拥有手机关系
				if (sfzPhoneSet.size() > 0) {
					sb.append("UNWIND " + sfzPhoneSet + " as row with row ");
					sb.append(
							" merge (n1:Mobile{phone:row.ph})  on create set n1.phone=row.ph,n1.iskey=toString(0),n1.personId=row.ph,n1.rksj=row.rksj with n1,row ");
					sb.append(
							" merge (n2:Person{sfz:row.sfz}) on match  set n2.name=case when row.name<> '' then row.name else n2.name end,n2.sex=case when row.sex<> '' then row.sex else n2.sex end,n2.rksj=case when row.rksj<> '' then row.rksj else n2.rksj end  ");
					sb.append(" on create set n2.sfz=row.sfz,n2.name=row.name,n2.sex=row.sex,n2.rksj=row.rksj ");
					sb.append(" with n1,n2,row merge (n2)-[r:OWNPHONE]->(n1) ");
					neo4jJDBCHelper.executeQuery(sb.toString().replace("\\'", "\'"), new QueryCallBack() {

						@Override
						public void process(ResultSet rs) throws Exception {

						}

					});
					sb = null;
				}