Neo4j数据库版本:5.20.0 Enterprise,企业版个人可以免费使用
原始数据来源:http://data.openkg.cn/dataset/douban-movie-kg原始数据大家可以访问上面的链接,或者到Github仓库中,获取加工好的可以直接导入Neo4j的数据
原始数据每条记录只有一个电影记录,并没有抽象出节点和关系,通过数据预处理,对节点和关系进行抽象和重组,消除数据冗余,便于后续分析。具体而言,有以下节点类型:
电影——Movie
人——Person
语言——Language
发行地区——District
电影类型——Category
有以下关系类型:
参演——ACTED_IN
导演——DIRECTED_IN
编剧——COMPOSED
拥有类型——CATEGORIZED_TO
拥有主要语言——HAS_MAIN_LANGUAGE
发行于——RELEASED_IN
schema或者所谓的本体如下:
os.makedirs(, exist_ok=)
data = json.load(())
persons = []
categories = []
languages = []
movies = []
districts = []
acted_in = []
categorized_to = []
directed = []
composed = []
released_in = []
has_main_language = []
item data:
key (, , , , ):
item[key] :
item[key] = []
persons.extend(item[])
persons.extend(item[])
persons.extend(item[])
languages.extend(item[])
districts.extend(item[])
categories.extend(item[])
movies.append({
: item[],
: item[],
: item[],
: item[],
: item[],
: (item[]) item[] ,
: (item[]) item[] ,
: item[]
})
director item[]:
directed.append({
: item[],
: director
})
composer item[]:
composed.append({
: item[],
: composer
})
actor item[]:
acted_in.append({
: item[],
: actor
})
category item[]:
categorized_to.append({
: item[],
: category
})
region item[]:
released_in.append({
: item[],
: region
})
language item[]:
has_main_language.append({
: item[],
: language
})
item [
(, persons),
(, categories),
(, languages),
(, movies),
(, districts)
]:
item[] == :
pd.DataFrame(item[]).to_csv(os.path.join(, item[] + ), index=)
:
pd.DataFrame((item[]), columns=[]).to_csv(os.path.join(, item[] + ), index=)
rel [
(, acted_in),
(, categorized_to),
(, directed),
(, composed),
(, released_in),
(, has_main_language),
]:
pd.DataFrame(rel[]).to_csv(os.path.join(, rel[].upper() + ), index=)4.1 准备工作
4.1.1 修改配置
准备工作,首先要修改配置,在下图Settings...中,
注释掉如下的语句,这样可以允许导入数据时,从任意路径导入:
server.directories.import=import
4.1.2 安装插件
另外,需要安装APOC插件
4.1.3 创建数据库
这一步可选,在Neo4j界面上创建即可
4.2 开始导入
后续所有导入操作,在Neo4j Browser中进行
4.2.1 导入节点信息
4.2.1.1 导入Movie
旧版的Cypher语句
:auto
(:Movie{
id:line[id],
title:line[title],
cover:line[cover],
length:toInteger(line[length]),
rate:toFloat(line[rate]),
showtime:toInteger(line[showtime]),
url:line[url],
othername:line[othername]
})Neo4j 4.0及以上版本不再支持 USING PERIODIC COMMIT,需要使用 CALL { ... } IN TRANSACTIONS 进行替换。上面只是旧版本的示例,后续不再包含旧版本Cypher语句。
注意:路径中不要包含中文,否则会报Bad escape (Transactions committed: 0)
{
line
(:Movie{
id:line[id],
title:line[title],
cover:line[cover],
length:toInteger(line[length]),
rate:toFloat(line[rate]),
showtime:toInteger(line[showtime]),
url:line[url],
othername:line[othername]
})
}TRANSACTIONS4.2.1.2 导入Person
{
line
(:Person{
name:line[name]
})
}TRANSACTIONS4.2.1.3 导入District
{
line
(:District{
name:line[name]
})
}TRANSACTIONS4.2.1.4 导入Language
{
line
(:Language{
name:line[name]
})
}TRANSACTIONS4.2.1.5 导入Cateogory
:auto LOAD CSV WITH HEADERS FROM AS line
CALL {
WITH line
CREATE (:Category {
name:line[]
})
} IN TRANSACTIONS4.2.2 建立索引
4.2.2.1 对节点建立索引
这个地方Cypher语句也跟Neo4j版本有关,旧版本:
indexon:Movie(title);
新版本:
INDEXmovie_title_indexFOR(m:Movie)ON(m.title); INDEXperson_name_indexFOR(p:Person)ON(p.name); INDEXcategory_name_indexFOR(c:Category)ON(c.name); INDEXlanguage_name_indexFOR(l:Language)ON(l.name); INDEXdistrict_name_indexFOR(d:District)ON(d.name);
4.2.2.2 查看索引状态
:schema
4.2.3 导入关系
4.2.3.1 导入ACTED_IN关系
{
line
(s:Person{name:line[actor]}),(e:Movie{id:line[movie_id]})
(s)-[:ACTED_IN]->(e)
}TRANSACTIONS4.2.3.2 导入CATEGORIZED_TO关系
{
line
(s:Movie{id:line[movie_id]}),(e:Category{name:line[category]})
(s)-[:CATEGORIZED_TO]->(e)
}TRANSACTIONS4.2.3.3 导入DIRECTED关系
{
line
(s:Person{name:line[director]}),(e:Movie{id:line[movie_id]})
(s)-[:DIRECTED]->(e)
}TRANSACTIONS4.2.3.4 导入COMPOSED关系
{
line
(s:Person{name:line[composer]}),(e:Movie{id:line[movie_id]})
(s)-[:COMPOSED]->(e)
}TRANSACTIONS4.2.3.5 导入RELEASED_IN关系
{
line
(s:Movie{id:line[movie_id]}),(e:District{name:line[region]})
(s)-[:RELEASED_IN]->(e)
}TRANSACTIONS4.2.3.6 导入HAS_MAIN_LANGUAGE关系
{
line
(s:Movie{id:line[movie_id]}),(e:Language{name:line[language]})
(s)-[:HAS_MAIN_LANGUAGE]->(e)
}TRANSACTIONS4.2.4 查看schema
db.schema.visualization
或者
CALL apoc.meta.graph
4.3 分析
4.3.1 演员数量最多的10部电影
p=(:Person)-[r:ACTED_IN]->(m:Movie) m,count(p)cnt m.title,cntcnt
4.3.2 参演电影最多的10个演员
path=(p:Person)-[:ACTED_IN]-() p,count(path)cnt p.name,cntcnt
4.3.3 参演电影超过10部的演员,获取演员、电影
(p:Person)-[:ACTED_IN]->(m:Movie) p,count(m)rels,collect(m)movies rels> p,movies,rels rels
4.3.4 导演电影最多的导演
path=(p:Person)-[:DIRECTED]-() p,count(path)cnt p.name,cntcnt
4.3.5 “莱昂纳多·迪卡普里奥”和“黄渤”的最短路径,限定只能是ACTED_IN关系,同时限定必须是1至8度关系
p=shortestPath((:Person{name:})-[:ACTED_IN*..]-(:Person{name:}))
p4.3.6 “莱昂纳多·迪卡普里奥”和“黄渤”的最短路径,限定只能是ACTED_IN或DIRECTED关系,同时限定必须是1至8度关系,获取他们的最短距离长度
p=shortestPath((:Person{name:})-[r:ACTED_IN|DIRECTED*..]-(:Person{name:}))
size(r)