How We Export Billion-Scale Graphs on Transactional Graph Databases

How We Export Billion-Scale Graphs on Transactional Graph Databases

摘要

本文介绍了在eBay的NuGraph分析插件中，作者使用JanusGraph和Spark进行图导出，并通过优化Tinkerpop的SparkGraphComputer和CloneVertexProgram解决了性能问题。作者还介绍了基于导出图的图结构分析方法，并提到了实现顶点度分布的幂律分布模型。作者还提到了解决处理数十亿顶点和边时出现的JVM内存管理问题的技术和改进。此外，文章提供了一些相关工具和资源的链接，包括FoundationDB、Supernode问题的解决方案、Gremlin查询语言、Nebula Algorithm、Async-profiler和Memory Analyzer。