Skip to content

Commit

Permalink
adjust md files
Browse files Browse the repository at this point in the history
  • Loading branch information
fanzhidongyzby committed Aug 29, 2024
1 parent 8804c87 commit ed6ae26
Show file tree
Hide file tree
Showing 2 changed files with 78 additions and 33 deletions.
53 changes: 49 additions & 4 deletions examples/test_files/osgraph.md
Original file line number Diff line number Diff line change
@@ -1,4 +1,8 @@
## db-gpt“项目生态”图谱
# OSGraph开源图谱数据

## 1. DB-GPT开源图谱

### 1.1 DB-GPT项目生态图谱
Entities:
(eosphoros-ai/DB-GPT#github_repo)
(chatchat-space/Langchain-Chatchat#github_repo)
Expand Down Expand Up @@ -42,7 +46,8 @@ Relationships:
(chatchat-space/Langchain-Chatchat#belong_to#chatchat-space#belong_to count undefined)
(langchain-ai/langchain#belong_to#langchain-ai#belong_to count undefined)
(langgenius/dify#belong_to#langgenius#belong_to count undefined)
## db-gpt“项目社区”图谱

### 1.2 DB-GPT项目社区图谱
Entities:
(Student#company)
(eosphoros-ai/DB-GPT#github_repo)
Expand Down Expand Up @@ -91,7 +96,9 @@ Relationships:
(krzysztof-magosa#belong_to#@performgroup#belong_to count undefined)
(xudafeng#belong_to#@macacajs @alibaba @nodejs#belong_to count undefined)
(wangzaistone#belong_to#Student#belong_to count undefined)
## db-gpt“项目贡献”图谱

### 1.3 DB-GPT项目贡献图谱

Entities:
(Aries-ckt#github_user)
(eosphoros-ai/DB-GPT#github_repo)
Expand Down Expand Up @@ -171,6 +178,43 @@ Relationships:
(vahede#comment_issue#eosphoros-ai/DB-GPT#comment_issue count 1)
(aaadrain#comment_issue#eosphoros-ai/DB-GPT#comment_issue count 1)
(eigen2017#comment_issue#eosphoros-ai/DB-GPT#comment_issue count 1)

## 2. TuGraph DB开源图谱
### 2.1 TuGraph DB项目生态图谱
### 2.2 TuGraph DB项目社区图谱
### 2.3 TuGraph DB项目贡献图谱

## 3. TuGraph Analytics开源图谱
### 3.1 TuGraph Analytics项目生态图谱
### 3.2 TuGraph Analytics项目社区图谱
### 3.3 TuGraph Analytics项目贡献图谱

## 4. RocksDB开源图谱
### 4.1 RocksDB项目生态图谱
### 4.2 RocksDB项目社区图谱
### 4.3 RocksDB项目贡献图谱


## 5. Flink开源图谱
### 5.1 Flink项目生态图谱
### 5.2 Flink项目社区图谱
### 5.3 Flink项目贡献图谱

## 6. Spark开源图谱
### 6.1 Spark项目生态图谱
### 6.2 Spark项目社区图谱
### 6.3 Spark项目贡献图谱

## 7. 个人开源图谱
### 6.1 开发活动图谱
### 6.2 开源伙伴图谱
### 6.3 开源兴趣图谱


## 8. 图计算论文图谱



## rocksdb“项目社区”图谱
Entities:
(@alibaba#company)
Expand Down Expand Up @@ -244,6 +288,7 @@ Relationships:
(wuchong#belong_to#@alibaba#belong_to count undefined)
(zjuwangg#belong_to#alibaba#belong_to count undefined)
(hequn8128#belong_to#Alibaba#belong_to count undefined)

## flink“项目贡献”图谱
Entities:
(XComp#github_user)
Expand Down Expand Up @@ -964,7 +1009,7 @@ Relationships:
(apache/orc#belong_to#apache#belong_to count undefined)
(apache/orc#belong_to#big-data#belong_to count undefined)
(apache/spark-kubernetes-operator#belong_to#java#belong_to count undefined)
## 论文图谱数据
## 图计算论文图谱
Entities:
(A1#A Distributed In-Memory Graph Database)
(ASPIRE#Exploiting Asynchronous Parallelism in Iterative Algorithms using a Relaxed Consistency based DSM)
Expand Down
58 changes: 29 additions & 29 deletions examples/test_files/tugraph.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,12 +6,12 @@ TuGraph企业级图数据管理平台提供对关联数据的复杂、深度分
TuGraph在金融风控方面的应用实践主要包括个人信贷业务、反欺诈、洗钱路径追踪等问题。利用多维交叉关联信息深度刻画申请和交易行为,识别多种复杂、规模化、隐蔽性的欺诈网络和洗钱网络;结合聚类分析、风险传播等算法,实时计算用户的风险评分,在风险行为发生前预先识别,帮助金融机构提升效率、降低风险。基于TuGraph企业级图数据管理平台,蚂蚁集团增加反欺诈稽核金额6%,反洗钱风险审理分析效率提升90%。每天计算近10亿用户大约200亿左右边关系,对疑似团伙类犯罪风险识别能力提高近10倍。此外,为某银行提供的信贷图平台提升了13%的风控模型区分度;为某银行完成的信用卡申请团伙欺诈分析方案,运算时间缩短至原有的1/60;为某银行搭建的企业风险图平台,在对小微企业评级放贷问题中,担保圈识别准确率达到90%以上。


# TuGraph DB
## 1. TuGraph DB

## 1. 简介
### 1.1 简介
TuGraph DB 是支持大数据容量、低延迟查找和快速图分析功能的高效图数据库。TuGraph社区版于2022年9月开源,提供了完整的图数据库基础功能和成熟的产品设计(如ACID兼容的事务、编程API和配套工具等),适用于单实例部署。社区版支持TB级别的数据规模,为用户管理和分析复杂关联数据提供了高效、易用、可靠的平台,是学习TuGraph和实现小型项目的理想选择。

3. TuGraph特性
### 1.2 TuGraph特性
TuGraph是支持大数据量、低延迟查找和快速图分析功能的高效图数据库。TuGraph也是基于磁盘的数据库,支持存储多达数十TB的数据。TuGraph提供多种API,使用户能够轻松构建应用程序,并使其易于扩展和优化。

它具有如下功能特征:
Expand Down Expand Up @@ -53,14 +53,14 @@ TuGraph是支持大数据量、低延迟查找和快速图分析功能的高效

TuGraph DB的文档在[链接](https://tugraph-db.readthedocs.io/zh_CN/latest),欢迎访问我们的[官网](https://www.tugraph.org)

## 2. 快速上手
### 1.3 快速上手

一个简单的方法是使用docker进行设置,可以在[DockerHub](https://hub.docker.com/u/tugraph)中找到, 名称为`tugraph/tugraph-runtime-[os]:[tugraph version]`,
例如, `tugraph/tugraph-runtime-centos7:3.3.0`

更多详情请参考 [快速上手文档](./docs/zh-CN/source/3.quick-start/1.preparation.md)[业务开发指南](./docs/zh-CN/source/development_guide.md).

## 3. 从源代码编译
### 1.4 从源代码编译

建议在Linux系统中构建TuGraph DB,Docker环境是个不错的选择。如果您想设置一个新的环境,请参考[Dockerfile](ci/images).

Expand All @@ -83,20 +83,20 @@ $ make
$ make package
```

## 4. 开发
### 1.5 开发

我们已为在DockerHub中编译准备了环境docker镜像,可以帮助开发人员轻松入门,名称为 `tugraph/tugraph-compile-[os]:[compile version]`, 例如, `tugraph/tugraph-compile-centos7:1.1.0`

# TuGraph Analytics
## 2. TuGraph Analytics

## 介绍
### 2.1 介绍
**TuGraph Analytics** (别名:GeaFlow) 是蚂蚁集团开源的[**性能世界一流**](https://ldbcouncil.org/benchmarks/snb-bi/)的OLAP图数据库,支持万亿级图存储、图表混合处理、实时图计算、交互式图分析等核心能力,目前广泛应用于数仓加速、金融风控、知识图谱以及社交网络等场景。

关于GeaFlow更多介绍请参考:[GeaFlow介绍文档](docs/docs-cn/introduction.md)

GeaFlow设计论文参考:[GeaFlow: A Graph Extended and Accelerated Dataflow System](https://dl.acm.org/doi/abs/10.1145/3589771)

## 起源
### 2.2 起源

早期的大数据分析主要以离线处理为主,以Hadoop为代表的技术栈很好的解决了大规模数据的分析问题。然而数据处理的时效性不足,
很难满足高实时需求的场景。以Storm为代表的流式计算引擎的出现则很好的解决了数据实时处理的问题,提高了数据处理的时效性。
Expand All @@ -114,7 +114,7 @@ GeaFlow设计论文参考:[GeaFlow: A Graph Extended and Accelerated Dataflow
边代表关系,数据存储层面点边存放在一起。因此,图模型天然定义了数据的关系同时存储层面物化了点边关系。基于图模型,我们实现了新一代实时计算
引擎GeaFlow,很好的解决了复杂关系运算实时化的问题。目前GeaFlow已广泛应用于数仓加速、金融风控、知识图谱以及社交网络等场景。

## 特性
### 2.3 特性

* 分布式实时图计算
* 图表混合处理(SQL+GQL语言)
Expand All @@ -127,7 +127,7 @@ GeaFlow设计论文参考:[GeaFlow: A Graph Extended and Accelerated Dataflow
* 一站式图研发平台
* 云原生部署

## 快速上手
### 2.4 快速上手

1. 准备Git、JDK8、Maven、Docker环境。
2. 下载源码:`git clone https://github.com/TuGraph-family/tugraph-analytics`
Expand All @@ -138,14 +138,14 @@ GeaFlow设计论文参考:[GeaFlow: A Graph Extended and Accelerated Dataflow

更多详细内容请参考:[快速上手文档](docs/docs-cn/quick_start.md)

## 开发手册
### 2.5 开发手册

GeaFlow支持DSL和API两套编程接口,您既可以通过GeaFlow提供的类SQL扩展语言SQL+ISO/GQL进行流图计算作业的开发,也可以通过GeaFlow的高阶API编程接口通过Java语言进行应用开发。
* DSL应用开发:[DSL开发文档](docs/docs-cn/application-development/dsl/overview.md)
* API应用开发:[API开发文档](docs/docs-cn/application-development/api/guid.md)


## 技术架构
### 2.6 技术架构

GeaFlow整体架构如下所示:

Expand All @@ -157,46 +157,46 @@ GeaFlow整体架构如下所示:
* [Console平台](./principle/console_principle.md):GeaFlow提供了一站式图研发平台,实现了图数据的建模、加工、分析能力,并提供了图作业的运维管控支持。
* **执行环境**:GeaFlow可以运行在多种异构执行环境,如K8S、Ray以及本地模式。

## 应用场景
### 2.7 应用场景

### 实时数仓加速
#### 2.7.1 实时数仓加速
数仓场景存在大量Join运算,在DWD层往往需要将多张表展开成一张大宽表,以加速后续查询。当Join的表数量变多时,传统的实时计算引擎很难
保证Join的时效性和性能,这也成为目前实时数仓领域一个棘手的问题。基于GeaFlow的实时图计算引擎,可以很好的解决这方面的问题。
GeaFlow以图作为数据模型,替代DWD层的宽表,可以实现数据实时构图,同时在查询阶段利用图的点边物化特性,可以极大加速关系运算的查询。

### 实时归因分析
#### 2.7.2 实时归因分析
在信息化的大背景下,对用户行为进行渠道归因和路径分析是流量分析领域中的核心所在。通过实时计算用户的有效行为路径,构建出完整的转化路径,能够快速帮助业务看清楚产品的价值,帮助运营及时调整运营思路。实时归因分析的核心要点是准确性和实效性。准确性要求在成本可控下保证用户行为路径分析的准确性;实效性则要求计算的实时性足够高,才能快速帮助业务决策。
基于GeaFlow流图计算引擎的能力可以很好的满足归因分析的准确性和时效性要求。如下图所示:
![归因分析](../static/img/guiyin_analysis.png)
GeaFlow首先通过实时构图将用户行为日志转换成用户行为拓扑图,以用户作为图中的点,与其相关的每个行为构建成从该用户指向埋点页面的一条边.然后利用流图计算能力分析提前用户行为子图,在子图上基于归因路径匹配的规则进行匹配计算得出该成交行为相应用户的归因路径,并输出到下游系统。

### 实时反套现
#### 2.7.3 实时反套现
在信贷风控的场景下,如何进行信用卡反套现是一个典型的风控诉求。基于现有的套现模式分析,可以看到套现是一个环路子图,如何快速,高效在大图中快速判定套现,将极大的增加风险的识别效率。以下图为例,通过将实时交易流、转账流等输入数据源转换成实时交易图,然后根据风控策略对用户交易行为做图特征分析,比如环路检查等特征计算,实时提供给决策和监控平台进行反套现行为判定。通过GeaFlow实时构图和实时图计算能力,可以快速发现套现等异常交易行为,极大降低平台风险。
![实时反套现](../static/img/fantaoxian.png)



# OSGraph
## 3. OSGraph

**OSGraph (Open Source Graph)** 是一个开源图谱关系洞察工具,基于GitHub开源数据全域图谱,实现开发者行为、项目社区生态的分析洞察。可以为开发者、项目Owner、开源布道师、社区运营等提供简洁直观的开源数据视图,帮助你和你的项目制作专属的开源名片、寻求契合的开发伙伴、挖掘深度的社区价值。


## 产品地址
### 3.1 产品地址

**[https://osgraph.com](https://osgraph.com)**


## 快速开始
### 3.2 快速开始

本地启动测试请参考:[OSGraph部署文档](docs/zh-CN/DeveloperManual.md)


## 功能介绍
### 3.3 功能介绍

当前产品默认提供了6张开源数据图谱供大家体验,包含项目类图谱3个(贡献、生态、社区)、开发类3个(活动、伙伴、兴趣)。


### 项目贡献图谱
#### 3.3.1 项目贡献图谱

**发现项目核心贡献**:根据项目开发者研发活动信息(Issue、PR、Commit、CR等),找到项目核心贡献者。

Expand All @@ -207,7 +207,7 @@ GeaFlow首先通过实时构图将用户行为日志转换成用户行为拓扑
![](docs/img/spark-contrib.png)


### 项目生态图谱
#### 3.3.2 项目生态图谱

**洞察项目生态伙伴**:提取项目间的开发活动、组织等关联信息,构建项目核心生态关系。

Expand All @@ -219,7 +219,7 @@ GeaFlow首先通过实时构图将用户行为日志转换成用户行为拓扑



### 项目社区图谱
#### 3.3.3 项目社区图谱

**分析项目社区分布**:根据项目的开发活动、开发者组织等信息,提取项目核心开发者社区分布。

Expand All @@ -231,7 +231,7 @@ GeaFlow首先通过实时构图将用户行为日志转换成用户行为拓扑



### 开发活动图谱
#### 3.3.4 开发活动图谱

**展示个人开源贡献**:根据开发者研发活动信息(Issue、PR、Commit、CR等),找到参与的核心项目。

Expand All @@ -243,7 +243,7 @@ GeaFlow首先通过实时构图将用户行为日志转换成用户行为拓扑



### 开源伙伴图谱
#### 3.3.5 开源伙伴图谱

**寻找个人开源伙伴**:找到开发者在开源社区中,与之协作紧密的其他开发者。

Expand All @@ -255,7 +255,7 @@ GeaFlow首先通过实时构图将用户行为日志转换成用户行为拓扑



### 开源兴趣图谱
#### 3.3.6 开源兴趣图谱

**挖掘个人开源兴趣**:根据参与的项目主题、标签等信息,分析开发者技术领域与兴趣。

Expand All @@ -266,7 +266,7 @@ GeaFlow首先通过实时构图将用户行为日志转换成用户行为拓扑
![](docs/img/sindresorhus-intr.png)


## 未来规划
### 3.4 未来规划

未来将会有更多有趣的图谱和功能加入到OSGraph:

Expand All @@ -280,7 +280,7 @@ GeaFlow首先通过实时构图将用户行为日志转换成用户行为拓扑



# ChatTuGraph
## 4. ChatTuGraph

ChatTuGraph通过AI技术为TuGraph赋能,可以为图业务研发效能、图产品解决方案、图数据智能分析、图任务自动管控等领域带来更丰富的应用场景。
目前ChatTuGraph通过图语言语料生成,借助大模型微调技术实现了自然语言的图数据分析,构建Graph RAG基于知识图谱实现检索增强生成,以降低大模型的推理幻觉,以及通过多智能体技术(Multiple Agents System)实现图数据上的AIGC、智能化等能力。

0 comments on commit ed6ae26

Please sign in to comment.