#Spark GraphX Study Sample
Spark GraphX の学習&研究用のコードです
Hadoop上でなくスタンドアローンで動作するように書かれています。
## 必要なもの
JDK7以上とsbtをダウンロードしてください。
## 動作環境
Javaが動作するPCのOS全て
## 起動
``sbt``
でSBTコンソールに入り
``run``
でプログラムを選択する。プログラムに引数を渡す場合は
``run ARGV1 ARGV2``
とプログラムを選択する前に引数を渡しておく。
### プログラムリスト
### Sample1
エッジリストを読みこんでコンソールに表示するサンプル
### Sample2
マスタデータとコネクションデータからグラフ⽣生成
### Sample3
ある頂点を中心としたグループを表示
### TwitterFollowerScoreRanking
GraphXのページランクアルゴリズムを利用したフォロー・フォロワーの関係のスコアランキング
#### マスターデータ
```
1,大宮 忍
2,アリス・カータレット
3,九条 カレン
4,猪熊 陽子
5,小路 綾
6,松原 穂乃花
```
#### コネクションデータ
```
1 2
1 3
2 1
2 3
3 1
3 2
3 4
3 5
4 1
4 5
5 4
```
#### 結果
```
(猪熊 陽子,1.068837256442871)
(大宮 忍,1.1962551732180107)
(九条 カレン,1.0312825238247796)
(小路 綾,0.8233715926811084)
(アリス・カータレット,0.8775353900506315)
```
### TwitterFollowerScoreRanking2
GraphXのページランクアルゴリズムを利用したフォロー・フォロワーの関係のスコアランキング
引数1=コネクションデータファイル(フォロー・フォロワー関係)
引数2=マスターデータファイル
以降で説明するマスターデータサンプルは以下のブランチに配置しています。
https://github.com/AKB428/GraphNodeView_D3js
#### Twitterのフォロー・フォロワー関係のサンプル
```
run ../GraphNodeView_D3js/sample1/followers.txt ../GraphNodeView_D3js/sample1/user.txt
(follower4 follow4,0.8537194616353887)
(follower3 follow3,0.696904254070486)
(follower2 follow2,0.5288329792246881)
(follower0 follow2,0.4882131211233435)
(follower2 follow1 A,0.3313979135584405)
(follower2 follow1 B,0.3313979135584405)
```
#### (アニメ作品) ラブライブ！のキャラクターカップリング相関図 [ジャンル：若干百合]
```
run ../GraphNodeView_D3js/lovelive/coupling.txt ../GraphNodeView_D3js/lovelive/character.txt
(星空 凛,1.0463409909749495)
(西木野 真姫,0.9201159065091673)
(東條 希,0.7938914688181047)
(矢澤 にこ,0.765854808354306)
(高坂 穂乃果,0.629871865514959)
(小泉 花陽,0.5946949211643535)
(絢瀬 絵里,0.37487186551495905)
(南 ことり,0.15)
(園田 海未,0.15)
```
#### (アニメ作品) やはり俺の青春ラブコメはまちがっている。の恋愛相関図 [ジャンル：ラノベハーレム]
```
run ../GraphNodeView_D3js/oregairu/coupling.txt ../GraphNodeView_D3js/oregairu/character.txt
(比企谷 八幡,5.0306006042500275)
(比企谷 小町,2.2880052568062625)
(雪ノ下 雪乃,2.2880052568062625)
(葉山 隼人,0.34124999999999994)
(海老名 姫菜,0.27749999999999997)
(一色 いろは,0.15)
(戸塚 彩加,0.15)
(平塚 静,0.15)
(戸部 翔,0.15)
(材木座 義輝,0.15)
(由比ヶ浜 結衣,0.15)
(川崎 沙希,0.15)
(三浦 優美子,0.15)
```
#### 現実的な問題にページランクを適用してみる例1 じゃんけんの相関図
```
run ../GraphNodeView_D3js/PaperScissorsSociety/win-lose.txt ../GraphNodeView_D3js/PaperScissorsSociety/master.txt
(ぐー,0.9994334078112798)
(ぱー,0.9994334078112798)
(ちょき,0.9994334078112798)
```
#### 現実的な問題にページランクを適用してみる例2 じゃんけん+ピストルの相関図
```
run ../GraphNodeView_D3js/PaperScissorsSocietyAndPistool/win-lose.txt ../GraphNodeView_D3js/PaperScissorsSocietyAndPistool/master.txt
(ピストル,0.4824582311787476)
(ぐー,0.26081941039291584)
(ぱー,0.26081941039291584)
(ちょき,0.26081941039291584)
```
## 参考文献
https://spark.apache.org/docs/latest/graphx-programming-guide.html
http://www.cloudera.co.jp/jpevents/cwt2014/static/pdf/B-5.pdf
[wikipedia ページランクアルゴリズム](http://ja.wikipedia.org/wiki/%E3%83%9A%E3%83%BC%E3%82%B8%E3%83%A9%E3%83%B3%E3%82%AF)
学习scala好的项目
4星 · 超过85%的资源 需积分: 50 129 浏览量
2018-02-02
10:11:30
上传
评论 1
收藏 19.2MB RAR 举报 
学习scala好的项目 （2620个子文件） 
Native.c 522B $e6107d8d142ff1d35818.cache 22B $5d2bcb6b4dad3d9d6238.cache 22B $a57254ea47dc66d16a1a.cache 22B $25bbc0849efda97c1b54.cache 22B $acfd909c350092c27ddb.cache 22B $6d97b902c2ed78588a87.cache 22B $de4f40f2a501c87535cf.cache 22B $15376632ba0ea7fe6b8e.cache 22B $607816d66097b490f386.cache 22B NameResolver$.class 22KB Second_Actor$.class 22KB First_Actor$.class 22KB HelloActor.class 21KB Message_Actor$.class 21KB AdvanceListTest$.class 6KB functionTest$.class 5KB MatchTest$.class 5KB Book.class 5KB MatchTest.class 5KB Bundle.class 5KB Person.class 5KB Person.class 5KB Element.class 5KB Demo$.class 5KB Book.class 5KB Net.class 5KB NameResolver.class 5KB Person.class 5KB Worker.class 4KB functionTest.class 4KB Demo$.class 4KB Element.class 4KB Message_Actor.class 4KB Second_Actor.class 4KB First_Actor.class 4KB Main$.class 4KB Demo$.class 4KB Demo$.class 4KB Student.class 4KB ControlTest$.class 4KB ControlTest$delayedInit$body.class 4KB ImplicitParameter$.class 4KB GcatApples$.class 4KB FoodCategories$FoodCategory.class 4KB AbstractTypeTest$.class 4KB SymbolTest$.class 4KB FileMatcher$.class 4KB Demo$.class 4KB Demo$.class 4KB ForTest$.class 4KB AdvanceListTest.class 4KB ForTest.class 4KB functionTest$delayedInit$body.class 4KB ListTest$delayedInit$body.class 4KB Demo$.class 4KB ElementTest$.class 3KB Demo$.class 3KB SetMapTest$.class 3KB Main$$typecreator4$1.class 3KB Main$$typecreator5$1.class 3KB Main$$typecreator3$1.class 3KB Main$$typecreator6$1.class 3KB Demo$.class 3KB Demo$.class 3KB RecipeApp.class 3KB Main$$typecreator7$1.class 3KB ZipDemo$.class 3KB Main$$typecreator8$1.class 3KB ForFunctionDemo$.class 3KB MatchTest$BinOp.class 3KB Demo$.class 3KB FileSourceTest$.class 3KB MapDemo$.class 3KB AbstractTypeTest.class 3KB Demo$.class 3KB Demo$.class 3KB Main$$typecreator2$1.class 3KB Main$$typecreator3$1.class 3KB Demo$.class 3KB ScalaBasic$.class 3KB ListTest$.class 3KB Main$.class 3KB Demo$.class 3KB ForTest$Person.class 3KB ImplicitParameter.class 3KB ControlTest.class 3KB Rational.class 3KB ExtractorTest$.class 3KB Demo$Cons$3.class 3KB MatchTest$UnOp.class 3KB PrintWriterVersionTwo$.class 3KB Demo$.class 3KB ForTest$delayedInit$body.class 3KB Demo$.class 3KB Main$$anon$2$$anonfun$1.class 3KB FoodCategories$FoodCategory$.class 3KB FirstTest$.class 3KB Main$.class 3KB SimpleDatabase$.class 3KB共 2620 条
- 1
- 2
- 3
- 4
- 5
- 6
- 27
资源评论
找个借口安静2019-01-03都是一些基础的东西。
春暖-花开2019-02-27挺不错的资源，基础
hero_yang2019-04-10都是一些很基础的东西，效果不太好
boytm2018-06-11挺好的资源
xyz2011
- 粉丝: 79
- 资源: 24
最新资源
- 基于pytorch实现的YOLOV5+SORT的车辆行人目标识别及追踪系统源码.zip
- 【计算机毕业设计】基于servlet+jdbc的在线选房系统设计与实现【源码+lw+部署文档+讲解】
- 投身科技创新，勇担时代先锋.pptx
- 【计算机毕业设计】基于SSM的仿微博系统的设计与实现【源码+lw+部署文档+讲解】
- 使用 Web Components 实现，遵循 Material You 设计规范的 Web 前端组件库
- 柴经理立柱右5.13.psd
- train.py
- 基于STM32F7系列串口数据加载方案的设计与实现.pdf
- 5类垃圾分类yolov8格式数据集，该数据集包含五个类别：paper、cup、citrus、bottle、battery
- tst.m
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
