ビッグデータ のバックアップ差分(No.1)

• バックアップ一覧
• 現在との差分 を表示
• ソース を表示
• バックアップ を表示
• ビッグデータ へ行く。
  • 1 (2021-11-14 (日) 12:03:18)
  • 2 (2021-12-14 (火) 15:20:21)
  • 3 (2022-08-13 (土) 15:47:15)

• 追加された行はこの色です。
• 削除された行はこの色です。

#author("2021-10-13T11:07:05+09:00","default:k1rou","k1rou")
*ビッグデータ [#i216e3e5]

**ビッグデータ とは [#b613583c]
-大容量で多様なデータの集合体


**関連するソフトウェア（[[OSS]]） [#l07a1860]
***データ収集・検知・取込 [#gab000da]
-[[クローラ]]
--[[Apache ManifoldCF]]
--[[Apache Nutch]]

-データロード
--[[Apache Sqoop]]

-収集
--[[Apache Flume]]
--[[Apache Kafka]]
--[[Fluentd]]

-CEP（complex event processing）
--[[Apache S4]]
--[[Apache Spark]] Streaming
--[[Apache Storm]]
--[[Esper]]
--[[Drools Fusion]]

***データ蓄積 [#rac607a7]
-データ蓄積（ファイルシステム）
--[[Apache Hadoop]] HDFS
--[[Ceph]]
--[[GlusterFS]]
--[[Lustre]]

***データ処理 [#q34698ef]
-データ処理（並列分散処理）
--[[Apache Hadoop]] MapReduce
--[[Apache Hadoop]] [[YARN]]
--[[Apache Mesos]]
--[[Apache Spark]]
--[[Apache Tez]]

-データ処理（準リアルタイムクエリ）
--[[Apache Drill]]
--[[Apache Hive]]
--[[Apache Spark]] SQL
--[[Impala]]

-データ処理（データロード）
--[[Apache Sqoop]]

***高速化キャッシュ・スケールアウト（[[NoSQL]]） [#s33d1f2b]
--[[Apache Cassandra]]
--[[Apache HBase]]
--[[Infinispan]]
--[[Neo4j]]
--[[MongoDB]]
--[[Redis]]
--[[Riak]]

***データ分析 [#ncba5493]
-データ分析（[[機械学習]]）
--[[Jupyter]]
--[[Mlib]]
--[[Apache Zeppelin]]

-データ分析（[[深層学習]]）
--[[TensorFlow]]
--[[CNTK]] -Microsoft
--[[DSSTNE]] -Amazon

-データ分析（[[全文検索]]）
--[[Elasticsearch]]

***管理・監視 [#rb792104]
-[[Apache Ambari]]

**関連用語 [#xdc41384]
-[[AI]]
-[[BIツール]]
-[[NoSQL]]
-[[HPC]]（High Performance Computing）
-[[Hadoop]]
-[[Splunk]]
-[[Apache Ranger]]
-[[アドホック分析]]
-[[個人情報]]
-[[データマイニング]]
-[[統計]]
-[[データウェアハウス]]
-[[データパイプライン]]
-[[データマート]]
-[[データレイク]]
-[[ラムダアーキテクチャ]]