Top/ビッグデータ

ビッグデータ のバックアップの現在との差分(No.1)

  • 追加された行はこの色です。
  • 削除された行はこの色です。
#author("2021-10-13T11:07:05+09:00","default:k1rou","k1rou")
*ビッグデータ [#i216e3e5]

**ビッグデータ とは [#b613583c]
#author("2022-09-01T23:56:27+09:00","default:k1rou","k1rou")
*ビッグデータ とは [#b613583c]
-大容量で多様なデータの集合体
-「3つのV」を持つのが特徴
--Variety（データ種が多様）
--Volume（データ量が膨大）
--Velocity（データの発生速度、発生頻度が高い）

*関連するソフトウェア（[[OSS]]） [#l07a1860]
**データ収集・検知・取込 [#gab000da]
***[[クローラ]] [#cbd58693]
-[[Apache ManifoldCF]]
-[[Apache Nutch]]

**関連するソフトウェア（[[OSS]]） [#l07a1860]
***データ収集・検知・取込 [#gab000da]
-[[クローラ]]
--[[Apache ManifoldCF]]
--[[Apache Nutch]]
***データロード [#l315aaa0]
-[[Apache Sqoop]]

-データロード
--[[Apache Sqoop]]
***収集 [#x38babbb]
-[[Apache Flume]]
-[[Apache Kafka]]
-[[Fluentd]]

-収集
--[[Apache Flume]]
--[[Apache Kafka]]
--[[Fluentd]]
***CEP（complex event processing） [#af139a0d]
-[[Apache S4]]
-[[Apache Spark]] Streaming
-[[Apache Storm]]
-[[Esper]]
-[[Drools Fusion]]

-CEP（complex event processing）
--[[Apache S4]]
--[[Apache Spark]] Streaming
--[[Apache Storm]]
--[[Esper]]
--[[Drools Fusion]]
**データ蓄積 [#rac607a7]
***データ蓄積（ファイルシステム） [#b89006cc]
-[[Apache Hadoop]] HDFS
-[[Ceph]]
-[[GlusterFS]]
-[[Lustre]]

***データ蓄積 [#rac607a7]
-データ蓄積（ファイルシステム）
--[[Apache Hadoop]] HDFS
--[[Ceph]]
--[[GlusterFS]]
--[[Lustre]]
**データ処理 [#q34698ef]
***並列分散処理 [#y1143161]
-[[Apache Hadoop]] MapReduce
-[[Apache Hadoop]] [[YARN]]
-[[Apache Mesos]]
-[[Apache Spark]]
-[[Apache Tez]]

***データ処理 [#q34698ef]
-データ処理（並列分散処理）
--[[Apache Hadoop]] MapReduce
--[[Apache Hadoop]] [[YARN]]
--[[Apache Mesos]]
--[[Apache Spark]]
--[[Apache Tez]]
***準リアルタイムクエリ [#q2ead9c6]
-[[Apache Drill]]
-[[Apache Hive]]
-[[Apache Spark]] SQL
-[[Impala]]

-データ処理（準リアルタイムクエリ）
--[[Apache Drill]]
--[[Apache Hive]]
--[[Apache Spark]] SQL
--[[Impala]]
***データロード [#t9f4c0e8]
-[[Apache Sqoop]]

-データ処理（データロード）
--[[Apache Sqoop]]
**高速化キャッシュ・スケールアウト（[[NoSQL]]） [#s33d1f2b]
-[[Apache Cassandra]]
-[[Apache HBase]]
-[[Infinispan]]
-[[Neo4j]]
-[[MongoDB]]
-[[Redis]]
-[[Riak]]

***高速化キャッシュ・スケールアウト（[[NoSQL]]） [#s33d1f2b]
--[[Apache Cassandra]]
--[[Apache HBase]]
--[[Infinispan]]
--[[Neo4j]]
--[[MongoDB]]
--[[Redis]]
--[[Riak]]
**データ分析 [#ncba5493]
***[[機械学習]] [#qe176ce1]
-[[Jupyter]]
-[[Mlib]]
-[[Apache Zeppelin]]

***データ分析 [#ncba5493]
-データ分析（[[機械学習]]）
--[[Jupyter]]
--[[Mlib]]
--[[Apache Zeppelin]]
***[[深層学習]] [#oe6cb43f]
-[[TensorFlow]]
-[[CNTK]] -Microsoft
-[[DSSTNE]] -Amazon

-データ分析（[[深層学習]]）
--[[TensorFlow]]
--[[CNTK]] -Microsoft
--[[DSSTNE]] -Amazon
***[[全文検索]] [#x3de88b0]
-[[Elasticsearch]]

-データ分析（[[全文検索]]）
--[[Elasticsearch]]

***管理・監視 [#rb792104]
**管理・監視 [#rb792104]
-[[Apache Ambari]]

**関連用語 [#xdc41384]
*関連用語 [#xdc41384]
-[[AI]]
-[[BIツール]]
-[[NoSQL]]
-[[HPC]]（High Performance Computing）
-[[Hadoop]]
-[[Splunk]]
-[[Apache Ranger]]
-[[アドホック分析]]
-[[個人情報]]
-[[データマイニング]]
-[[統計]]
-[[データウェアハウス]]
-[[データパイプライン]]
-[[データマート]]
-[[データマイニング]]
-[[データレイク]]
-[[統計]]
-[[ラムダアーキテクチャ]]