ビッグデータ の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• ビッグデータ へ行く。
• ビッグデータ の差分を削除

#author("2022-08-13T15:47:15+09:00","default:k1rou","k1rou")
#author("2022-09-01T23:56:27+09:00","default:k1rou","k1rou")
*ビッグデータ とは [#b613583c]
-大容量で多様なデータの集合体
-「3つのV」を持つのが特徴
--Variety（データ種が多様）
--Volume（データ量が膨大）
--Velocity（データの発生速度、発生頻度が高い）


*関連するソフトウェア（[[OSS]]） [#l07a1860]
**データ収集・検知・取込 [#gab000da]
***[[クローラ]] [#cbd58693]
-[[Apache ManifoldCF]]
-[[Apache Nutch]]

***データロード [#l315aaa0]
-[[Apache Sqoop]]

***収集 [#x38babbb]
-[[Apache Flume]]
-[[Apache Kafka]]
-[[Fluentd]]

***CEP（complex event processing） [#af139a0d]
-[[Apache S4]]
-[[Apache Spark]] Streaming
-[[Apache Storm]]
-[[Esper]]
-[[Drools Fusion]]

**データ蓄積 [#rac607a7]
***データ蓄積（ファイルシステム） [#b89006cc]
-[[Apache Hadoop]] HDFS
-[[Ceph]]
-[[GlusterFS]]
-[[Lustre]]

**データ処理 [#q34698ef]
***並列分散処理 [#y1143161]
-[[Apache Hadoop]] MapReduce
-[[Apache Hadoop]] [[YARN]]
-[[Apache Mesos]]
-[[Apache Spark]]
-[[Apache Tez]]

***準リアルタイムクエリ [#q2ead9c6]
-[[Apache Drill]]
-[[Apache Hive]]
-[[Apache Spark]] SQL
-[[Impala]]

***データロード [#t9f4c0e8]
-[[Apache Sqoop]]

**高速化キャッシュ・スケールアウト（[[NoSQL]]） [#s33d1f2b]
-[[Apache Cassandra]]
-[[Apache HBase]]
-[[Infinispan]]
-[[Neo4j]]
-[[MongoDB]]
-[[Redis]]
-[[Riak]]

**データ分析 [#ncba5493]
***[[機械学習]] [#qe176ce1]
-[[Jupyter]]
-[[Mlib]]
-[[Apache Zeppelin]]

***[[深層学習]] [#oe6cb43f]
-[[TensorFlow]]
-[[CNTK]] -Microsoft
-[[DSSTNE]] -Amazon

***[[全文検索]] [#x3de88b0]
-[[Elasticsearch]]

**管理・監視 [#rb792104]
-[[Apache Ambari]]

*関連用語 [#xdc41384]
-[[AI]]
-[[BIツール]]
-[[NoSQL]]
-[[HPC]]（High Performance Computing）
-[[Hadoop]]
-[[Splunk]]
-[[Apache Ranger]]
-[[アドホック分析]]
-[[個人情報]]
-[[データウェアハウス]]
-[[データパイプライン]]
-[[データマート]]
-[[データマイニング]]
-[[データレイク]]
-[[統計]]
-[[ラムダアーキテクチャ]]