ビッグデータ
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
*ビッグデータ とは [#b613583c]
-大容量で多様なデータの集合体
-「3つのV」を持つのが特徴
--Variety（データ種が多様）
--Volume（データ量が膨大）
--Velocity（データの発生速度、発生頻度が高い）
*関連するソフトウェア（[[OSS]]） [#l07a1860]
**データ収集・検知・取込 [#gab000da]
***[[クローラ]] [#cbd58693]
-[[Apache ManifoldCF]]
-[[Apache Nutch]]
***データロード [#l315aaa0]
-[[Apache Sqoop]]
***収集 [#x38babbb]
-[[Apache Flume]]
-[[Apache Kafka]]
-[[Fluentd]]
***CEP（complex event processing） [#af139a0d]
-[[Apache S4]]
-[[Apache Spark]] Streaming
-[[Apache Storm]]
-[[Esper]]
-[[Drools Fusion]]
**データ蓄積 [#rac607a7]
***データ蓄積（ファイルシステム） [#b89006cc]
-[[Apache Hadoop]] HDFS
-[[Ceph]]
-[[GlusterFS]]
-[[Lustre]]
**データ処理 [#q34698ef]
***並列分散処理 [#y1143161]
-[[Apache Hadoop]] MapReduce
-[[Apache Hadoop]] [[YARN]]
-[[Apache Mesos]]
-[[Apache Spark]]
-[[Apache Tez]]
***準リアルタイムクエリ [#q2ead9c6]
-[[Apache Drill]]
-[[Apache Hive]]
-[[Apache Spark]] SQL
-[[Impala]]
***データロード [#t9f4c0e8]
-[[Apache Sqoop]]
**高速化キャッシュ・スケールアウト（[[NoSQL]]） [#s33d1f2b]
-[[Apache Cassandra]]
-[[Apache HBase]]
-[[Infinispan]]
-[[Neo4j]]
-[[MongoDB]]
-[[Redis]]
-[[Riak]]
**データ分析 [#ncba5493]
***[[機械学習]] [#qe176ce1]
-[[Jupyter]]
-[[Mlib]]
-[[Apache Zeppelin]]
***[[深層学習]] [#oe6cb43f]
-[[TensorFlow]]
-[[CNTK]] -Microsoft
-[[DSSTNE]] -Amazon
***[[全文検索]] [#x3de88b0]
-[[Elasticsearch]]
**管理・監視 [#rb792104]
-[[Apache Ambari]]
*関連用語 [#xdc41384]
-[[AI]]
-[[BIツール]]
-[[NoSQL]]
-[[HPC]]（High Performance Computing）
-[[Hadoop]]
-[[Splunk]]
-[[Apache Ranger]]
-[[アドホック分析]]
-[[個人情報]]
-[[データウェアハウス]]
-[[データパイプライン]]
-[[データマート]]
-[[データマイニング]]
-[[データレイク]]
-[[統計]]
-[[ラムダアーキテクチャ]]
終了行:
*ビッグデータ とは [#b613583c]
-大容量で多様なデータの集合体
-「3つのV」を持つのが特徴
--Variety（データ種が多様）
--Volume（データ量が膨大）
--Velocity（データの発生速度、発生頻度が高い）
*関連するソフトウェア（[[OSS]]） [#l07a1860]
**データ収集・検知・取込 [#gab000da]
***[[クローラ]] [#cbd58693]
-[[Apache ManifoldCF]]
-[[Apache Nutch]]
***データロード [#l315aaa0]
-[[Apache Sqoop]]
***収集 [#x38babbb]
-[[Apache Flume]]
-[[Apache Kafka]]
-[[Fluentd]]
***CEP（complex event processing） [#af139a0d]
-[[Apache S4]]
-[[Apache Spark]] Streaming
-[[Apache Storm]]
-[[Esper]]
-[[Drools Fusion]]
**データ蓄積 [#rac607a7]
***データ蓄積（ファイルシステム） [#b89006cc]
-[[Apache Hadoop]] HDFS
-[[Ceph]]
-[[GlusterFS]]
-[[Lustre]]
**データ処理 [#q34698ef]
***並列分散処理 [#y1143161]
-[[Apache Hadoop]] MapReduce
-[[Apache Hadoop]] [[YARN]]
-[[Apache Mesos]]
-[[Apache Spark]]
-[[Apache Tez]]
***準リアルタイムクエリ [#q2ead9c6]
-[[Apache Drill]]
-[[Apache Hive]]
-[[Apache Spark]] SQL
-[[Impala]]
***データロード [#t9f4c0e8]
-[[Apache Sqoop]]
**高速化キャッシュ・スケールアウト（[[NoSQL]]） [#s33d1f2b]
-[[Apache Cassandra]]
-[[Apache HBase]]
-[[Infinispan]]
-[[Neo4j]]
-[[MongoDB]]
-[[Redis]]
-[[Riak]]
**データ分析 [#ncba5493]
***[[機械学習]] [#qe176ce1]
-[[Jupyter]]
-[[Mlib]]
-[[Apache Zeppelin]]
***[[深層学習]] [#oe6cb43f]
-[[TensorFlow]]
-[[CNTK]] -Microsoft
-[[DSSTNE]] -Amazon
***[[全文検索]] [#x3de88b0]
-[[Elasticsearch]]
**管理・監視 [#rb792104]
-[[Apache Ambari]]
*関連用語 [#xdc41384]
-[[AI]]
-[[BIツール]]
-[[NoSQL]]
-[[HPC]]（High Performance Computing）
-[[Hadoop]]
-[[Splunk]]
-[[Apache Ranger]]
-[[アドホック分析]]
-[[個人情報]]
-[[データウェアハウス]]
-[[データパイプライン]]
-[[データマート]]
-[[データマイニング]]
-[[データレイク]]
-[[統計]]
-[[ラムダアーキテクチャ]]
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
