ビッグデータ

ビッグデータ とは †

• 大容量で多様なデータの集合体
• 「3つのV」を持つのが特徴
  • Variety（データ種が多様）
  • Volume（データ量が膨大）
  • Velocity（データの発生速度、発生頻度が高い）

関連するソフトウェア（OSS） †

データ収集・検知・取込 †

クローラ †

• Apache ManifoldCF
• Apache Nutch

データロード †

• Apache Sqoop

収集 †

• Apache Flume
• Apache Kafka
• Fluentd

CEP（complex event processing） †

• Apache S4
• Apache Spark Streaming
• Apache Storm
• Esper
• Drools Fusion

データ蓄積 †

データ蓄積（ファイルシステム） †

• Apache Hadoop HDFS
• Ceph
• GlusterFS
• Lustre

データ処理 †

並列分散処理 †

• Apache Hadoop MapReduce
• Apache Hadoop YARN
• Apache Mesos
• Apache Spark
• Apache Tez

準リアルタイムクエリ †

• Apache Drill
• Apache Hive
• Apache Spark SQL
• Impala

データロード †

• Apache Sqoop

高速化キャッシュ・スケールアウト（NoSQL） †

• Apache Cassandra
• Apache HBase
• Infinispan
• Neo4j
• MongoDB
• Redis
• Riak

データ分析 †

機械学習 †

• Jupyter
• Mlib
• Apache Zeppelin

深層学習 †

• TensorFlow
• CNTK -Microsoft
• DSSTNE -Amazon

全文検索 †

• Elasticsearch

管理・監視 †

• Apache Ambari

関連用語 †

• AI
• BIツール
• NoSQL
• HPC（High Performance Computing）
• Hadoop
• Splunk
• Apache Ranger
• アドホック分析
• 個人情報
• データウェアハウス
• データパイプライン
• データマート
• データマイニング
• データレイク
• 統計
• ラムダアーキテクチャ