ビッグデータ の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• ビッグデータ へ行く。
  • 1 (2021-11-14 (日) 12:03:18)
  • 2 (2021-12-14 (火) 15:20:21)
  • 3 (2022-08-13 (土) 15:47:15)

---

ビッグデータ とは†

• 大容量で多様なデータの集合体

関連するソフトウェア（OSS）†

データ収集・検知・取込†

クローラ†

• Apache ManifoldCF
• Apache Nutch

データロード†

• Apache Sqoop

収集†

• Apache Flume
• Apache Kafka
• Fluentd

CEP（complex event processing）†

• Apache S4
• Apache Spark Streaming
• Apache Storm
• Esper
• Drools Fusion

データ蓄積†

データ蓄積（ファイルシステム）†

• Apache Hadoop HDFS
• Ceph
• GlusterFS
• Lustre

データ処理†

並列分散処理†

• Apache Hadoop MapReduce
• Apache Hadoop YARN
• Apache Mesos
• Apache Spark
• Apache Tez

準リアルタイムクエリ†

• Apache Drill
• Apache Hive
• Apache Spark SQL
• Impala

データロード†

• Apache Sqoop

高速化キャッシュ・スケールアウト（NoSQL）†

• Apache Cassandra
• Apache HBase
• Infinispan
• Neo4j
• MongoDB
• Redis
• Riak

データ分析†

機械学習†

• Jupyter
• Mlib
• Apache Zeppelin

深層学習†

• TensorFlow
• CNTK -Microsoft
• DSSTNE -Amazon

全文検索†

• Elasticsearch

管理・監視†

• Apache Ambari

関連用語†

• AI
• BIツール
• NoSQL
• HPC（High Performance Computing）
• Hadoop
• Splunk
• Apache Ranger
• アドホック分析
• 個人情報
• データマイニング
• 統計
• データウェアハウス
• データパイプライン
• データマート
• データレイク
• ラムダアーキテクチャ