ビッグデータ の履歴(No.1)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• ビッグデータ へ行く。
  • 1 (2021-11-14 (日) 12:03:18)
  • 2 (2021-12-14 (火) 15:20:21)
  • 3 (2022-08-13 (土) 15:47:15)

ビッグデータ†

ビッグデータ とは†

• 大容量で多様なデータの集合体

関連するソフトウェア（OSS）†

データ収集・検知・取込†

• クローラ
  • Apache ManifoldCF
  • Apache Nutch

• データロード
  • Apache Sqoop

• 収集
  • Apache Flume
  • Apache Kafka
  • Fluentd

• CEP（complex event processing）
  • Apache S4
  • Apache Spark Streaming
  • Apache Storm
  • Esper
  • Drools Fusion

データ蓄積†

• データ蓄積（ファイルシステム）
  • Apache Hadoop HDFS
  • Ceph
  • GlusterFS
  • Lustre

データ処理†

• データ処理（並列分散処理）
  • Apache Hadoop MapReduce
  • Apache Hadoop YARN
  • Apache Mesos
  • Apache Spark
  • Apache Tez

• データ処理（準リアルタイムクエリ）
  • Apache Drill
  • Apache Hive
  • Apache Spark SQL
  • Impala

• データ処理（データロード）
  • Apache Sqoop

高速化キャッシュ・スケールアウト（NoSQL）†

• Apache Cassandra
• Apache HBase
• Infinispan
• Neo4j
• MongoDB
• Redis
• Riak

データ分析†

• データ分析（機械学習）
  • Jupyter
  • Mlib
  • Apache Zeppelin

• データ分析（深層学習）
  • TensorFlow
  • CNTK -Microsoft
  • DSSTNE -Amazon

• データ分析（全文検索）
  • Elasticsearch

管理・監視†

• Apache Ambari

関連用語†

• AI
• BIツール
• NoSQL
• HPC（High Performance Computing）
• Hadoop
• Splunk
• Apache Ranger
• アドホック分析
• 個人情報
• データマイニング
• 統計
• データウェアハウス
• データパイプライン
• データマート
• データレイク
• ラムダアーキテクチャ