全部 大数据新闻动态 大数据技术文章 大数据常见问题 技术问答

• • 

    RDD容错机制？RDD是如何恢复数据的？

    对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，当Spark集群中的某一个节点由于宕机导致数据丢失，就可以通过Spark中的RDD进行容错恢复已经丢失的数据。RDD提供了两种故障恢复的方式，分别是血统（Lineage）方式和设置检查点（checkpoint）方式。下面，我们就来介绍一下这两种方式。 查看全文>>

    大数据技术文章2021-03-05 |传智教育 |RDD，操作,spark,RDD容错机制

  • 

    为什么选择kafka采集数据？

    为什么选择kafka采集数据？大数据采集层主要可以使用Flume， Kafka两种技术。 查看全文>>

    大数据技术文章2021-03-04 |传智教育 |kafka，数据采集

  • 

    怎样安装Hive？本地和远程操作安装区别在哪里

    本地和远程模式安装配置方式大致相同，本质上是将Hive默认的元数据存储介质由自带的Derby数据库替换为MySQL数据库，这样无论在任何目录下以任何方式启动Hive，只要连接的是同一台Hive服务，那么所有节点访问的元数据信息是一致的，从而实现元数据的共享。下面就以本地模式为例，讲解安装过程。 查看全文>>

    大数据技术文章2021-03-04 |传智教育 |Hive安装,Hive本地,安装Hive远程安装

  • 

    HBase读写数据分几步？具体是怎样操作的？

    HBase数据库最常见的操作就是读写数据，接下来，针对HBase读写数据的流程进行详细介绍。 查看全文>>

    大数据技术文章2021-03-04 |传智教育 |HBase读写数据，HBase

  • 

    Scala编程的数据类型有几种？

    与其他语言相比，Scala中的所有值都有一个类型，包括数值和函数。接下来，通过一张图来描述Scala数据类型的层次结构，具体如图1所示。 查看全文>>

    大数据技术文章2021-03-04 |传智教育 |Scala,数据类型,Scala基础语法

  • 

    Hadoop集群格式化【大数据技术文章】

    Hadoop集群的安装和配置完成之后。并不能直接启动集群，因为在初次启动HDFS集群时，必须对主节点进行格式化处理，具体指令如下。 查看全文>>

    大数据技术文章2021-02-28 |传智教育 |Hadoop格式化,文件Hadoop集群格式化

  • 

    哪些行业可以应用大数据？

    近年来，大数据不断向世界的各行各业渗透，影响着我们的衣食住行。例如，网上购物时，经常会发现电子商务门户网站向我们推荐商品，往往这类商品都是我们最近需要的。这是因为用户上网行为轨迹的相关数据都会被搜集记录，并通过大数据分析，使用推荐系统将用户可能需要的物品进行推荐，从而达到精准营销的目的。下面简单介绍几种大数据的应用场景。 查看全文>>

    大数据技术文章2021-02-01 |传智教育 |哪些行业可以使用大数据

  • 

    大数据有什么价值？研究大数据有什么意义？

    研究大数据有什么意义？研究大数据，最重要的意义是预测。因为数据从根本上讲，是对过去和现在的归纳和总结，其本身不具备趋势和方向性的特征，但是可以应用大数据去了解事物发展的客观规律、了解人类行为，并且能够帮助我们改变过去的思维方式,建立新的数据思维模型，从而对未来进行预测和推测。比如，商业公司对消费者日常的购买行为和使用商品习惯进行汇总和分析，了解到消费者的需求，从而改进已有商品并适时推出新的商品，消费者的购买欲就会提高。 查看全文>>

    大数据技术文章2021-02-01 |传智教育 |大数据有什么用,大数据有什么意义

  << < 1 2 3 4 5 6 7 8 9 ... 35 > >>