全部 大数据新闻动态 大数据技术文章 大数据常见问题 技术问答

• • 

    Flink中watermark的生成规则及其功能【大数据面经】

    通常，在接收到source的数据后，应该立刻生成watermark；但是，也可以在接收source后，应用简单的map或者filter操作，然后再生成watermark。 查看全文>>

    大数据技术文章2021-01-15 |传智教育 |watermark生成规则及其功能

  • 

    Redis、传统数据库、HBase以及Hive的区别

    关系型数据和Hive都是支持SQL引擎的数据库；Redis和Hbase都是NoSQL 类型的Key/vale数据库，支持简单的行列操作，不支持SQL引擎。 查看全文>>

    大数据技术文章2021-01-15 |传智教育 |Redis,传统数据库,HBase,Hive

  • 

    Hive安装教程——嵌入模式

    嵌入模式下，元数据保存在Derby数据库中，且只允许一个会话连接，若尝试多个会话连接时会报错。下面讲解Hive安装之嵌入模式的配置步骤。 查看全文>>

    大数据技术文章2021-01-15 |传智教育 |Hive安装教程

  • 

    怎样操作Spark SQL性能调优？

    参数默认false。当设为true，parquet会聚合所有parquet文件的schema，否则是直接读取parquet summary文件，或者在没有parquet summary文件时候随机选择一个文件的schema作为最终的schema。 查看全文>>

    大数据技术文章2021-01-14 |传智教育 |Spark SQL性能调优,操作Spark SQLt调优

  • Kafka数据存储【大数据文章】

    Kafka是一个高吞吐量的分布式发布订阅消息系统，它在实时计算系统中有着非常强大的功能。把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 查看全文>>

    大数据技术文章2021-01-12 |传智教育 |Kafka,Kafka数据存储

  • 

    Hadoop实现join的有几种方法？【大数据面试题】

    Hadoop实现join有三种方法，第一种是reduce side join，它是一种最简单的join方式，其主要思想如下： 查看全文>>

    大数据技术文章2021-01-12 |传智教育 |实现join,Hadoop,大数据面试题

  • 

    两种RDD的依赖关系介绍

    在Spark中，不同的RDD之间具有依赖的关系。RDD与它所依赖的RDD的依赖关系有两种类型，分别是窄依赖（narrow dependency）和宽依赖（wide dependency）。 查看全文>>

    大数据技术文章2021-01-05 |传智教育 |spark RDD,RDD的两种依赖关系

  • 

    大数据离散流是什么？

    Spark Streaming提供了一个高级抽象的流，即DStream（离散流）。DStream表示连续的数据流，可以通过Kafka、Flume和Kinesis等数据源创建，也可以通过现有DStream的高级操作来创建。 查看全文>>

    大数据技术文章2021-01-05 |传智教育 |DStream,离散流,DStream是什么

  << < 1 2 3 4 5 6 7 8 9 ... 35 > >>