网站首页 第238页

• 

  干货分享，新浪大数据岗位面试题汇总

  新浪面试题学长1一面1）自我介绍叫什么名字，来自哪里，本科哪个学校，硕士哪个学校，大数据做了多长时间，对Hadoop生态圈以及Spark生态圈中的哪些技术比较了解（很简单的一句就带过了），说完大概2min2）技术部分（1）让我介绍下Sqoo...

  2025-03-07 balukai 文章精选 4 ℃
• 

  大数据开发-第4课(补) hive初步

  Hive相关的组件有4个部分:Hive元数据、资源管理和调度、分布式文件系统和计算引擎Hive步入1.x版本后，整体架构稳定，后续的迭代版本就没有太多重大的调整，更多的只是功能增强了,Hive2.x引入的LLAP，Hive3.x在2.x...

  2025-03-07 balukai 文章精选 5 ℃
• 

  数仓/数开面试题真题总结(二)

  二.Hive1.大表join小表产生的问题，怎么解决？2.udfudafudtf区别3.hive有哪些保存元数据的方式，各有什么特点。4.hive内部表和外部表的区别5.生产环境中为什么建议使用外部表？6.insertinto和o...

  2025-03-07 balukai 文章精选 6 ℃
• 

  Hive性能优化(全面)

  简介：Hadoop的计算框架特性下的HIve有效的优化手段作者：浪尖原文链接本文转载自公众号：Spark学习技巧1.介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。jobs数比...

  2025-03-07 balukai 文章精选 10 ℃
• 

  flink sql left join数据倾斜问题解决

  1.问题描述原sql：selecta.user_id,a.其他字段,b.其他字段flinksqlonhive，使用了leftjoin去关联字典表，由于字典表中某一个值对应的左边记录表中的数据条数非常非常多，是其他字典值的数十...

  2025-03-07 balukai 文章精选 4 ℃
• 

  数据倾斜以及本地模式的介绍

  一：数据倾斜Map数1）通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。2）是不是map数越多越好？答案是否定的。如果一个任务有很多小文...

  2025-03-07 balukai 文章精选 10 ℃
• 

  Hive面试题整理(一)

  1、Hive表关联查询，如何解决数据倾斜的问题？1）倾斜原因：map输出数据按keyHash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce上的数据量差异过大。（1）key...

  2025-03-07 balukai 文章精选 4 ℃
• 

  实战 | Hive 数据倾斜问题定位排查及解决

  Hive数据倾斜怎么发现，怎么定位，怎么解决多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。今天我们不扯大篇理论，直接以例子来实践，...

  2025-03-07 balukai 文章精选 6 ℃
• 

  JavaScript去除数组重复元素的几种方法

  数组去重在前端开发中非常有用，在很多业务场景中都有需要。我们都知道JavaScript实现数组去重的方式有很多，今天就汇总一下这些方法，方便大家比较选用。1.使用Set数据结构set是ES6新增的数据结构，特点就是集合内没有重复元素。正好可...

  2025-03-06 balukai 文章精选 16 ℃
• 

  JavaScript 中搜索数组元素的四种方法

  在实际开发当中，我们经常会遇到类似诸如下面的需求：获取满足特定条件的数组中的所有项目要检查是否满足条件？检查数组中是否有特定值？在数组中找到指定值的索引？在本文中，我们将讨论四种可用于搜索数组中项目的方法。这些方法是：filterfindi...

  2025-03-06 balukai 文章精选 23 ℃