网站首页 文章精选 第341页

• 

  Hive最全总结，学习与面试，收藏这一篇就够了!

  Hive基础概念和用途Hive是Hadoop下的顶级Apache项目，早期的Hive开发工作始于2007年的Facebook。ApacheHive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化...

  2025-03-07 balukai 文章精选 23 ℃
• 

  Hive 迁移参考方案及测试(上)

  1、Hive的架构和工作原理Hive架构Hive是基于Hadoop之上的数仓，便于用户可以基于SQL（HiveQL）进行数据分析，其架构图如下：从上图可知，Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射，以及把SQL语句...

  2025-03-07 balukai 文章精选 8 ℃
• 

  2021年超全超详细的最新大数据开发面试题

  大数据面试题，题量不多，但都是大厂精选题，面试必会知识点篇幅有限，没有解答，需要解答的可以下方评论，或私信我：答案，即可获得Hadoop请说下HDFS读写流程HDFS在读取文件的时候,如果其中一个块突然损坏了怎么办HDFS在上传文件的时候,...

  2025-03-07 balukai 文章精选 15 ℃
• 

  【大数据】Hive 小文件治理和 HDFS 数据平衡讲解

  一、Hive小文件概述在Hive中，所谓的小文件是指文件大小远小于HDFS块大小的文件，通常小于128MB，甚至更少。这些小文件可能是Hive表的一部分，每个小文件都包含一个或几个表的记录，它们以文本格式存储。Hive通常用于分析大量数...

  2025-03-07 balukai 文章精选 17 ℃
• 

  5.HIVE定位调优指导

  1.1.日志搜集1.1.1.HiveServer日志获取Hive调优需要看HiveServer的运行日志及GC日志。HiveServer日志路径为：HiveServer节点的/var/log/Bigdata/hive/hiveserve...

  2025-03-07 balukai 文章精选 7 ℃
• 

  hive报错:running beyond physical memory limitsn××终极解决方式

  1.案例描述：hive有个定时任务平时正常，没有啥问题，正常一般大概执行1个小时左右，但是今天突然报错了，报错代码：：runningbeyondphysicalmemorylimits.Currentusage:2.0GB...

  2025-03-07 balukai 文章精选 18 ℃
• 

  干货分享，新浪大数据岗位面试题汇总

  新浪面试题学长1一面1）自我介绍叫什么名字，来自哪里，本科哪个学校，硕士哪个学校，大数据做了多长时间，对Hadoop生态圈以及Spark生态圈中的哪些技术比较了解（很简单的一句就带过了），说完大概2min2）技术部分（1）让我介绍下Sqoo...

  2025-03-07 balukai 文章精选 6 ℃
• 

  大数据开发-第4课(补) hive初步

  Hive相关的组件有4个部分:Hive元数据、资源管理和调度、分布式文件系统和计算引擎Hive步入1.x版本后，整体架构稳定，后续的迭代版本就没有太多重大的调整，更多的只是功能增强了,Hive2.x引入的LLAP，Hive3.x在2.x...

  2025-03-07 balukai 文章精选 7 ℃
• 

  数仓/数开面试题真题总结(二)

  二.Hive1.大表join小表产生的问题，怎么解决？2.udfudafudtf区别3.hive有哪些保存元数据的方式，各有什么特点。4.hive内部表和外部表的区别5.生产环境中为什么建议使用外部表？6.insertinto和o...

  2025-03-07 balukai 文章精选 8 ℃
• 

  Hive性能优化(全面)

  简介：Hadoop的计算框架特性下的HIve有效的优化手段作者：浪尖原文链接本文转载自公众号：Spark学习技巧1.介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。jobs数比...

  2025-03-07 balukai 文章精选 12 ℃