程序员求职经验分享与学习资料整理平台

巴鲁凯网

网站首页 文章精选 第341页

  • Hive最全总结,学习与面试,收藏这一篇就够了!

    Hive最全总结,学习与面试,收藏这一篇就够了!

    Hive基础概念和用途Hive是Hadoop下的顶级Apache项目,早期的Hive开发工作始于2007年的Facebook。ApacheHive是一款建立在Hadoop之上的开源数据仓库系统,可以将存储在Hadoop文件中的结构化...

    2025-03-07 balukai 文章精选 23 ℃
  • Hive 迁移参考方案及测试(上)

    Hive 迁移参考方案及测试(上)

    1、Hive的架构和工作原理Hive架构Hive是基于Hadoop之上的数仓,便于用户可以基于SQL(HiveQL)进行数据分析,其架构图如下:从上图可知,Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射,以及把SQL语句...

    2025-03-07 balukai 文章精选 8 ℃
  • 2021年超全超详细的最新大数据开发面试题

    2021年超全超详细的最新大数据开发面试题

    大数据面试题,题量不多,但都是大厂精选题,面试必会知识点篇幅有限,没有解答,需要解答的可以下方评论,或私信我:答案,即可获得Hadoop请说下HDFS读写流程HDFS在读取文件的时候,如果其中一个块突然损坏了怎么办HDFS在上传文件的时候,...

    2025-03-07 balukai 文章精选 15 ℃
  • 【大数据】Hive 小文件治理和 HDFS 数据平衡讲解

    【大数据】Hive 小文件治理和 HDFS 数据平衡讲解

    一、Hive小文件概述在Hive中,所谓的小文件是指文件大小远小于HDFS块大小的文件,通常小于128MB,甚至更少。这些小文件可能是Hive表的一部分,每个小文件都包含一个或几个表的记录,它们以文本格式存储。Hive通常用于分析大量数...

    2025-03-07 balukai 文章精选 17 ℃
  • 5.HIVE定位调优指导

    5.HIVE定位调优指导

    1.1.日志搜集1.1.1.HiveServer日志获取Hive调优需要看HiveServer的运行日志及GC日志。HiveServer日志路径为:HiveServer节点的/var/log/Bigdata/hive/hiveserve...

    2025-03-07 balukai 文章精选 7 ℃
  • hive报错:running beyond physical memory limitsn××终极解决方式

    hive报错:running beyond physical memory limitsn××终极解决方式

    1.案例描述:hive有个定时任务平时正常,没有啥问题,正常一般大概执行1个小时左右,但是今天突然报错了,报错代码::runningbeyondphysicalmemorylimits.Currentusage:2.0GB...

    2025-03-07 balukai 文章精选 18 ℃
  • 干货分享,新浪大数据岗位面试题汇总

    干货分享,新浪大数据岗位面试题汇总

    新浪面试题学长1一面1)自我介绍叫什么名字,来自哪里,本科哪个学校,硕士哪个学校,大数据做了多长时间,对Hadoop生态圈以及Spark生态圈中的哪些技术比较了解(很简单的一句就带过了),说完大概2min2)技术部分(1)让我介绍下Sqoo...

    2025-03-07 balukai 文章精选 6 ℃
  • 大数据开发-第4课(补) hive初步

    大数据开发-第4课(补) hive初步

    Hive相关的组件有4个部分:Hive元数据、资源管理和调度、分布式文件系统和计算引擎Hive步入1.x版本后,整体架构稳定,后续的迭代版本就没有太多重大的调整,更多的只是功能增强了,Hive2.x引入的LLAP,Hive3.x在2.x...

    2025-03-07 balukai 文章精选 7 ℃
  • 数仓/数开面试题真题总结(二)

    数仓/数开面试题真题总结(二)

    二.Hive1.大表join小表产生的问题,怎么解决?2.udfudafudtf区别3.hive有哪些保存元数据的方式,各有什么特点。4.hive内部表和外部表的区别5.生产环境中为什么建议使用外部表?6.insertinto和o...

    2025-03-07 balukai 文章精选 8 ℃
  • Hive性能优化(全面)

    Hive性能优化(全面)

    简介:Hadoop的计算框架特性下的HIve有效的优化手段作者:浪尖原文链接本文转载自公众号:Spark学习技巧1.介绍首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。jobs数比...

    2025-03-07 balukai 文章精选 12 ℃
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言