网站首页 文章精选 第341页
-
Hive最全总结,学习与面试,收藏这一篇就够了!
Hive基础概念和用途Hive是Hadoop下的顶级Apache项目,早期的Hive开发工作始于2007年的Facebook。ApacheHive是一款建立在Hadoop之上的开源数据仓库系统,可以将存储在Hadoop文件中的结构化...
2025-03-07 balukai 文章精选 23 ℃ -
Hive 迁移参考方案及测试(上)
1、Hive的架构和工作原理Hive架构Hive是基于Hadoop之上的数仓,便于用户可以基于SQL(HiveQL)进行数据分析,其架构图如下:从上图可知,Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射,以及把SQL语句...
2025-03-07 balukai 文章精选 8 ℃ -
2021年超全超详细的最新大数据开发面试题
大数据面试题,题量不多,但都是大厂精选题,面试必会知识点篇幅有限,没有解答,需要解答的可以下方评论,或私信我:答案,即可获得Hadoop请说下HDFS读写流程HDFS在读取文件的时候,如果其中一个块突然损坏了怎么办HDFS在上传文件的时候,...
2025-03-07 balukai 文章精选 15 ℃ -
【大数据】Hive 小文件治理和 HDFS 数据平衡讲解
一、Hive小文件概述在Hive中,所谓的小文件是指文件大小远小于HDFS块大小的文件,通常小于128MB,甚至更少。这些小文件可能是Hive表的一部分,每个小文件都包含一个或几个表的记录,它们以文本格式存储。Hive通常用于分析大量数...
2025-03-07 balukai 文章精选 17 ℃ -
5.HIVE定位调优指导
1.1.日志搜集1.1.1.HiveServer日志获取Hive调优需要看HiveServer的运行日志及GC日志。HiveServer日志路径为:HiveServer节点的/var/log/Bigdata/hive/hiveserve...
2025-03-07 balukai 文章精选 7 ℃ -
hive报错:running beyond physical memory limitsn××终极解决方式
1.案例描述:hive有个定时任务平时正常,没有啥问题,正常一般大概执行1个小时左右,但是今天突然报错了,报错代码::runningbeyondphysicalmemorylimits.Currentusage:2.0GB...
2025-03-07 balukai 文章精选 18 ℃ -
干货分享,新浪大数据岗位面试题汇总
新浪面试题学长1一面1)自我介绍叫什么名字,来自哪里,本科哪个学校,硕士哪个学校,大数据做了多长时间,对Hadoop生态圈以及Spark生态圈中的哪些技术比较了解(很简单的一句就带过了),说完大概2min2)技术部分(1)让我介绍下Sqoo...
2025-03-07 balukai 文章精选 6 ℃ -
大数据开发-第4课(补) hive初步
Hive相关的组件有4个部分:Hive元数据、资源管理和调度、分布式文件系统和计算引擎Hive步入1.x版本后,整体架构稳定,后续的迭代版本就没有太多重大的调整,更多的只是功能增强了,Hive2.x引入的LLAP,Hive3.x在2.x...
2025-03-07 balukai 文章精选 7 ℃ -
数仓/数开面试题真题总结(二)
二.Hive1.大表join小表产生的问题,怎么解决?2.udfudafudtf区别3.hive有哪些保存元数据的方式,各有什么特点。4.hive内部表和外部表的区别5.生产环境中为什么建议使用外部表?6.insertinto和o...
2025-03-07 balukai 文章精选 8 ℃ -
Hive性能优化(全面)
简介:Hadoop的计算框架特性下的HIve有效的优化手段作者:浪尖原文链接本文转载自公众号:Spark学习技巧1.介绍首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。jobs数比...
2025-03-07 balukai 文章精选 12 ℃
- 06-12AI系统提示词:V0(aide提示)
- 06-12这AI浏览器代理太强!AI帮你自动完成复杂网页操作,微软开源新神器
- 06-12史蒂芬·金、扎迪·史密斯等人作品被用于训练人工智能
- 06-12DeepSeek开源周收官,颠覆存储架构!OpenAI继续“大力出奇迹”,GPT-4.5价格达R1的270倍
- 06-12刚刚,ChatGPT的深度研究可以连接GitHub了,网友:这是真·RAG
- 06-12OpenAI全新 Agent 套件来了,可以手搓Manus,5大要点一网打尽
- 06-12推荐一款免费的高质量TTS API项目,零成本生成高质量语音!
- 06-12刚刚,OpenAI最强图像生成API上线,一张图1毛5!自定义解锁神P图
- 控制面板
- 网站分类
- 最新留言
-