怎样使用datagrip毗连spark

[复制链接]
发表于 2025-12-6 05:08:03 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
ThriftServer:类似hiveserver2

  •         本质:Spark中的一个特别的步调,使用步调的资源运行全部SQL,该步调除非手动关闭,否则不停运行
1、在hive 下修改hive-site.xml
  1. <property>
  2.                 <name>hive.metastore.schema.verification</name>
  3.                 <value>false</value>
  4.         </property>
复制代码
2、将hive-site.xml 复制到 spark的conf 下
  1. cp /opt/installs/hive/conf/hive-site.xml /opt/installs/spark/conf
复制代码
3、接着分发一下:
  1. xsync.sh /opt/installs/spark/conf/hive-site.xml
复制代码
4、重启thrift服务:
  1. /opt/installs/spark/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000  --hiveconf hive.server2.thrift.bind.host=bigdata01 --master yarn --conf spark.sql.shuffle.partitions=2
  2. 若hiveServer2 启动过,那么改成10001 是因为 hiveserver2占用了10000
  3. 启动服务,该服务不会停止,一直在后台启动,假如启动不了,记得查看日志日志。
  4. 停止服务:
  5. /opt/installs/spark/sbin/stop-thriftserver.sh
复制代码
使用datagrip 重新毗连一下,记得革新一下毗连。

回复

使用道具 举报

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表