当前在线人数17269
首页 - 分类讨论区 - 电脑网络 - 葵花宝典版 - 同主题阅读文章
未名交友
[更多]
[更多]
问个spark的问题
[版面:葵花宝典][首篇作者:Thoreau] , 2017年05月18日19:02:25
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
Thoreau
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: Thoreau (welch双绿道高手), 信区: Programming
标  题: 问个spark的问题
发信站: BBS 未名空间站 (Thu May 18 19:02:25 2017, 美东)

在emr上跑了一个spark的cluster, 想用它处理我们在rds上postgres里的数据

ssh到master, run
/usr/lib/spark/bin/pyspark --driver-class-path ./postgresql-9.4.1211.jar --
conf spark.executor.extraClassPath=./postgresql-9.4.1211.jar --jars ./
postgresql-9.4.1211.jar

进去之后然后运行
>>> df = spark.read.format('jdbc').options(url=dbstring).options(dbtable='
users').options(driver='org.postgresql.Driver').load()

在本地的docker里面都没问题。但在这里出现问题
py4j.protocol.Py4JJavaError: An error occurred while calling o53.load.
: org.postgresql.util.PSQLException: The connection attempt failed.

在security group里面加了inbound
PostgreSQL
TCP
5432
0.0.0.0/0

还是连不上。

不知道是什么问题,也可能是一开始就做错了。还请大侠教我怎么做。太感谢了。
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 54.]

 
StevenLow
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: StevenLow (CrossLayer), 信区: Programming
标  题: Re: 问个spark的问题
发信站: BBS 未名空间站 (Thu May 18 19:12:43 2017, 美东)

再看看网络 端口设置
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 207.]

 
dynkin
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 3 ]

发信人: dynkin (化神奇为腐朽), 信区: Programming
标  题: Re: 问个spark的问题
发信站: BBS 未名空间站 (Thu May 18 21:06:59 2017, 美东)

确保worker上也装了jdbc?

【 在 Thoreau (welch双绿道高手) 的大作中提到: 】
: 在emr上跑了一个spark的cluster, 想用它处理我们在rds上postgres里的数据
: ssh到master, run
: /usr/lib/spark/bin/pyspark --driver-class-path ./postgresql-9.4.1211.jar --
: conf spark.executor.extraClassPath=./postgresql-9.4.1211.jar --jars ./
: postgresql-9.4.1211.jar
: 进去之后然后运行
: >>> df = spark.read.format('jdbc').options(url=dbstring).options(dbtable='
: users').options(driver='org.postgresql.Driver').load()
: 在本地的docker里面都没问题。但在这里出现问题
: py4j.protocol.Py4JJavaError: An error occurred while calling o53.load.
: ...................



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 24.]

 
Thoreau
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 4 ]

发信人: Thoreau (welch双绿道高手), 信区: Programming
标  题: Re: 问个spark的问题
发信站: BBS 未名空间站 (Thu May 18 22:04:24 2017, 美东)

好的

【 在 StevenLow (CrossLayer) 的大作中提到: 】
: 再看看网络 端口设置



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 73.]

 
Thoreau
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 5 ]

发信人: Thoreau (welch双绿道高手), 信区: Programming
标  题: Re: 问个spark的问题
发信站: BBS 未名空间站 (Thu May 18 22:06:11 2017, 美东)

谢谢,我去试试看

【 在 dynkin (化神奇为腐朽) 的大作中提到: 】
: 确保worker上也装了jdbc?



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 73.]

 
Thoreau
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 6 ]

发信人: Thoreau (welch双绿道高手), 信区: Programming
标  题: Re: 问个spark的问题
发信站: BBS 未名空间站 (Fri May 19 16:04:27 2017, 美东)

问题解决了。两个instance不在一个environment里。弄了个snapshot在新的
environment,就行了。
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 54.]

[分页:1 ]
[快速返回] [ 进入葵花宝典讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996