如何在python中写hive脚本
这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1、直接执行.sql脚本
importnumpyasnp importpandasaspd importlightgbmaslgb frompandasimportDataFrame fromsklearn.model_selectionimporttrain_test_split fromioimportStringIO importgc importsys importos hive_cmd="hive-f./sql/sql.sql" output=os.popen(hive_cmd) data_cart_prop=pd.read_csv(StringIO(unicode(output.read(),'utf-8')),sep="\t",header=0)
2、Hive语句执行
假如有如下hivesql:
hive_cmd='hive-e"selectcount(*)fromhbase.routermac_sort_10;"'
一般在python中按照如下方式执行该hivesql:
os.system(hive_cmd)
---------------------
hive_cmd1="hive-f./user.sql" output1=os.popen(hive_cmd1) test_user=pd.read_csv(StringIO(unicode(output1.read(),'utf-8')),sep="\t",header=0) hive_cmd2="hive-f./action.sql" output2=os.popen(hive_cmd2) test_action=pd.read_csv(StringIO(unicode(output2.read(),'utf-8')),sep="\t",header=0) hive_cmd3="hive-f./click.sql" output3=os.popen(hive_cmd3) test_click=pd.read_csv(StringIO(unicode(output3.read(),'utf-8')),sep="\t",header=0)
为了显示表头,在脚本中加上一句:sethive.cli.print.header=true;
或者,使用如下语句:
hive_cmd='hive-e"sethive.cli.print.header=true;SELECT*FROMdev.temp_dev_jypt_decor_user_label_phase_one_view_featureWHERE(dt="2018-09-17");"' output=os.popen(hive_cmd) data_cart_prop=pd.read_csv(StringIO(unicode(output.read(),'utf-8')),sep="\t",header=0)
3、tf显存占用
importtensorflowastf
tf.enable_eager_execution()
x=tf.get_variable('x',shape=[1],initializer=tf.constant_initializer(3.))
withtf.GradientTape()astape:
y=tf.square(x)
y_grad=tape.gradient(y,x)
print([y.numpy(),y_grad.numpy()])
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。
热门推荐
1 训练狗狗搜寻
2 如何训练狗狗装死
3 狗狗训练书
6 怎么训练狗狗拜年
8 狗狗训练游戏
10 狗狗嗅觉训练
11 怎么训练狗狗在笼子里不叫
12 怎么训练狗狗站立走路
13 怎么训练狗狗在马桶上
14 狗狗尿尿怎么训练
15 训练狗狗用品
16 泰迪狗狗的训练方法大小便
17 训练狗狗可以打吗
18 王曼丽的狗狗训练