1. 说明

        PDI可以与Hadoop协同工作。通过提交适当的参数,Kettle可以连接Hadoop的HDFS、MapReduce、Zookeeper、Oozie、Sqoop和Spark服务。在数据库连接类型中支持Hive、Impala和Hbase

        PDI获取:https://sourceforge.net/projects/pentaho/files/Pentaho-9.2/client-tools/

        PDI server 获取:https://sourceforge.net/projects/pentaho/files/Pentaho-9.2/server/

具体版本可以将URL截取到files里面找。

2. 在Spoon中安装驱动

参考资料:https://help.hitachivantara.com/Documentation/Pentaho/9.2/Work_with_data/Connecting_to_a_Hadoop_cluster_with_the_PDI_client

驱动获取:https://sourceforge.net/projects/pentaho/files/Pentaho-9.2/server/

        1. 打开Spoon,选择已有作业或转换,新建作业或转换也可以

        2. 点击“主对象树”-->右键“Hadoop clusters” --> “Add driver”

        3. “Browse”选择驱动,具体驱动详见“驱动获取”下载的,路径为:

../design-tools/data-integration/ADDITIONAL-FILES/drivers

我们用到的是CDH,所以选择安装:

pentaho-hadoop-shims-cdh61-kar-9.2.2021.05.00-290.kar

        4. 单击“下一步”,没什么特殊情况基本都会成功。最后重启Spoon。

3. 导入hadoop集群信息

  1. 导入之前先获取Hadoop集群信息,打开CM,选择“hive”                                          
  2. 点击“操作”--> “下载客户端配置”                                                                                            
  3. 得到里面的XX-site.xml文件,共5份
  4. 打开Spoon,选择已有作业或转换,新建作业或转换也可以
  5. 点击“主对象树”-->右键“Hadoop clusters” --> “Import cluster”,选择之前的XX-site.xml即可。这里需要注意的是:这几份文件里面存的都是Hadoop里面集群机器的内部名称,如果外部访问需要将内部的机器改为IP地址,或者在hosts那里编辑好对应的映射关系
  6. 单击“Next”完成PDI会测试相关连接并返回结果。正常配置没问题的话基本都会成功的。
  7. 不想导入也可以自己填写相关信息,如下图                                               

 

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐