温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的SAS提供了从基本统计数的计算到各种试验设计的方差分析,相关回归分析以及多变数分析的多种统计分析过程,几乎囊括了所有最新分析方法,其分析技术先进,可靠。分析方法的实现通过过程调用完成。许多过程同时提供了多种算法和选项。Cloudera与SAS是相互认证的合作伙伴,在各自的官网都能找到集成安装的专业文档,也能得到专业的支持。本文主要是介绍如何安装SAS,并连接配置到Hive和Impala。内容概述1.SAS的安装与配置2.SAS连接HDFS和操作3.SAS连接Hive和操作4.SAS连接Impala和操作测试环境1.CDH5.14.12.SAS 9.43.客户端Windows 72.SAS客户端下载并安装1.下载SAS客户端安装软件下载地址:https://www.sas.com/zh_cn/software/university-edition/download-software.html#windows(可左右滑动)根据官网提示说明进行进行下载。2.双击setup安装程序,安装SAS选择语言选择安装SAS软件指定安装目录,注意安装目录不能含中文选择部署类型选择需要安装的产品,全选除”SAS Bridge for Esri”选择“SAS Enterprise Guide模式”选择所有的“SAS Foundation产品”指定SAS安装数据(SID)文件选择安装语言语言区域设置选择“SAS文件类型的默认产品”指定Internet浏览器指定SAS/GRAPH Java Applet部署目录选择SAS PC Files Server系统服务器选项指定SAS PC Files Server的端口号输入SAS环境URL地址为:http://localhost:8080/saslogon/sas-environment.xml指定SAS Document Conversion主机和端口检查系统部署汇总点击“开始”进行部署安装成功选择支持项完成安装到此为止完成SAS的安装。3.打开SAS客户端,验证安装模块是否完整。显示界面如下:4.运行如下命令可以看到我们安装的模块proc setinit;run;注意:在输出的安装模块中必须包含Hadoop,否则无法连接Hadoop集群。检查SID文件是否包含该模块,如果包含Hadoop模块则重新安装Hadoop模块。3.SAS环境配置1.配置SAS访问Hadoop的环境变量将CDH集群/opt/cloudera/parcels/CDH/jars目录下的所有jar包下载至本地通过ClouderaManager Web界面下载HDFS的客户端配置文件至本地2.配置SAS客户端上的环境变量右击计算机→属性→高级系统设置→环境变量根据我们本地存放的路径,配置如下环境变量:SAS_HADOOP_CONFIG_PATH= D:\Documents\configSAS_HADOOP_JAR_PATH= D:\Documents\jarsSAS_HADOOP_RESTFUL=1(可左右滑动)配置方式如下:3.配置SAS客户端上hosts文件将CDH集群的hosts信息同步到C:\Windows\System32\drivers\etc\hosts文件中,内容如下:4.HDFS的连接和操作1.SAS访问HDFS示例查看hdfs上/user目录下的文件在本地的C:\Users\Administrator\Desktop\的目录下新建test.txt文件用于测试,内容如下:然后在sas软件上编辑程序内容如下:proc hadoop cfg=\"D:\Documents\config\hdfs-site.xml\" username=\"root\" password=\"12345678\" verbose;hdfs mkdir=\"/user/testsas\";hdfs copyfromlocal='C:\Users\Administrator\Desktop\test.txt'out='/user/testsas/test.txt';run; (可左右滑动)代码说明:使用SAS的prochadoop访问HDFS,在HDFS的/user目录下新建testsas目录并将本地C:\Users\Administrator\Desktop\test.txt文件上传至HDFS的/user/testsas目录下。代码运行结果:在CDH集群主机上用命令行查看,可以看到已经创建了testsas文件夹和文件test.txt,查看test.txt文件与本地文件内容一致,表示SAS访问HDFS并成功操作。5.Hive的连接和操作1.编写SAS访问Hive代码,示例如下:libname hive Hadoop server=\"your_server_name\" database=\"default\" user=\"hive\" password=\"12345678\";proc sql;select from hive.new1;quit;(可左右滑动)代码说明:使用libname方式创建名为hive的逻辑库(使用hive用户访问Hive的default库),并查询hive逻辑库下的new1表。示例中Procsql代码需要在表名前添加逻辑库名才可以正常运行,所以示例中表名是hive.new1。在SAS中运行代码,执行结果如下:双击Hive逻辑库,查看逻辑库中的表查看SQL执行结果2.在集群的命令行使用hive命令查看default库下的表及new1表的数据可以看到Hive逻辑库中的表与Hivedefault库中的表一致,new1表内容与SAS逻辑库下new1表数据一致。3.也可以在SAS客户端通过界面的方式对Hive库中的表进行操作,通过点击SAS资源管理器->逻辑库->hive。查看表数据:和命令行查询进行对比,结果一致。删除表:和命令行查询进行对比,结果一致。新增表:和命令行查询进行对比,结果一致。6.配置impala的ODBC连接并测试1.下载Impala的ODBC驱动下载地址为:https://www.cloudera.com/downloads/connectors/impala/odbc/2-5-40.html(可左右滑动)2.5.40为目前最新版本,根据你的操作系统的实际情况选择,Fayson的电脑是Windows的系统,64位。2.安装Impala的ODBC驱动双击下载好的msi文件进行安装3.配置impala的ODBC连接并测试如图打开64-bit ODBC administrator → 用户DSN → 添加 → 选择cloudera odbcdriver for impala → 点击完成弹出配置界面→填写好host和其他信息→点击test→弹出success,配置完成点击“Test…”按钮,测试结果如下则表示使用ODBC的方式连接Impala成功:7.SAS连接Impala及操作1.在sas资源管理器界面空白处右键点击新建→引擎选择impala,2.输入impala的库名、服务器,数据库名、端口,由于集群未启用安全所以这里用户名和密码可不填3.信息输入完成后,点击确定,可以看到在SAS的资源管理界面新增了一个imp的逻辑库4.双击逻辑库名称进入imp逻辑库,查看逻辑库下的表及qqtest表内容使用Impala-shell命令访问Impala,查看default库下表与imp逻辑库下表信息一致5.编写SAS访问Impala代码,其代码与hive相同,示例如下:libname myipl impala server=\"your_impala_server\" database=\"default\" user=\"root\" password=\"123456\"; proc sql; select from myipl.test_impala;quit;(可左右滑动)提示:代码块部分可以左右滑动查看噢为天地立心,为生民立命,为往圣继绝学,为万世开太平。温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
0 评论