Hive在spark2.0.0启动时无法访问../lib/spark

最近将整个架构升级到Spark 2.0.0之后，发现一个问题，就是每次进行Hive --service metastore启动的时候，总是会报一个小BUG。

无法访问/home/ndscbigdata/soft/spark-2.0.0/lib/spark-assembly-*.jar: 没有那个文件或目录。

而这一行究竟是怎么回事，网上没有任何有关的资料。

没办法，只好一步一步分析，终于找到问题的症结。

其主要的原因是：在hive.sh的文件中，发现了这样的命令，原来初始当spark存在的时候，进行spark中相关的JAR包的加载。而自从spark升级到2.0.0之后，原有的lib的整个大JAR包已经被分散的小JAR包的替代，所以肯定没有办法找到这个spark-assembly的JAR包。这就是问题所在。

# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"

将这个spark-assembly-*.jar`替换成jars/*.jar，就不会出现这样的问题。

这也印证了各个软件升级过程中如何涉及到自动联运或者向下兼容的问题。