报错Cannot load *.so可能通用的解决方法

今天上80服务器跑mdistiller的代码时，意外发现torch、numpy都不能用了T_T

导入torch、numpy库时出现如下报错情况

sh: 0: getcwd() failed: No such file or directory
Intel MKL FATAL ERROR: Cannot load /home/jyg/anaconda3/envs/mdisPy37/lib/python3.7/site-packa
ges/torch/lib/../../../../libmkl_core.so.

Intel MKL FATAL ERROR: Cannot load /home/jyg/anaconda3/envs/mdisPy37/lib/python3.7/site-packa
ges/mkl/../../../libmkl_rt.so.1.

我们先看看报错信息，这个报错来自Inter MKL。Inter MKL全称是The Intel Math Kernel Library，它是一个主要是用于科学计算的共享库，提供了很多与数学优化程序，例如向量矩阵操作什么的。

报错信息说明我们在导入torch或numpy库时，无法载入libmkl_core.so.和libmkl_rt.so.1.

这两个文件以so结尾，属于共享库文件。 在Linux系统上一般以.so文件扩展名(shared object), 在MacOS上以.dylib为文件扩展名, 在Windows上以.dll (dynamic link library)为文件扩展名。

共享库的出现的一个重要原因是防止重复造轮子，它允许多个程序使用同一份代码。

这样程序里面便不需要重复写相同的代码，只需要让程序指向共享库即可，提高了程序的可复用性，也让程序变得更modular了。

从报错信息来看，它说我们无法载入某个文件。首先想到的是先确定这个文件是否存在，这里以libmkl_rt.so.1.来进行分析。

从我的机器上运行结果来看，libmkl_rt.so.1.确实存在。

那么如何让numpy或者torch库能够正确的找到Inter MKL共享库并载入它需要的共享文件呢？

这就不得不说一下LD_LIBRARY_PATH环境变量了。

LD_LIBRARY_PATH是Linux系统上一个与动态链接有关的环境变量。如果将各个程序想象成大小不一的拼图，那么链接的过程就是将这些杂乱的拼图正确地拼合起来。

当某个库或者程序需要用到其他的共享库时，在搜索标准库目录，例如/lib或者/usr/lib之前，操作系统会首先从由LD_LIBRARY_PATH指定路径下进行搜索。

因此，我们只需要将路径/home/jyg/anaconda3/envs/mdisPy37/lib添加到LD_LIBRARY_PATH即可，即执行如下命令

export LD_LIBRARY_PATH=/home/jyg/anaconda3/envs/mdisPy37/l
ib:$LD_LIBRARY_PATH

现在便能正常导入numpy或者torch库了

不要忘了，我们现在只是在当前session中临时设置了LD_LIBRARY_PATH的值，如果当前会话结束了，重新开一个会话时还需要重新export。

因此，我们可以考虑执行如下命令永久改变LD_LIBRARY_PATH的值

echo "export LD_LIBRARY_PATH=/home/jyg/anaconda3/envs/mdisPy37/lib:$LD_LIBRARY_PATH" >> ~/.bashrc
source ~/.bashrc

写到这里，作者想到，既然当某个程序需要用到其他共享库时，Linux操作系统会首先从由LD_LIBRARY_PATH指定路径下进行搜索，那我们可以考虑将本次报错的解决方法进行推广，如果共享库文件abc.so无法正常加载，且该共享文件存在，其所在目录为/path/，那么我们便可以尝试使用如下命令进行解决：

export LD_LIBRARY_PATH=/path/:$LD_LIBRARY_PATH

comments powered by Disqus