{"componentChunkName":"component---src-modules-datocms-post-page-page-tsx","path":"/posts/32","result":{"data":{"post":{"title":"ディープラーニングやろうぜ! MacBookPro-MacOSX10.10にGPUを使えるCaffeをビルドする","author":{"name":"reoring","images":{"r32":{"src":"https://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&fm=png&h=32&mask=ellipse&w=32","srcSet":"https://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&dpr=1&fm=png&h=32&mask=ellipse&w=32 1x,\nhttps://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&dpr=1.5&fm=png&h=32&mask=ellipse&w=32 1.5x,\nhttps://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&dpr=2&fm=png&h=32&mask=ellipse&w=32 2x,\nhttps://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&dpr=3&fm=png&h=32&mask=ellipse&w=32 3x"},"r48":{"src":"https://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&fm=png&h=48&mask=ellipse&w=48","srcSet":"https://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&dpr=1&fm=png&h=48&mask=ellipse&w=48 1x,\nhttps://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&dpr=1.5&fm=png&h=48&mask=ellipse&w=48 1.5x,\nhttps://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&dpr=2&fm=png&h=48&mask=ellipse&w=48 2x,\nhttps://www.datocms-assets.com/29850/1591833154-735890.jpg?auto=format&dpr=3&fm=png&h=48&mask=ellipse&w=48 3x"}},"bio":"株式会社クラフトマンソフトウェア代表 | Schoo講師 | 分報発祥の会社 | YYPHP主催 | マンガでわかるDocker監修 | 実践ドメイン駆動設計レビュア | 自動受け入れテスト ShouldBee http://shouldbee.at/"},"date":"2015年7月31日","tags":["ディープラーニング","Deep-Learning"],"category":"プログラミング","body":"

テスト自動化サービスのShouldBeeでは、テスト作業のさらなる省力化のために人工知能を用いた機能を開発しています。今回は、ディープラーニングフレームワークであるCaffeをインストールして使える状態にしていきます。

\n

MacBookPro(Late 2013)は、NVIDIAのGeForce GT 750Mが搭載されているので、CUDAが利用できます。

\n

本記事は2015/7/31時点の段階で一番確実なビルド方法です。
\nこれまでは、libstdc++を使うためのFormulaの変更が必要でしたが、libstdc++問題は現在は発生しないので、Formulaの書き換えは不要になりました。

\n

\n > pyenvを使ってanaconda 2.1.0をインストールするpyenvを使ってanaconda 2.1.0をインストールする

\n
\n

AnacondaはPythonの数値計算環境を構築するために様々なパッケージをまとめた無料のディストリビューションです。 インストールを行うことで、NumPy，SciPy，matplotlibはもちろん、機械学習ライブラリscikit-learn等のパッケージをインストールできます。

\n
\n

とのことなので、今回はpython環境にanacondaを使っていきます。

\n
\n
\nshell
\n
brew install pyenv\nexport PYENV_ROOT=/usr/local/var/pyenv\n# もしくは、export $HOME/.pyenv\n# 記事中では、$HOME/.pyenvとなっていますので適切に読み変えてください。\n\npyenv install anaconda-2.1.0 # とても時間がかかります\n
\n
\n

\n > anaconda-2.1.0を使うように選択するanaconda-2.1.0を使うように選択する

\n
\n
\nshell
\n
pyenv local anaconda-2.1.0\npyenv global anaconda-2.1.0\n
\n
\n

\n > pyenvを使うようにshellを設定pyenvを使うようにshellを設定

\n

.zshrcや、.bashrcに下記を記述して、sourceコマンドで読み込ませる

\n
\n
\nshell
\n
export PYENV_ROOT=\"$HOME/.pyenv\"\nexport PATH=\"$PYENV_ROOT/bin:$PATH\"\neval \"$(pyenv init -)\"\n
\n
\n

最後に、 pyenv rehash する。

\n

\n > 各種依存のインストール各種依存のインストール

\n
\n
\nshell
\n
brew install --fresh -vd snappy leveldb gflags glog szip lmdb\nbrew tap homebrew/science\nbrew install hdf5 opencv\n
\n
\n

\n > BLASのインストールBLASのインストール

\n
\n

Basic Linear Algebra Subprograms（BLAS）は、ベクトルと行列に関する基本線型代数操作を実行するライブラリAPIのデファクトスタンダードである

\n
\n

とのことなので、今回はopenblasを使う

\n
\n
\nshell
\n
brew tap homebrew/science\nbrew install homebrew/science/openblas\n
\n
\n

\n > boostと、boost-pythonboostと、boost-python

\n

boostは、1.55.0を使用しないとcaffeがビルドできない。

\n
\n
\nshell
\n
cd /usr/local\ngit checkout a252214 /usr/local/Library/Formula/boost.rb\n
\n
\n

boost-pythonのformulaを編集して、boost1.55を使用するよう変更する。

\n
\n
\nshell
\n
brew edit boost-python\nclass BoostPython < Formula\nhomepage \"http://www.boost.org\"\n--> url 'https://downloads.sourceforge.net/project/boost/boost/1.55.0/boost_1_55_0.tar.bz2'\n--> sha1 'cef9a0cc7084b1d639e06cd3bc34e4251524c840'\n
\n
\n

最後にインストール

\n
\n
\nshell
\n
brew install --build-from-source --fresh -vd boost boost-python\n
\n
\n

\n > CUDAのインストールCUDAのインストール

\n

\n > 設定→省電力の設定を変更して常にGPUを有効にする設定→省電力の設定を変更して常にGPUを有効にする

\n\"Blank_Skitch_Document-1.png\n
\n
\nshell
\n
brew cask install cuda\n
\n
\n

\n > カーネルエクステンションのロードカーネルエクステンションのロード

\n
\n
\nshell
\n
sudo kextload /System/Library/Extensions/CUDA.kext\n
\n
\n

\n > devieQueryでCUDAデバイスが認識しているか確認devieQueryでCUDAデバイスが認識しているか確認

\n
\n
\nshell
\n
cd /Developer/NVIDIA/CUDA-7.0/samples/1_Utilities/deviceQuery\nmake\n./deviceQuery\n
\n
\n

下記のように認識していればOK

\n
\n
\nshell
\n
./deviceQuery Starting...\n\n CUDA Device Query (Runtime API) version (CUDART static linking)\n\nDetected 1 CUDA Capable device(s)\n\nDevice 0: \"GeForce GT 750M\"\n  CUDA Driver Version / Runtime Version          7.0 / 7.0\n  CUDA Capability Major/Minor version number:    3.0\n  Total amount of global memory:                 2048 MBytes (2147024896 bytes)\n  ( 2) Multiprocessors, (192) CUDA Cores/MP:     384 CUDA Cores\n  GPU Max Clock rate:                            926 MHz (0.93 GHz)\n  Memory Clock rate:                             2508 Mhz\n  Memory Bus Width:                              128-bit\n  L2 Cache Size:                                 262144 bytes\n  Maximum Texture Dimension Size (x,y,z)         1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)\n  Maximum Layered 1D Texture Size, (num) layers  1D=(16384), 2048 layers\n  Maximum Layered 2D Texture Size, (num) layers  2D=(16384, 16384), 2048 layers\n  Total amount of constant memory:               65536 bytes\n  Total amount of shared memory per block:       49152 bytes\n  Total number of registers available per block: 65536\n  Warp size:                                     32\n  Maximum number of threads per multiprocessor:  2048\n  Maximum number of threads per block:           1024\n  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)\n  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)\n  Maximum memory pitch:                          2147483647 bytes\n  Texture alignment:                             512 bytes\n  Concurrent copy and kernel execution:          Yes with 1 copy engine(s)\n  Run time limit on kernels:                     Yes\n  Integrated GPU sharing Host Memory:            No\n  Support host page-locked memory mapping:       Yes\n  Alignment requirement for Surfaces:            Yes\n  Device has ECC support:                        Disabled\n  Device supports Unified Addressing (UVA):      Yes\n  Device PCI Domain ID / Bus ID / location ID:   0 / 1 / 0\n  Compute Mode:\n     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >\n\ndeviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 7.0, CUDA Runtime Version = 7.0, NumDevs = 1, Device0 = GeForce GT 750M\nResult = PASS\n
\n
\n

\n > dylibライブラリの指定dylibライブラリの指定

\n
\n
\nshell
\n
export DYLD_FALLBACK_LIBRARY_PATH=/usr/local/cuda/lib:/Users/reoring/.pyenv/versions/anaconda-2.1.0/lib:/usr/local/lib\n
\n
\n

\n > CaffeのビルドCaffeのビルド

\n

\n > ソースコード取得ソースコード取得

\n
\n
\nshell
\n
git clone https://github.com/BVLC/caffe.git\ncd caffe\n
\n
\n

\n > ビルドビルド

\n
\n
\nshell
\n
mkdir build\ncd build\n
\n
\n

cmakeでMakefileを生成する。こときに、-DPYTHON_LIBRARYでanacondaのlibpython2.7.dylibを指定しないと、実行時にSegfaultで落ちる。

\n
\n
\nshell
\n
cmake -DPYTHON_LIBRARY=/Users/reoring/.pyenv/versions/anaconda-2.1.0/lib/libpython2.7.dylib ..\n
\n
\n

cmakeの出力が下記のようになっていればOK

\n
\n
\nshell
\n
-- Boost version: 1.55.0\n-- Found the following Boost libraries:\n--   system\n--   thread\n-- Found gflags  (include: /usr/local/include, library: /usr/local/lib/libgflags.dylib)\n-- Found glog    (include: /usr/local/include, library: /usr/local/lib/libglog.dylib)\n-- Found PROTOBUF Compiler: /usr/local/bin/protoc\n-- Found lmdb    (include: /usr/local/include, library: /usr/local/lib/liblmdb.dylib)\n-- Found LevelDB (include: /usr/local/include, library: /usr/local/lib/libleveldb.dylib)\n-- Found Snappy  (include: /usr/local/include, library: /usr/local/lib/libsnappy.dylib)\n-- CUDA detected: 7.0\n-- Added CUDA NVCC flags for: sm_30\n-- Cuda + Boost 1.55: Applying noinline work around\n-- OpenCV found (/usr/local/share/OpenCV)\n-- Found vecLib as part of Accelerate.framework\n-- NumPy ver. 1.9.0 found (include: /Users/reoring/.pyenv/versions/anaconda-2.1.0/lib/python2.7/site-packages/numpy/core/include)\n-- Boost version: 1.55.0\n-- Found the following Boost libraries:\n--   python\n-- Could NOT find Doxygen (missing:  DOXYGEN_EXECUTABLE)\n--\n-- ******************* Caffe Configuration Summary *******************\n-- General:\n--   Version           :   <TODO> (Caffe doesn't declare its version in headers)\n--   Git               :   rc2-362-g7f70854\n--   System            :   Darwin\n--   C++ compiler      :   /Applications/Xcode.app/Contents/Developer/Toolchains/XcodeDefault.xctoolchain/usr/bin/c++\n--   Release CXX flags :   -O3 -DNDEBUG -fPIC -Wall -Wno-sign-compare -Wno-uninitialized\n--   Debug CXX flags   :   -g -fPIC -Wall -Wno-sign-compare -Wno-uninitialized\n--   Build type        :   Release\n--\n--   BUILD_SHARED_LIBS :   ON\n--   BUILD_python      :   ON\n--   BUILD_matlab      :   OFF\n--   BUILD_docs        :   ON\n--   CPU_ONLY          :   OFF\n--\n-- Dependencies:\n--   BLAS              :   Yes (vecLib)\n--   Boost             :   Yes (ver. 1.55)\n--   glog              :   Yes\n--   gflags            :   Yes\n--   protobuf          :   Yes (ver. 2.6.1)\n--   lmdb              :   Yes (ver. 0.9.14)\n--   Snappy            :   Yes (ver. 1.1.3)\n--   LevelDB           :   Yes (ver. 1.18)\n--   OpenCV            :   Yes (ver. 2.4.11)\n--   CUDA              :   Yes (ver. 7.0)\n--\n-- NVIDIA CUDA:\n--   Target GPU(s)     :   Auto\n--   GPU arch(s)       :   sm_30\n--   cuDNN             :   Not found\n--\n-- Python:\n--   Interpreter       :   /Users/reoring/.pyenv/shims/python2.7 (ver. 2.7.10)\n--   Libraries         :   /Users/reoring/.pyenv/versions/anaconda-2.1.0/lib/libpython2.7.dylib (ver 2.7.6)\n--   NumPy             :   /Users/reoring/.pyenv/versions/anaconda-2.1.0/lib/python2.7/site-packages/numpy/core/include (ver 1.9.0)\n--\n-- Documentaion:\n--   Doxygen           :   No\n--   config_file       :\n--\n-- Install:\n--   Install path      :   /Users/reoring/git/github/caffe/build/install\n--\n-- Configuring done\n-- Generating done\n-- Build files have been written to: /Users/reoring/git/github/caffe/build\n
\n
\n

\n > MNISTを使って学習のテストをしてみるMNISTを使って学習のテストをしてみる

\n
\n
\nshell
\n
cd /path/to/caffe\n./data/mnist/get_mnist.sh\n./examples/mnist/create_mnist.sh\n./examples/mnist/train_lenet.sh\n
\n
\n

GPUが使われていれば先頭に下記のようなメッセージがでるはずです。

\n
\n
\nshell
\n
I0731 19:32:39.669621 2005259008 caffe.cpp:113] Use GPU with device ID 0\n
\n
\n

\n > エラーエラー

\n

\n > Python error__colon__ PyThreadState_Get__colon__ no current threadPython error: PyThreadState_Get: no current thread

\n

boost-pythonの1.55.0を、1.58.0にして再インストールすると治りますが、caffeのビルドには失敗するかもしれません。

\n
\n
\nshell
\n
brew uninstall boost-python\nbrew install --build-from-source --fresh -vd boost-python\n
\n
\n

\n > ReferencesReferences

\n\n"}},"pageContext":{"id":"DatoCmsPost-5142967-ja","description":"テスト自動化サービスのShouldBeeでは、テスト作業のさらなる省力化のために人工知能を用いた機能を開発しています。今回は、ディープラーニングフレームワークであるCaffeをインストールして使える状態にしていきます。 MacBookPro(Late 2013)は、NVIDIAのGeForce GT 750Mが搭載されているので、CUDAが利用できます。 本記事は2015/7/31時点の段階で一番確実なビルド方法です。 これまでは、libstdc++を使うためのFormulaの変更が必要でしたが、libstdc++問題は現在は発生しないので、Formulaの書き換えは不要になりました。 pye","toc":[{"tag":"h1","depth":1,"href":"#pyenv%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%A6anaconda%202.1.0%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%99%E3%82%8B","text":"pyenvを使ってanaconda 2.1.0をインストールする","html":"pyenvを使ってanaconda 2.1.0をインストールする"},{"tag":"h2","depth":2,"href":"#anaconda-2.1.0%E3%82%92%E4%BD%BF%E3%81%86%E3%82%88%E3%81%86%E3%81%AB%E9%81%B8%E6%8A%9E%E3%81%99%E3%82%8B","text":"anaconda-2.1.0を使うように選択する","html":"anaconda-2.1.0を使うように選択する"},{"tag":"h2","depth":2,"href":"#pyenv%E3%82%92%E4%BD%BF%E3%81%86%E3%82%88%E3%81%86%E3%81%ABshell%E3%82%92%E8%A8%AD%E5%AE%9A","text":"pyenvを使うようにshellを設定","html":"pyenvを使うようにshellを設定"},{"tag":"h1","depth":1,"href":"#%E5%90%84%E7%A8%AE%E4%BE%9D%E5%AD%98%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB","text":"各種依存のインストール","html":"各種依存のインストール"},{"tag":"h1","depth":1,"href":"#BLAS%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB","text":"BLASのインストール","html":"BLASのインストール"},{"tag":"h1","depth":1,"href":"#boost%E3%81%A8%E3%80%81boost-python","text":"boostと、boost-python","html":"boostと、boost-python"},{"tag":"h1","depth":1,"href":"#CUDA%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB","text":"CUDAのインストール","html":"CUDAのインストール"},{"tag":"h2","depth":2,"href":"#%E8%A8%AD%E5%AE%9A%E2%86%92%E7%9C%81%E9%9B%BB%E5%8A%9B%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%82%92%E5%A4%89%E6%9B%B4%E3%81%97%E3%81%A6%E5%B8%B8%E3%81%ABGPU%E3%82%92%E6%9C%89%E5%8A%B9%E3%81%AB%E3%81%99%E3%82%8B","text":"設定→省電力の設定を変更して常にGPUを有効にする","html":"設定→省電力の設定を変更して常にGPUを有効にする"},{"tag":"h2","depth":2,"href":"#%E3%82%AB%E3%83%BC%E3%83%8D%E3%83%AB%E3%82%A8%E3%82%AF%E3%82%B9%E3%83%86%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%AE%E3%83%AD%E3%83%BC%E3%83%89","text":"カーネルエクステンションのロード","html":"カーネルエクステンションのロード"},{"tag":"h2","depth":2,"href":"#devieQuery%E3%81%A7CUDA%E3%83%87%E3%83%90%E3%82%A4%E3%82%B9%E3%81%8C%E8%AA%8D%E8%AD%98%E3%81%97%E3%81%A6%E3%81%84%E3%82%8B%E3%81%8B%E7%A2%BA%E8%AA%8D","text":"devieQueryでCUDAデバイスが認識しているか確認","html":"devieQueryでCUDAデバイスが認識しているか確認"},{"tag":"h1","depth":1,"href":"#dylib%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA%E3%81%AE%E6%8C%87%E5%AE%9A","text":"dylibライブラリの指定","html":"dylibライブラリの指定"},{"tag":"h1","depth":1,"href":"#Caffe%E3%81%AE%E3%83%93%E3%83%AB%E3%83%89","text":"Caffeのビルド","html":"Caffeのビルド"},{"tag":"h2","depth":2,"href":"#%E3%82%BD%E3%83%BC%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%89%E5%8F%96%E5%BE%97","text":"ソースコード取得","html":"ソースコード取得"},{"tag":"h2","depth":2,"href":"#%E3%83%93%E3%83%AB%E3%83%89","text":"ビルド","html":"ビルド"},{"tag":"h1","depth":1,"href":"#MNIST%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%A6%E5%AD%A6%E7%BF%92%E3%81%AE%E3%83%86%E3%82%B9%E3%83%88%E3%82%92%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B","text":"MNISTを使って学習のテストをしてみる","html":"MNISTを使って学習のテストをしてみる"},{"tag":"h1","depth":1,"href":"#%E3%82%A8%E3%83%A9%E3%83%BC","text":"エラー","html":"エラー"},{"tag":"h2","depth":2,"href":"#Python%20error:%20PyThreadState_Get:%20no%20current%20thread","text":"Python error: PyThreadState_Get: no current thread","html":"Python error: PyThreadState_Get: no current thread"},{"tag":"h1","depth":1,"href":"#References","text":"References","html":"References"}],"ogpImageUrl":"https://www.datocms-assets.com/29850/1593190022-pastedimage20200627146.png?fm=png&mark64=aHR0cHM6Ly93d3cuZGF0b2Ntcy1hc3NldHMuY29tLzI5ODUwLzE1OTMxNTQ2MzYtdHJhbnNwYXJlbnQtcGl4ZWwucG5nP3c9NDAwJmg9NjQmZml0PWNyb3AmYmxlbmQ2ND1hSFIwY0hNNkx5OTNkM2N1WkdGMGIyTnRjeTFoYzNObGRITXVZMjl0THpJNU9EVXdMekUxT1RFNE16TXhOVFF0TnpNMU9Ea3dMbXB3Wno5dFlYTnJQV1ZzYkdsd2MyVW1abTA5Y0c1bkpuYzlNalUySm1nOU1qVTImYmxlbmQtaD02NCZibGVuZC14PTAmYmxlbmQteT0wJmJsZW5kLW1vZGU9bm9ybWFsJm1hcms2ND1hSFIwY0hNNkx5OWhjM05sZEhNdWFXMW5hWGd1Ym1WMEwzNTBaWGgwUDNSNGRDMWhiR2xuYmoxdGFXUmtiR1VsTWtOc1pXWjBKblI0ZEMxbWIyNTBQWE5oYm5NdGMyVnlhV1lsTWtOaWIyeGtKblI0ZEMxamIyeHZjajB5TWpFNE1UWW1kSGgwTmpROVkyMVdkbU50YkhWYWR5WjBlSFF0YzJsNlpUMHpNQ1pvUFRZMCZtYXJrLXg9NjQmbWFyay1hbGlnbj1taWRkbGUlMkNsZWZ0&mark-align=bottom%2Cleft&mark-x=100&mark-y=496&blend64=aHR0cHM6Ly93d3cuZGF0b2Ntcy1hc3NldHMuY29tLzI5ODUwLzE1OTMxNTQ2MzYtdHJhbnNwYXJlbnQtcGl4ZWwucG5nP3c9MTIwMCZoPTYzMCZmaXQ9Y3JvcCZtYXJrNjQ9YUhSMGNITTZMeTkzZDNjdVpHRjBiMk50Y3kxaGMzTmxkSE11WTI5dEx6STVPRFV3THpFMU9UTXhOVEE1TkRBdFkzSmhablJ6YldGdUxUQXhMbkJ1WncmbWFyay1hbGlnbj10b3AlMkNjZW50ZXImbWFyay13PTI1MCZtYXJrLXk9ODAmYmxlbmQ2ND1hSFIwY0hNNkx5OWhjM05sZEhNdWFXMW5hWGd1Ym1WMEwzNTBaWGgwUDNSNGRDMWhiR2xuYmoxdGFXUmtiR1VsTWtOalpXNTBaWEltZEhoMExXWnZiblE5YzJGdWN5MXpaWEpwWmlVeVEySnZiR1FtZEhoMExYQmhaRDB4TURBbWRIaDBMV052Ykc5eVBUSXlNVGd4TmlaMGVIUTJORDAwTkU5SU5EUkxhalEwVHpnME5FOVlORFJQY0RRMFR6ZzBORTlNTkRSUGVqUTBTM2MwTkV0Rk5EUkxUalEwUjBjME5FZGpTVk5DVGxsWFRrTmlNamx5VlVoS2RreFZNV2haTURsVVYwUkZkMHhxUlhjME5FZHlVakZDVmpRMFMxTTFUREpmTkRSSFNUUTBTMHhSTWtadFdtMVlhbWR3VEdwbk5WQnFaeloyYW1jMGJtcG5XbTVxWjI5ekpuUjRkQzF6YVhwbFBUVTFKbmM5TVRJd01DWm9QVFl6TUEmYmxlbmQtbW9kZT1ub3JtYWw&blend-mode=normal","otherPost":{"type":"author","title":"Reactコンポーネント紹介! 今回は、日付の範囲選択ができる「react-date-range」!","slug":"/posts/41"}}}}