www.e-mtb.space Open in urlscan Pro
49.212.207.49  Public Scan

URL: https://www.e-mtb.space/local-large-language-model-add-gpu/
Submission: On August 23 via api from US — Scanned from JP

Form analysis 3 forms found in the DOM

POST https://www.e-mtb.space/wp-comments-post.php

<form action="https://www.e-mtb.space/wp-comments-post.php" method="post" id="commentform" class="comment-form">
  <p class="comment-notes"><span id="email-notes">メールアドレスが公開されることはありません。</span> <span class="required">*</span> が付いている欄は必須項目です</p>
  <p class="comment-form-comment"><label for="comment">コメント <span class="required">※</span></label> <textarea id="comment" name="comment" cols="45" rows="8" maxlength="65525" required="required"></textarea></p>
  <p class="comment-form-author"><label for="author">名前 <span class="required">※</span></label> <input id="author" name="author" type="text" value="" size="30" maxlength="245" autocomplete="name" required="required"></p>
  <p class="comment-form-email"><label for="email">メール <span class="required">※</span></label> <input id="email" name="email" type="text" value="" size="30" maxlength="100" aria-describedby="email-notes" autocomplete="email" required="required"></p>
  <p class="comment-form-url"><label for="url">サイト</label> <input id="url" name="url" type="text" value="" size="30" maxlength="200" autocomplete="url"></p>
  <p class="form-submit"><input name="submit" type="submit" id="submit" class="submit" value="コメントを送信"> <input type="hidden" name="comment_post_ID" value="3249" id="comment_post_ID"><input type="hidden" name="comment_parent" id="comment_parent"
      value="0"></p>
</form>

GET https://www.e-mtb.space/

<form class="search-box input-box" method="get" action="https://www.e-mtb.space/"><input type="text" placeholder="サイト内を検索" name="s" class="search-edit" aria-label="input" value=""><button type="submit" class="search-submit" aria-label="button"><span
      class="fa fa-search" aria-hidden="true"></span></button></form>

GET https://www.e-mtb.space/

<form class="search-box input-box" method="get" action="https://www.e-mtb.space/"><input type="text" placeholder="サイト内を検索" name="s" class="search-edit" aria-label="input" value=""><button type="submit" class="search-submit" aria-label="button"><span
      class="fa fa-search" aria-hidden="true"></span></button></form>

Text Content

学生がネットで起業するための情報サイト
えいちゃんの、マネジメント・テック・ブログ
 * マネジメント
 * テクノロジー
 * マーケティング
 * ストーリー

 * マネジメント
 * テクノロジー
 * マーケティング
 * ストーリー


【ローカルLLM】大規模言語モデルのあまりの遅さについカッとなってノートPCにGPUを追加する

話しのネタ・Tips
2023.08.112023.07.26

「ChatGPT」が世界を席巻するなか、大規模言語モデル(LLM)について相談を受けるようになりました。企業のAI利用ニーズとしてよくある「独自データにより追加学習させたい」という話しをしていると、手元でも試してみたい衝動にかられ、「ファインチューニング」と呼ばれる追加で学習する手法を手元で動かしてみました。
今回、Pythonなどのプログラムを1行たりとも書いていませんので(笑)、「大規模言語モデル(LLM)に興味はあるけどプログラミングはよくわからない」「ごく普通のパソコンしか持ってない」という人の参考になるかと思い、作業メモを書き残します。

いろいろと迷走しますが、最終的に追加投入した費用は「10万円」です。

目次
 * LLMやファインチューニングなどを試したいが、コードは書きたくない諸兄へ
 * 手元のノートPCに入れてみる
 * 追加学習「LoRA」ファインチューニングに挑戦
 * カッとなってゲーミングPCを探し始める。
 * 「eGPU BOX」、外付けGPUという解決策
   * 結局買ったのはこの2つ
 * 組み立ては、拍子抜けするほどカンタン
 * 「eGPU BOX+グラボ」が認識されない・・・
 * 「eGPU BOX+グラボ」がWindows11で認識されなかったときの解決ルート
   * 「Thunderbolt ソフトウェア」を最新版に
   * GPUケースの取説に「Thunderbolt ソフトウェア」を設定せよとの指令
   * NVIDIAのサイトから、グラボのドライバーをインストール
 * 「text-generation-webui」が認識してくれるか
 * 爆速!!(涙)
 * その速さは50倍!(当社比)
 * まとめ


LLMやファインチューニングなどを試したいが、コードは書きたくない諸兄へ

LLMというと多くの解説記事は「Google Colab」などのクラウドサービスを利用して、Pythonコードで指令を出す手法を使います。

Google Colaboratory

colab.research.google.com

しかし、今回は、すぐにあきてしまう・・・ではなく、話しが消えてしまう可能性もありましたので、クラウドサービスでの不自由さと技術力不足でおカネを溶かしてしまうよりはと、手元のノートパソコン(ローカル環境)で動かす方法を探しました。

今回のAIブームでありがたいのは、強烈な「オープンソース」カルチャー(プログラムやデータを無料で公開)に支配されていて、ソフトウェアはたいていのものが無料でそろうのです。予想通り、ローカル環境で、かつ、Pythonコードを1行も書かなくてもできそうなものが見つかりました。

GitHub - oobabooga/text-generation-webui: A gradio web UI for running Large
Language Models like LLaMA, llama.cpp, GPT-J, OPT, and GALACTICA.
AgradiowebUIforrunningLargeLanguageModelslikeLLaMA,llama.cpp,GPT-J,OPT,andGALACTICA.-GitHub-oobabooga/text-generation-webui:AgradiowebUIforrunningLargeLanguageM...
github.com

「text-generation-webui」です。

「画像生成AI」の分野で有名な「stable-diffusion-webui」のテキスト生成版を目指している、と書いてあります。


手元のノートPCに入れてみる

手元のWindowsパソコンは、ASUS ZenBook S「UX391UA」です。このパソコンの仕様・スペックは:

 * CPU:Core i7-8550U 1.8GHz
 * メモリ:16GB
 * GPU:内臓GPU(Intel UHD Graphics620)

「数年前に20万円ぐらいで買った」ぐらいのごく普通(ビジネス向けとしては少し高め)のノートパソコンです。

「text-generation-webui」は、実は2か月ほど前に何の印象も残らないぐらい順調にインストール済みでした。超イージーに使えるインストーラーを書いてくれているプログラマの皆様に感謝です。ちなみに、利用に関してはこの記事がわかりやすかったです。

“PCで自宅ChatGPT”がかなり手軽に! GUIで簡単導入でき日本語もOKの「Text generation web UI」【イニシャルB】
 ChatGPTのような大規模言語モデル(LLM)を、自宅のPCで動かしたい――そんなときに便利なのが、オープンソースの「TextgenerationwebUI(oobabooga/text-generation-webui)」だ。
internet.watch.impress.co.jp

この記事のように、サイバーエージェント社の「OpenCalm」はじめ、いろいろなモデルをダウンロードして動かしてみたところ、

 * 1Bモデルならなんとか動作するが、
 * 3BだとLoadに失敗するケース多数、

という感じでした。


追加学習「LORA」ファインチューニングに挑戦

「text-generation-webui」で「LoRA」を利用する方法は、LLM他AI関連ソフトウェアをお試しする記事を出し続ける「npaka」さんが書かれていました。

text-generation-webui で RinnaのLoRAファインチューニングを試す|npaka
「text-generation-webui」で「Rinna」のLoRAファインチューニングを試したので、まとめました。前回LoRAファインチューニングを試すLoRAファインチューニングの手順は、次のとおりです。(1)前々回と同じ手順で、Rinnaと会話できるように設定。今回は、Rinnaのベースモデル(rinna/j...
note.com

特に構造化(JSON化)することなく、テキストファイルをそのまま突っ込むのも許容されています。これは期待!と、試してみたところ、テキストファイルが30行程度と小さければ、待ち切れる時間(数十分以内)で、LoRAの計算が終わります。

しかし、データが少なすぎるためか、チャットしてみても
「LoRA」で学習した成果がよくわかりません。理由・要因はたくさんあるような気がしますが、もっとも短絡的に学習データを増やしてみます。

「open-calm-1b」つまり、1Bのモデルに対してLoRAのファインチューニングとして、500行ぐらいのテキストファイルをいれてみたところ・・・なんと15時間かかってしまいました。

加えて、手元のノートパソコンは薄型で、こういうハードな計算を長時間行うようにはできていないので、CPUの熱暴走を心配しなければなりません。(ノートPC用のファンを使って冷やし続けます)

うまく結果が出ない上に、ハードの心配をしつつ、長時間待たされる・・・このあたりから、だんだんとメンタルを削られていきます。


カッとなってゲーミングPCを探し始める。

だんだんと平静心を失ってきて、
「大人なんだから、おカネで解決してやるわ(怒怒怒)!!!」
という発想に変わっていきます。

そんなところに、お得情報がいろいろと舞い込んできて、誘惑されます。

最後まで悩んだのは、HPのゲーミングPCでした。

週末限定パソコンセール | 日本HP
HPDirectplusといえば週末限定パソコンセール!パソコンの購入は週末がチャンス!ノートパソコン、デスクトップ、ゲーミングパソコンなどが週替わりで掲載!お得な限定価格をお見逃しなく!
jp.ext.hp.com

時期によりセール品は変わりますが当時出ていたのは、「Windows 11 Home、 Corei7-13700F、DDR5-5200MHz 16GB、 1TB
M.2 SSD、GeForce RTX4070、223,300円、36回払い可」が、週末★限定★特価だ!と言って、迫ってきます。

しかし、たとえ4070であっても、LLMをぶん回すには足りない性能です。(この件で、グラボやゲーミングPCの情報にそこそこ詳しくなってしまいました。)

LoRA学習の進まない処理を眺めながら、丸一日悩みます。


「EGPU BOX」、外付けGPUという解決策

こういうときは一晩寝てみるものです。

朝起きてリフレッシュした冷静な頭脳を取り戻してみると、「そういえば、「eGPU BOX」、外付けGPU、と言われる製品があったぞ。」と思い当たりました。

たしか、ケースが5万円ぐらいだったような記憶です。グラフィックボードを5万円ぐらいでおさめれば、ゲーミングPCを買うに比較して、半額ぐらいでおさまります。

この解決策の一番大きな障害は、「動くことを誰も保証してくれない!」ということでした。(実は、これが、この記事を書くモチベーションになっています。)

GPUメーカーには、NVIDIAとAMDという2つがあります。

 * LLMぶん回すならNVIDIA1択、
 * Windowsはどちらも利用可能だが、MacはAMD1択(NVIDIAは政治的な理由で?MacOS非対応)

そして、肝心の「text-generation-webui」で動作するかどうかは当然誰も保証してくれませんし、ブログ記事を見つけることもできませんでした。

GPUのメモリ(VRAM)の容量は、16GBぐらいあるといいが8Gだとかなりきついと前述の記事に書いてあります。20万円程度の「ゲーミングPC」に載っているのは8Gのものばかりです(16GBを超えるようなグラボは部品単体で20万を超えたりするからです(怖)


結局買ったのはこの2つ

探しているうちにまたテンションが上がってくるものの、これ以上時間をかけるのもどうなんだと思いなおし、即座に買います。

ケースの方は、あまり悩んでもしかたがないので、Youtube動画などペラペラみながらこれに決定:

Razer Core X Chroma 外付けGPU(eGPU)BOX ThunderBolt 3 700W Windows Mac
両対応【日本正規代理店保証品】 RC21-01430100-R3J1
Razer(レイザー)
Amazonの商品レビュー・口コミを見る
Amazon
楽天
Yahoo!ショッピング

グラフィックボードは、各所でコスパの良さを絶賛されている「3060 Ti」に名前が似ている「NVIDIA Geforce
RTX3060」の12GB版が見つかりました。

玄人志向 NVIDIA GeForce RTX3060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGシリーズ
【国内正規代理店品】 GG-RTX3060-E12GB/OC/DF
玄人志向
Amazonの商品レビュー・口コミを見る
Amazon
楽天
Yahoo!ショッピング

「Sランクの中古が39,900円」というのを見つけて、ドスパラで即ポチです。


組み立ては、拍子抜けするほどカンタン

ドスパラの中古品は翌日到着しましたが、ヨドバシカメラの新品GPUケースはなぜか4日もかかって到着しました。

久しぶりにパソコンを組み立てるのかと思って、ドライバーぐらい用意しなきゃとソワソワしましたが、GPUケースは裏面のレバーを引っ張るとかちゃっと開いて、ネジは素手で開け閉めできるタイプでした。あけたらグラフィックボードを刺すだけ。工具は一切不要です。

唯一苦労したのは、グラフィックボードに付いているファンのために差す電源ケーブルの余剰分を固定しているマジックテープがなかなかはがれずに苦労した・・・ぐらいで、
PCを組み立てる醍醐味は一切味わえず(何を期待しているのか・・・)

パソコン側の「Thunderbolt」対応端子を確認して接続します。


「EGPU BOX+グラボ」が認識されない・・・

見た目USBなので刺せば認識するかと思いきや、まったくの無反応、認識しません。

ケースの内側は、いまどきのゲーミングPCよろしくピカピカ光っているので、電源が入っていないわけではなさそう。

Windowsのデバイスマネージャーを開けてみましたが、NVIDIAさんはどこにも出ておらず、相当にあせります。


「EGPU BOX+グラボ」がWINDOWS11で認識されなかったときの解決ルート

このあと、いろいろ試行錯誤・回り道をしましたが、それを読んでもおもしろくないかと思いますので、解決ルートだけを書き残します。


「THUNDERBOLT ソフトウェア」を最新版に

外部GPU(eGPU)Windows設定手順 – Razer CoreX + AMD Radeon RX6900XT | Happy Gadget Life!
Macより面倒だった・・・過去の記事にもあるように今回eGPUを導入した目的はビデオボードが弱いMacBookPro2020年度モデルで快適にゲーム動画を録画するためです。今回は別で2017年くらいに買ったノートPCにたまたまTh
information-retrieval.jp

このブログ記事をみて、「Thunderbolt ソフトウェア」をアンインストール。
手元のノートパソコンに入っていたのは、2018年の日付になっていたので、いかにも古そうです。

そして、最新版をインストールします。

Access Denied

www.intel.com

「Thunderbolt™ 3 Legacy Driver for Windows® 10 for Intel®
NUC」とあるので、Windows11なのにWindows10向けでいいのかとか、NUC向けでいいのかとか、一抹の不安を感じましたが、「Thunderbolt
ソフトウェア」が無事インストールされ2023年の日付に変わりました。

前述の記事には、このあと手作業でいろいろな設定の削除が書いてありますが、これらはやりませんでした(めんどくさかったからです・・・結果オーライ・・・)


GPUケースの取説に「THUNDERBOLT ソフトウェア」を設定せよとの指令

次の手がかりは、なんとGPUケースの説明書にありました。

https://dl.razerzone.com/master-guides/RazerSynapse3/CoreXChroma-000003866-ja.pdf

「Razer Core X Chroma の電源がオンになり、システムに接続されたら、Thunderbolt
ソフトウェアウィンドウがポップアップ表示されます。」と書かれているが、ポップアップは出ませんでした。

しかし、システムトレイ(右下の小さいアイコンが並ぶところ)に、Thunderbolt ソフトウェアのアイコンが出た(!!)のでクリックします。

「つながれたデバイスの承認」を選ぶと、説明書に書いてある画面が日本語ではあるもののそのまま出たので、「常に接続」に変更して、OKを押します。

そして、説明書には、インストーラーをダウンロードせよ、と書いてありますが、

このインストーラーは結局立ち上げただけでインストールしませんでした。

いまどき、説明書を読んだり、ドライバーを手動でインストールしたりする習慣をすっかり失っていました・・・


NVIDIAのサイトから、グラボのドライバーをインストール

実はこの作業を最初にやったのですが、ハードウェアが認識されないのでドライバーのインストールが実行できず、前述の2つの作業を行いました。

Thunderbolt系の設定をやらないで、いきなりドライバーソフトを入れようとすると、えんえんと待たされたあげくに、このOSではダメですとか、ショッキングなことを言われるので、同じ目にあってこのページを読んでいる諸兄はめげないでください(励)

最新の NVIDIA 公式ドライバーをダウンロード
最新のNVIDIA公式ドライバーをダウンロード
www.nvidia.com

今回購入した3060を選んで、ドライバーをダウンロードし、インストールします。
「ダウンロードタイプ」というのに少し悩んで、ゲーマーか、クリエイティブか、選べ、と言われるので後者を選びます。

すると、やっと認識しました。


「TEXT-GENERATION-WEBUI」が認識してくれるか

ハードウェアがWindows11に認識してもらえたので、ようやくLLMのソフトウェアを試すことができます。

「「text-generation-webui」の、インストール用バッチファイル「install.bat」を実行して、
A) NVIDIA
を選びます。この時点でうれしい!(笑)

インストールは無事に終わったものの、モデルをLoadさせると、

WARNING:torch.cuda.is_available() returned False. This means that no GPU has been detected. Falling back to CPU mode.

と、つれない返事です。

「うおー! ここまで来て・・・使えないんか・・・」とおおいにあせって、ググりまくります。

Not using CUDA · Issue #369 · oobabooga/text-generation-webui
Iamrunningwindows10,andrantheinstallscriptwithnoerrors,howeverrunningthestart-webuiscriptitwontfindmygpu(RTX3060Ti)runningcondalistrevealsnoinstalledcudapackage...
github.com

「インストーラがアップデートされてるぜー」というメッセージを見つけ、いままで動かしていたファイルをぜんぶ移動させて、新しいインストーラーをコピーし、インストールしなおします。(上書きインストールでもうまくいったのかもしれませんが、長年パソコンと付き合ってきた体が条件反射でクリーンインストールをさせます(笑)

解決しました。
Loadが成功し、チャットするとGPUが利用されていることが確認できました。


爆速!!(涙)

いままで利用していた「cyberagent/open-calm-1b」が、爆速(当社比)で動き、シャキシャキと回答するになりました。(無駄にうれしい)

しかし、3Bレベルになると、GPUメモリの使用量がフルに張り付き、Loadに失敗します。やはり、VRAM
は16G必要、というのは本当だったことがわかりました。(単純に容量・大きさだけではなく、モデルの種類にもよります。)

ここで、当初の課題を思い出します。
「LoRAの計算速度が上がったかどうか」が問題です。


その速さは50倍!(当社比)

「open-calm-3b」もLoadできるようになったので、LoRA学習に再挑戦します。

前述で15時間かかったテキストファイルをLoRA学習させてみると・・・なんと20分足らずで終わってしまいました! 約50倍の超スピードです(喜)

追加したGPUのCPUロードやメモリ使用量がどんどん上がってうれしくなります。しかし、もともと内臓されていた、Intelチップセット内臓のGPUもなぜかロードが上がっていて「?」となります。追加したGPUが100%に達すると他のGPUも使いに行くんだろうか・・・謎・・・もしかしたら内臓のGPUでもそこそこ動いたのかもしれませんが、もはや追求したくありません。


まとめ

「text-generation-webui」を使って、Pythonコードを1行も書かずに、ローカルLLMを動かしました。

ごく普通のWindowsノートパソコンに、eGPU
Box・外付けGPUをThunderbolt接続して、小さめのLLM、モデルとはいえ、そこそこの速さでローカルLLMやLoRA
ファインチューニングを試すことができました。

お役に立てば幸いです。

話しのネタ・Tips
スポンサーリンク

シェアする
TwitterFacebookはてブLINELinkedInコピー
やまうち/えいじをフォローする

やまうち/えいじ
えいちゃんの、マネジメント・テック・ブログ


関連記事

話しのネタ・Tips


NFTで話題のOPENSEA 作品を無料でファボる方法

NFT(Non-FungibleTokenの略)が話題です。そして、NFT作品が取引されるマーケットプレイスとして「OpenSea」というWebサイトがよく紹介されています。今回は、この「OpenSea」上で、気に入った作品に「Favori...
話しのネタ・Tips


ハイテンションでロックな「正食」理論~一倉定先生の「正食と人体」を読んで買う

「一倉定の正食」を学んで少しだけ実践してみました。一般的に広がっている栄養学や西洋医学の知識とは、まったく正反対・真反対の逆張り理論です。この種の話題はSEO的にいわゆるYMYLに引っ掛かりそうで、このブログがGoogleからBANされない...
話しのネタ・Tips


つきあいができないのに会って直接話したい~矛盾を無くしてしまうため、ブログをアップする

はじめに告白する。私は人付き合いが嫌いだ。嫌いなのだときちんと気がついたのはわりと最近だ。それまでは、苦手なんだとか、うまくないからがんばらないといけないとか、本気で思っていた。しかし、はっきりと自覚した。嫌いなのだ、積極的に。それについて...
話しのネタ・Tips


世界から消える寸前の新品の本を探すノウハウ

「どうしても、新品の本がほしい!」というこだわりのあるヒトに向けて、探し方のちょっとした工夫を紹介します。どうしてもどうしても新品がいい中古の本を手に入れる方法は、本当にたくさんあります。Amazon(新品の在庫・出品がない場合は、中古が出...
話しのネタ・Tips


弥生会計のサーバを安くする裏技? 自分でサーバー構築する方法と設定手順

「弥生会計でサーバーを利用しているが、リース料が高くてなんだか納得がいかない」という方々の参考になるようにと思い、自ら弥生会計のサーバを構築したときに調査検討した内容や設定した作業を、この記事にまとめました。いろいろな会社のいろいろな思惑が...
話しのネタ・Tips


QRコード決済の還元ブームに完全に乗り遅れて波に乗れない理由

QRコードの決済が盛り上がっている。いろいろな会社が、なぜかペイペイペイと繰り返している。シンプルでストレートで、ある意味発想が貧困なネーミングは、最近のトレンドなのであまり気にならない。そしてお得だ。明らかにお得。「100億円」に慣れてき...
スポンサーリンク

【ザ・テキトー】話題のChatGPTを理解するための雑学

【2023】新入社員向け研修の無料公開まとめ【プログラマ・エンジニア向け】


コメント

コメントを書き込む


コメントをどうぞ コメントをキャンセル

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

コメント ※

名前 ※

メール ※

サイト



ホーム
話しのネタ・Tips
スポンサーリンク




最近の投稿

 * 【2023】新入社員向け研修の無料公開まとめ【プログラマ・エンジニア向け】
 * 【ローカルLLM】大規模言語モデルのあまりの遅さについカッとなってノートPCにGPUを追加する
 * 【ザ・テキトー】話題のChatGPTを理解するための雑学
 * 昔の自慢話しをしなければならない、たった一つの理由
 * 「D2C」は物販に必須の教養、深掘りする理由まとめ


自己紹介/PROFILE

このブログをかいてるヒト
やまうち/えいじ

このブログでは、ネットで事業をやりたい学生起業家のために、ネット技術やマーケティング、現場のマネジメントを、超カンタンに、短くてシンプルな言葉で解説します。ネット検索ではつかみにくい概要や概略、「おおまかに言うとこういうこと!」みたいな情報をまとめます。

文系には、ネット技術の初歩、最新技術のトレンド、経営知識を、
理系・エンジニアには、マーケティング、PR手法、チーム・マネジメントの知識を、お伝えします。

起業の相談やセミナーの依頼はこちらから

やまうち/えいじをフォローする

【ローカルLLM】大規模言語モデルのあまりの遅さについカッとなってノートPCにGPUを追加する
2023.07.262023.08.11
HDDからSSDに換装したところ、あらゆるトラブルに一通りハマった件
2020.11.142021.01.02
USB-C型電源の闇に迫る!? ASUS ZenBook S「UX391UA」の別売ACアダプタ・PDを探す旅
2019.02.092020.09.11
無料になった「Google Chat」を早速使ってみた!
2021.06.202021.06.23
ヒトを寝かせない講義~講師として話しをするコツ
2018.09.012018.12.26


タグ

ITビジネスとそのマネジメント手法 Webサービス論 SEO対策 リーン・スタートアップ JavaScript ホームページ キーワードからのライティング
クラウド Webサイト マーケティング ペルソナ インターネット広告 コンテンツSEO 不動産テック 企画書 起業 HTML D2C カスタマージャーニーマップ
AI スマホアプリ スタートアップ プロジェクト・マネジメント CSS 仮想通貨 ビットコイン ビジネス MVP アジャイル プロトタイプ
プロジェクト・マネージャー WordPress X-tech ライティング DSP リスティング広告 ポジショニング ユーザー・インタビュー 付箋 ブレスト
ブレインストーミング iPhone 起業家 Chrome Google ピボット 戦略 ビッグデータ ペーパープロトタイピング UX M&A ストーリー
Webページ EC マネジメント ブロックチェーン ディープラーニング 人工知能 コンテンツ・マーケティング サイトマップ

えいちゃんの、マネジメント・テック・ブログ
 * マネジメント
 * マーケティング
 * テクノロジー
 * ストーリー
 * レモネード・ニュース
 * 話しのネタ・Tips
 * 特集・まとめ
 * お問い合わせ

© 2018-2023 Eiji Yamauchi.
 * メニュー
    * マネジメント
    * テクノロジー
    * マーケティング
    * ストーリー

 * ホーム
 * 検索
   
 * トップ
 * サイドバー
   


タイトルとURLをコピーしました