AI
-
LLM/Phi-3へのプログラム・アクセスの調査記録
Phi-3 モデルの導入手順 導入する Phi-3 のモデルとして Hugging Face から取得可能な「phi-3-mini-4k-instruct」の ONNX 形式を採用。 また、プログラムアクセスに「ONNX […]
-
LLM/Gemmaへのプログラム・アクセスの調査記録
Gemma モデルの導入手順 導入する Gemma のモデルとして Hugging Face から取得可能な「google/gemma-2b-it」を採用。 また、プログラムアクセスにフレームワーク「 Hugging F […]
-
LLM/Mistralへのプログラム・アクセスの調査記録
Mistral モデルの導入手順 導入する Mistral のモデルとして 「TheBloke/Mistral-7B-Instruct-v0.2-GGUF」を採用。 また、プログラムでアクセスする方法として「llama. […]
-
LLM社内運用の構築記録
実施環境 ※ Windows環境(WSL含む)でも動作可能だが、CPUでの推論性能が比較的低く(Linux版に比べて5~20%程度遅くなることが多い)、メモリ効率の低下、動作実績の少なさによる運用時のトラブル対応やメンテ […]
- 1
全4件中1件~4件を表示