AI | 【ヒプノテック】カテゴリ | 株式会社ヒプスター

LLM/Phi-3へのプログラム・アクセスの調査記録

Phi-3 モデルの導入手順導入する Phi-3 のモデルとして Hugging Face から取得可能な「phi-3-mini-4k-instruct」の ONNX 形式を採用。また、プログラムアクセスに「ONNX […]

inoue55

Gemma モデルの導入手順導入する Gemma のモデルとして Hugging Face から取得可能な「google/gemma-2b-it」を採用。また、プログラムアクセスにフレームワーク「 Hugging F […]

inoue55

Mistral モデルの導入手順導入する Mistral のモデルとして「TheBloke/Mistral-7B-Instruct-v0.2-GGUF」を採用。また、プログラムでアクセスする方法として「llama. […]

inoue55

実施環境 ※ Windows環境（WSL含む）でも動作可能だが、CPUでの推論性能が比較的低く（Linux版に比べて5~20%程度遅くなることが多い）、メモリ効率の低下、動作実績の少なさによる運用時のトラブル対応やメンテ […]

inoue55