この記事の目的
課金不要なLLMを使った検索プログラムを手軽に作成 ～LlamaIndex～
この記事の目的ChatGPTにはLLM(大規模言語モデル)と呼ばれる技術が使われています。このLLMを使ったプログラムを簡単に書くためのフレームワークにLlamaIndexがあります。今回は課金不要なLLMを使った検索プログラムをご紹介しま...
ottfoekst.com
2024.10.28
上記の記事で、課金不要のLLMを使って検索を行うプログラムをご紹介しました。
このプログラムの難点として、プログラムを実行する度にインターネット経由でLLMを取得するため実行に少々時間がかかることがあります。この記事ではその難点を改良してみます。
[広告]関連書籍
リンク
リンク
サンプルコード
LLMをダウンロードするプログラムを追加し(13行目～19行目)、22行目のmodel_nameにダウンロードしたLLMのパスを指定するようにしました。
これによりLLMをローカルにダウンロードして使うことができ、プログラムの実行が早くなります。
22行目で使っているHuggingFaceEmbeddingクラスのAPIリファレンスに、「model_nameにファイルパスを指定するとそのファイルパスからモデルを読み込む」と記載されています。
Huggingface - LlamaIndex
docs.llamaindex.ai
コメント