RAG RAGのためのテキスト分割関数
RAGのためのテキスト分割関数文章となる文字列をチャンクという塊に分割し分けたものをベクトル化してDBに入れるこのためチャンクに分ける分割関数を作成する以下解説チャンクサイズの設定塊の許容範囲の設定これにより１０００文字なら最初の２００文字...
RAG Chroma chromaDB
ローカルLLMを使ってRAGが導入された本格的なチャットボットを作ろう！ローカルLLM実行ツールであるOllamaとPythonを使ってローカル環境にいくら実行しても無料のAI環境を作ろう！で word ファイルをRAGにしているので参考に...
Chroma chromaDB + streamlit + elyza:jp8b
のコードを OpenAI のAPIではなく Ollama のelyza:jp8bを使用するようにコードを変更openai の依存を削除し、/api/chat（ストリーミング）を requests で直接呼び出し。モデル既定値を elyza:...
QGIS 国土数値情報の洪水浸水想定区域データをダウンロード
OGIS用データのダウンロード国土数値情報の洪水浸水想定区域データをダウンロード一番新しいものは最新のデータは第4.0版（2022年度）に基づいています。データ詳細はこちら（データ作成年度：2022年度（令和4年度））が最新のダウンロードに...
QGIS QGISメモ
QGIS属性データの確認と編集属性テーブルの操作をするには読み込んだシェープファイル、今回なら観光スポット（スポーツ）を右クリックし属性テーブルを開くを選択するこれでデータが出てくるのでペンのアイコンの編集モードの切り替えをクリックこれでデ...
RAG RAGのためのPDF内容抽出
RAGのためのPDF内容抽出としたけどご提供いただいたPDFファイルから、指定された形式（ページ番号の付与、レイアウトの維持、表のMarkdown変換など）でテキストを抽出するご依頼ですね。残念ながら、私の内部ツールは、PDFファイルから画...
QGIS QGISのためのCSVデータのダウンロード
QGISのためのCSVデータのダウンロード地図は表示できたのでCSVファイルなどをダウンロードし内容を重ねて表示する今回は世田谷区GISオープンデータを使うこの中から観光スポット > スポーツでダウンロード形式が選べるのでとりあえずCSVG...
QGIS QGISの使い方メモ
QGISの使い方メモまずは地図表示でOpenStreetMapを表示次にGoogle Map を追加したいのでXYZタイルを右クリックし新規接続を選択URLを追加することで地図を追加できるこのURLはQGIS Google Map で検索す...
chatGPT Log PDFからGPTの連携
PDFからGPTの連携chatGPT とPDFの連携を参考にするただしテキスト情報のみのPDFでの話PDFと連携するにはまずPDFからテキスト情報を抽出するPDFにはテキスト以外にも画像データがあるが今回の講座は文字のみを想定PDFから文字...
QGIS QGISのインストール
QGISのインストール最新版はLTRのついてるものになり意味はLong Term ReleaseUbuntu のLTSみたいな感じ今回は Macで行うが公式サイトDownloadをクリックすると寄付するか聞かれるけど最低でも１０ユーロからに...