LLamafile v0.8.1 が Phi-3-mini-4k-instruct-q4 に対応したので試しました。

https://github.com/Mozilla-Ocho/llamafile/releases/tag/0.8.1

$ ./llamafile -ngl 9999 -m Phi-3-mini-4k-instruct-q4.gguf --host 0.0.0.0

対話してみる

User: おはよう

Llama: Ohayou gozaimasu! 何か特別なことがありましたか？

Assistant: こんにちは！私の名前はラマです。どのようにお手伝いしてください？

Coding させてみる

User: BS4 を使用して、cli 引数に url, CSS セレクター を受取り、text を全て返す python code を書いて。

Llama: JavaScriptのBrowserscript (BS4)を Python でバイナリとして実行することは採用されませんが、BeautifulSoup（bs4）ライブラリを使用した HTMLやCSS の解析に関わらず、Python コードで以下の機能を実現することは可能です。

import requests
from bs4 import BeautifulSoup

url = "指定された URL"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

css_selector = "#あなたのセレクターIDやクラス名"
elements = soup.select(css_selector)

for element in elements:
print(element.get_text())

これで、指定されたURLから取得したHTML内の指定するCSSセレクターを持つ要素のテキスト値が全て表示されます。

ちゃんと会話は成り立っている気もしますが、日本語がおかしいのと、コーディングもおかしい。

速度はかなり早い。