Llama-3.1-Swallow-8B-Instruct-v0.2 を試す

Llama-3.1-Swallow-8B-Instruct-v0.2 が公開されたので、試します。

https://swallow-llm.github.io/llama3.1-swallow.ja.html

使用するモデルは、４ビット量子化の tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.2-Q4_0.gguf です。

Llamafile

$ ./llamafile --version
llamafile v0.8.14

起動

まずは起動します。

$ ./llamafile -ngl 999 -m tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.2-Q4_0.gguf

アスキーアートが表示されました
かわいい！！

性能テスト 挨拶

>>> おはよう
おはようございます！今日はどのようなご用件でしょうか？

>>> 日本で２番目に高い山は？
北岳です。

性能テスト コーディング

>>> BS4 を使用して、cli 引数に url, CSS セレクター を受取り、text を全て返す python code を書いて。
以下は、BeautifulSoup4 (BS4) を使用して、CLI 引数から URL、CSS セレクター、そしてそのセレクターにマッチするテキストを取得する Python コードの例です。

```python
import argparse
from bs4 import BeautifulSoup
import requests

def get_text_from_url(url, css_selector):
    """
    指定された URL から CSS セレクターにマッチするテキストを取得します。
    
    Parameters:
    url (str): 対象の URL
    css_selector (str): CSS セレクター
    
    Returns:
    str: CSS セレクターにマッチするテキスト
    """
    try:
        # URL から HTML を取得
        response = requests.get(url)
        response.raise_for_status()  # HTTP エラーが発生した場合、例外を発生させる
        html = response.text
        
        # BeautifulSoup で HTML をパース
        soup = BeautifulSoup(html, 'html.parser')
        
        # CSS セレクターにマッチする要素を取得
        elements = soup.select(css_selector)
        
        # マッチした要素のテキストを返す
        if elements:
            return '\n'.join([element.get_text().strip() for element in elements])
        else:
            return "CSS セレクターにマッチする要素が見つかりませんでした。"
    
    except requests.RequestException as e:
        print(f"URL へのアクセスに失敗しました: {e}")
        return None
    
    except Exception as e:
        print(f"エラーが発生しました: {e}")
        return None

def main():
    parser = argparse.ArgumentParser(description='URL と CSS セレクターからテキストを取得します。')
    parser.add_argument('url', help='対象の URL')
    parser.add_argument('css_selector', help='CSS セレクター')
    
    args = parser.parse_args()
    
    text = get_text_from_url(args.url, args.css_selector)
    if text:
        print(text)

if __name__ == '__main__':
    main()
```

このコードでは、`argparse` ライブラリを使用して CLI 引数を解析し、`requests` ライブラリで URL から HTML を取得します。取得した HTML は `BeautifulSoup` でパースされ、指定された CSS セレクターにマッチするテキストが抽出されます。マッチしたテキストは、改行で区切られた文字列として返されます。

このコードを実行するには、以下のようにコマンドラインから実行します。

```bash
python script_name.py http://example.com # URL
.css-selector # CSS セレクター
```

この例では、`http://example.com` から `.css-selector` にマッチするテキストを取得します。実際の使用では、適切な URL と CSS セレクターを指定してください。

きれいな日本語で書き切りました。
速度も早いです。

GPU 負荷はこのような状態でした。