サイト情報
検証ポリシー
コエカキが記事の情報をどのように確認しているか、そして今後実施する日本語精度のベンチマーク(実測)をどのような手順で行うかを公開します。「どう確かめたか」を示さない評価は信用に値しない、というのが当サイトの立場です。
料金・仕様の確認(実施中)
- 情報源: 公式サイト、公式ヘルプ、料金ページ、公式ドキュメント、公式の更新履歴・ブログを最優先にします。公式以外の情報は、公的機関・研究機関の資料や報道機関の記事など、信頼できる情報源を優先して使い、出典を明記します。
- 提供事業者の説明: 精度や機能についての提供事業者自身の説明は、「公式サイトでは〜と説明しています」のように出典を示して紹介し、当サイトが確かめた事実のようには書きません。
- 否定的な記述: あるツールの短所や懸念点を、競合する製品の提供事業者が発信している情報だけを根拠に書くことはしません。
- 最終検証日: 各記事の冒頭に「最終検証日」を表示しています。記事中の料金・仕様(料金を扱わない記事では手順・仕様)を、公式情報で最後に確認した日付です。比較表の下にも、料金・仕様の最終確認日を表示しています。
- 再確認: 料金・仕様は、少なくとも四半期に一度を目安に公式情報と照合します。変更があった場合は記事を更新し、最終検証日を改めます。
日本語精度ベンチマークの手順(準備中)
以下は、準備中のベンチマークで用いる手順です。実施した時点で、使用した機材・OS・ツールのバージョンなどの条件を結果とあわせて公開します。
1. 入力条件を揃える
検証用の原稿を読み上げた音声をあらかじめ録音し、仮想オーディオデバイス経由で全ツールに同一の音声を入力します。人がツールごとに読み直すと話す速さや滑舌が揃わず、比較になりません。
2. 原稿は5種類
- 一般的なビジネス文(メール・報告書想定)
- IT専門用語を含む文
- 固有名詞(人名・社名・地名)を含む文
- 数値・単位・日付を多く含む文
- 言い直し・フィラー(えー、あの)を多く含む口語文
3. 条件のバリエーション
- 話す速さ3段階(通常/早口/ゆっくり)
- 環境音3段階(静かな環境/カフェ程度のBGM/エアコンの動作音)
4. 測定する指標
- 文字誤り率(CER) — 原稿と出力の差分から算出
- 固有名詞の正解率
- 圧縮率 — 話した字数に対して出力が何%になったか(AIが文章を整えるタイプのツールは、要約しすぎることがあるため)
- レイテンシ — 話し終えてから文字が出るまでの秒数
5. 生データの公開
スコアだけでなく、各ツールの出力テキストを加工せず全文公開します。読者が自分の用途に照らして判断できることを、スコアよりも重視します。
6. 再測定
ツールの精度は更新で変わるため、ベンチマークの開始後は四半期ごとを目安に再測定し、測定日を結果とあわせて記載します。
訂正の方針
- 記事の内容に事実の誤り(料金・仕様・手順などの誤り)が見つかった場合は、確認のうえ速やかに訂正します。
- 訂正した記事には、記事末尾の「訂正履歴」に訂正した日付と内容を記載します。誤りを黙って書き換えることはしません。
- 提供事業者による料金改定や機能追加など、公開後の変化に合わせた更新は、記事の更新日と最終検証日の更新で示します。
- 誤りのご指摘を受け付ける窓口は準備中です(お問い合わせ)。開設までの間も、定期的な照合で見つかった誤りは同じ方針で訂正します。
利害関係の扱い
- 提供事業者からの検証依頼・記事作成依頼は受けません。ベンチマークで使うツールはすべて自費で契約します(提供・貸与を受けたツールがある場合は当該記事に明記します。現時点で提供を受けたツールはありません)
- アフィリエイト報酬の有無は全件開示し、評価に影響させません
最終更新: