LLMらしい文章がすぐバレる理由と直し方

2023年後半以降のブログ記事を10分ほど読んでみてください。どれも同じ、少し張り切りすぎた新人インターンが書いたような感じがしてくるはずです。これがLLM特有の文体で、大規模言語モデルに文章を書かせると初期設定のように出てくる、一目でそれとわかる独特の語り口です。特定のモデルのバグではなく、学習の仕組みから生じる構造的な副産物です。AIが生成した文章を読者に届けるなら、気づいていようがいまいが、注目度や信頼、エンゲージメントを確実に削っています。

厄介なのは、誰もその正体を明確に言語化できないことです。なぜこの段落は機械が書いたように感じるのかと読者に聞いても、ダッシュの多用や「delve」という単語、どこか企業的な滑らかさを挙げるのが関の山でしょう。ただ、表面的な特徴で判定する検出ツールはしょっちゅう外れますし、三つ並べる表現や控えめな言い回しを多用する人間の書き手も大勢います。もっと深いところで何かが起きているのです。テキストを生成するプロダクトを作る人や、ろくでもない文章を出さないようプロンプトを工夫したい人にとって、その仕組みを理解することには意味があります。

LLM特有の文体の実際の響き方

よく挙げられる特徴は語彙レベルのものです。「delve」「landscape」「tapestry」「testament」「furthermore」といった単語がその代表でしょう。ただ、個々の単語にこだわると本質を見失います。文章作成ツールを作る中で何千行もの生成テキストを見てきましたが、実際に正体を明かすのは文や段落の単位で現れるパターンです。

• 三つ並べ表現への依存。「高速で、信頼性が高く、スケーラブルです。」「明確で、簡潔で、説得力があります。」LLMは三つ組の表現に頻繁に手を伸ばします。学習データの中で三つ組が「良い文章」のパターンとして結びついているからです。人間も時々使いますが、モデルは三文に一度のペースで使ってきます。
• 左右対称な段落構造。話題を示す文、三つの補足ポイント、そして話題を繰り返すまとめの一文。どの段落も判で押したようにこの形になります。実際の書き手はもっとばらばらで、一語だけの段落を書く人もいます。
• 中途半端な留保。「考慮に入れておくべきなのは……」「〜を検討することが重要です」。複雑さには言及するものの、どの立場にも踏み込まない。文章版の肩すくめのようなものです。
• 否定による対比。「それは単なるXではなく、Yなのです。」「これはスピードの話ではなく、信頼の話です。」一度気づくと至るところで目につきます。モデルが強調を演出するためにこの構文を執拗に使うからです。
• 要約の繰り返し。LLMの文章は、今言ったことをもう一度言います。「言い換えれば……」「結局のところ、重要なポイントは……」。人間の書き手は、読者がちゃんと読んでいることを信頼しています。
• 感情の平板さ。苛立ちも喜びも混乱もなく、混乱が解消されないまま残ることもありません。感情は一様に「感じが良くてプロフェッショナル」で、カスタマーサポートのチャットのようです。

共通しているのは、LLM特有の文体が「その場ごとに統計的に最も安全な選択」を積み重ねた結果だということです。リスクのない文章なのです。そして読者は、どの特徴も言語化できなくても、そのリスクのなさを一種の無味乾燥さとして感じ取ります。

なぜRLHFがこれらの癖を組み込むのか

これは偶然ではありません。この文体は学習パイプラインの必然的な帰結であり、対抗したいなら仕組みを理解しておく価値があります。

インターネットの生テキストで学習したベースモデルは、文体がめちゃくちゃです。錯乱した掲示板の投稿でも、難解な学術論文でも、喜んで真似をします。私たちが認識するあの文体は、第二段階の人間のフィードバックによる強化学習（RLHF）から生まれます。人間の評価者は、時間に追われながら何千もの出力を確認し、次のような回答に一貫して高い評価を与えます。

• 丁寧で、断定を避けている（留保を理由に減点した評価者は一人もいない）
• 構造化されている（箇条書きや見出しがあると採点しやすい）
• 網羅的である（すべての角度に触れた回答は、鋭い意見を述べた回答より役立つように感じられる）
• 文法的に完璧である（誤字は低評価になり、癖のある文章はさらに低評価になる）

こうした好みを何百万回もの比較で積み上げると、報酬シグナルは「プロフェッショナルで、役に立ち、角が立たない」という統計的な中心を指すようになります。この方式で訓練されたモデルは、GPTもClaudeもGeminiもLlamaも、どれも同じ引力圏に収束していきます。研究所が違い、データが違っても、文体は同じです。これは方式がもたらしたものであって、個別のモデルの問題ではないという証拠です。

もう一つ、もっと微妙な仕組みがあります。AIが生成した文章がインターネットにあふれると、それが次世代モデルの学習データに入り込みます。するとその文体が自分自身を再生産し始めるのです。機械翻訳や画像モデルではすでに同様の現象が報告されていますが、文章も例外ではありません。結果として、学習のたびに平均へ回帰する文体の退行が積み重なっていきます。さらに、この癖は人間にも感染します。人間がLLMの出力を読むうちに「delve」や「genuinely」が人間の文章にも入り込み始めており、検出をいっそう難しくしています。

LLM特有の文体は、モデルが選んだスタイルではありません。人間の評価者が報いるように訓練されたものすべての重心であり、だからそう聞こえるのです。

それでも読者は離れていく理由

美的な理由を超えて、実用的な理由からも気にかける価値があります。人間は文章を読むとき、その向こうにいる人の意図や確信の度合い、耳を傾ける価値があるかどうかを絶えず頭の中でシミュレートしています。LLM特有の文体はこのシミュレーションを壊します。文法は正しいのに、その文章の背後にいるはずの人間がそこにいないのです。読者はこれを、まず漠然とした違和感として、次に退屈として、そして最後にはブラウザの戻るボタンとして経験します。

サポートツールの現場でも、これがはっきり表れるのを見てきました。生のモデル出力をそのまま顧客への返信に流したチームは、返信時間が数秒に縮んだにもかかわらず、チケットの離脱率が上がったことに気づきました。顧客は「これはLLMが書いたな」と意識的に考えているわけではありません。「これは要領を得ないな」と感じて読むのをやめるのです。留保や要約が多く情報密度が低いので、本当の答えは12文の返信の9文目に埋もれてしまいます。

さらに、信頼の外部性もあります。読者が自社サイトでLLM特有の文体の記事を一本見つけると、他の記事も疑い始めます。AI文章を見分けると謳う検出ツールは信頼性に欠けます。実際、文体の指紋として判定が本当に曖昧なものも見てきました。しかし、読者の直感的な反応はツールを使うずっと前に働くので、そこはあまり問題になりません。AIっぽいコンテンツが見えるだけで、人間が書いたコンテンツまで評判を落としてしまうのです。

実際に効果のあるプロンプトの工夫

RLHFの引力圏から完全に抜け出すことはプロンプトだけでは難しいですが、意外なほど遠くまで行けます。よくある間違いは、「自然な」とか「人間らしい」文章を頼むことです。モデルにとっての自然さは、まさにLLM特有の文体そのものだからです。代わりに、具体的な癖を狙い撃ちしてください。

You are drafting a product update email.
Hard constraints:
- Never use triads or lists of three adjectives.
- Never start a sentence with "It's" or "This".
- No hedging phrases ("bear in mind", "it's important").
- Vary sentence length: at least two sentences under 6 words.
- Take a position. If something is a trade-off, say which side you'd pick.
- Do not summarize or conclude. End on the strongest point.
Here is a paragraph written by our founder last month. Match this rhythm and vocabulary:
"Ship it Friday. The sync bug is ugly but it only hits multi-tab users, and the workaround is a refresh. Waiting two more weeks to fix it properly costs us the changelog window, and honestly, I'm tired of explaining the delay."

そのプロンプトの三つの要素が、実際に効いています。第一に、否定的な制約が、雰囲気ではなく具体的な失敗パターン（三つ並べ、留保、要約文）を標的にしています。第二に、文体の手本は、どんな形容詞よりも効果があります。具体的な人間の文章を真似させると、生成が文体空間の別の地点へ引き寄せられます。第三に、文の長さのばらつきを求めることで、無意識のうちに最も強く感じられる癖である、単調なリズムを崩せます。

もう一つ、費用対効果の高いテクニックがあります。モデルがちょっと居心地悪く感じることを頼むのです。「締切にほんの少しイラついている体で書いて」や「何を間違えたか認めて」などです。RLHFで最適化されたモデルは否定的になることを嫌うので、特定の感情のトーンを強制すると、感じが良くてプロフェッショナルという初期設定から引き離せます。出力にはそれでも編集が必要ですが、脈動のある文章になって返ってきます。

編集パス：書き直しではなく引き算

プロンプトで得られるのは七割まで。残りの三割は機械的な編集作業で、そのほとんどは削除です。私は生成された下書きを編集するとき、次の四つの作業を行います。

• 最初と最後の段落を削除する。LLMの導入部は前置きばかりで、結びは要約ばかりです。どちらにも情報はありません。この一手で、驚くほど不自然な匂いが消えます。
• 留保の言い回しをすべて消す。「留意すべきは」「重要なのは」「一般的に」「通常は」「しばしば」などを検索して削除します。半分くらいは、なくても文が成立します。残りの半分は、実は何も言っていなかったのです。
• リズムを崩す。中くらいの長さの文が続いている箇所を探し、一つを断片に切ります。「金曜に出荷。」のように。断片は、人間の脈動を示す最も手軽な手段です。
• モデルには知りようのない具体的な事実を一つ入れる。ログから取った実際の数値、固有名詞、日付、トレードオフに対する本当の意見などです。具体性はRLHFの重心には真似できません。コミットメントが必要だからです。

この作業は速く、千語の下書きで十五分ほどです。LLM特有の文体は、そこそこ上手な文章の上に重ねられた、少数の繰り返し癖にすぎないので、この方法がうまく効きます。書き直すのではなく、指紋をこすり落とすのです。

大規模にこれをやるチームには、この作業をlintのステップとして組み込むことをおすすめします。三つ並べ、留保の言い回し、均一な文の長さを検出する簡単なスクリプトで、問題の大半は自動的に拾えます。カスタムルールを設定できるオープンソースの文章lintツールもいくつかあります。コードのlintと同じように、コンテンツのパイプラインに組み込んでください。すでに実務タスクでのAIの性能測定に投資しているなら、指標に「フラグが立った文の割合」を加えてみてください。

LLMの文章が許容できる場合と、できない場合

文章を生成するシステムを何年も作って出荷してきた上での私の立場は、ツールを読者の期待に合わせること、そして一つの方針ですべてをまかなおうとするのをやめることです。

書く相手が人ではなく手続きである場合、たとえば政府機関への定型の書類、誰も読まないコンプライアンス報告書、機械が読むAPIの説明などは、LLMに書かせて構いませんし、謝る必要もありません。そこでは読者の頭の中のシミュレーションは働いていませんし、不気味の谷に落とすべき読者もいません。正直に言えば、ドキュメントの多くは今後、主にほかのモデルが読むことになるでしょう。モデルは、不気味さにぞっとすることはありません。

しかし、文章が説得、信頼、思考の役割を担うなら、話は逆になります。ブログ記事、賛同を得る必要がある設計ドキュメント、相手に考えを変えてもらいたいメールなどです。そこではモデルはゴーストライターではなく、批評家として使うのが最善です。下書きを攻撃させてください。「どこが曖昧か」「議論のどこで一歩飛ばしているか」「懐疑的な読者はどこで反論するか」と尋ねるのです。これはモデルの強み（批評は本当に優れています）を生かしつつ、その文体を自分の文章に一切近づけない使い方です。文章作成でLLMから最も多くを得ている人は、鋭く疲れ知らずの編集者として扱い、提案された書き直しは丁寧に無視しています。

そして、技術的なアドバイスの下にはもっと厳しい真実があります。文章を書くことは、多くの人にとって考えることそのものです。議論を文にする苦労の中で、議論が実際に形になっていくことが多いのです。執筆をまるごと委任すると、その部分も一緒に手放すことになります。その結果は聞けばわかります。書いている間に誰の思考もどこにも進まなかった、どこにも行き着かない文章です。

実践的なまとめ

LLM特有の文体は謎でも何でもなく、自然に消えてくれるものでもありません。それを生んだ同じ学習上のインセンティブが今も存在しており、主要な研究所がその発生源で抑えることに成功したとは言えません。だから負担は利用者側にあり、それは次のように明確に分かれます。

• 大量に生成している？プロンプトで機械的に制約をかけ（三つ並べ禁止、留保禁止、文の長さのばらつきを強制）、人間の文体の手本を与え、出力をlintにかけてください。
• 読まれる価値のある文章？自分で書き、モデルは批評家として使い、提案された言い回しを下書きに入れないでください。受け入れた提案の一つひとつが、小さな声の移植なのです。
• 手続きのための文章？生の出力をそのまま出して、編集の時間は人間が実際に読む場所に使ってください。

もっと根本的な話をすると、文体は装飾ではなく、心があることの証拠です。読者はその欠落を驚くほど鋭く見抜きますし、インターネットが代替品で埋まるにつれて、その鋭さは毎月増しています。これからの数年間にAI支援のコンテンツで勝つチームは、最も多くの文章を生成するところではありません。その文章にまだ誰かの声が感じられるチームです。