生成AI文章罠・相互検証 長文編 第1回

短い文章に仕込んだ論理の罠を、ChatGPTとClaudeはほぼすべて見破ってしまった。ならば、条件を長文のあちこちに散らしたらどうなるのか。そんな発想から始まった「生成AI文章罠・相互検証」の長文編。今回は両者が出題者と回答者を兼ね、お互いに二問ずつ挑戦した。

勝負の焦点は難しい語彙でも、意地悪な言い回しでもない。冒頭で示された条件を最後まで覚えているか、似た情報を混同しないか、途中に登場する例外や時系列を整理できるか。問題は約1,500字級と約2,500字級の二段階とし、回答中のWeb検索は禁止。出題者が相手を採点し、判定の怪しい部分は管理人が確認する方式を採用した。

ClaudeからChatGPTへの二問

問題1:町民会館の優先枠(約1,500字級)

以下の文章を読み、最後の問いに答えてください。

ひまわり町の町民会館では、毎月第1週の平日の午後を「優先枠」として、一般の予約受付より先に団体へ割り当てている。

優先枠の運用について、町の要綱には次のように書かれている。まず、利用する月の前月中に一度でも無断キャンセルをした団体は、その月の優先枠を使うことができない。ここでいう無断キャンセルとは、予約していた部屋を使わず、しかも予約日の前日までに会館へ連絡しなかった場合を指す。前日までに電話や窓口で取り消しの連絡をした場合は「事前取消」と呼び、無断キャンセルには数えない。

そのうえで、優先枠を使えるのは登録団体に限られる。登録団体とは、会員のうち町内在住者が5人以上おり、かつ今年度の登録届を会館に提出している団体をいう。会員の総数は問わない。

優先枠の制度は5年前に始まった。当初は登録届を出していればどの団体でも使えたが、町外の利用者ばかりの団体が枠を占めることが続いたため、3年前に町内在住者の人数の要件が加えられた。

会館の利用は年々増えており、昨年度は延べ1,200件を超えた。特に和室は人気が高く、書道や茶道の団体が平日の午前を中心に利用している。2階の多目的室は今年の夏に床を張り替えたばかりで、ダンス系のサークルからの申し込みが増えているという。窓口の受付時間は午前9時から午後7時までで、日曜日は午後5時に閉まる。

11月の優先枠には、次の4団体から申し込みがあった。

「みどり俳句会」は、会員8人全員が町内在住で、4月に今年度の登録届を提出している。10月12日に和室を予約していたが、当日は会員の多くが別の行事と重なったため部屋を使わず、会館への連絡は翌13日の朝になった。

「みどり句会」は、名前がよく似ているが別の団体である。会員は12人で、そのうち町内在住は6人。今年度の登録届は4月に提出済みだ。9月には予約日に誰も来ず、連絡もないまま終わったことが一度あった。10月は20日に和室を予約していたが、講師の都合がつかなくなったため、18日に電話で取り消している。一般予約の規定では、利用日の3日前を過ぎてから取り消した場合は利用料の半額をキャンセル料として支払うことになっており、句会もこのとき規定どおりキャンセル料を納めた。

太極拳サークル「ゆるり」は会員9人で、町内在住が4人、残る5人は隣のあおば町から通っている。今年度の登録届は提出済みで、10月の予約はすべて予定どおり利用した。

「ひまわり囲碁クラブ」は会員7人全員が町内在住で、10月の予約もすべて予定どおり利用した。昨年度までは毎年欠かさず優先枠を使ってきた常連の団体である。ただ、9月に代表が交代したばかりで、新しい代表は、前の代表が今年度の登録届を出したかどうかを把握していない。

申し込みの締め切り後、担当職員の田中さんは同僚にこう話した。

「みどりさんのところは、俳句会も句会もキャンセルがあったから今回は外しましょう。句会さんなんてキャンセル料まで払っているくらいですし。ゆるりさんは9人もいるし登録届も出ているから問題なし。囲碁クラブは毎年使っている常連さんだから、当然大丈夫でしょう」

問い:町の要綱に照らすと、4団体はそれぞれ11月の優先枠を使えるか。団体ごとに理由とともに答えてください。


四つの団体が、翌月の優先利用枠を使えるかを判定する問題。前月の無断キャンセル、事前取消、町内在住の会員数、登録届の有無が関係する。名前の似た団体やキャンセル料の支払い、過去の利用実績が混ざり、最後には職員によるもっともらしい、しかし誤った説明が置かれていた。

ChatGPTは四団体すべてを正しく判定し、登録届の提出が確認できない団体についても「判断できない」と回答。4件中4件正答だった。

問題2:防災倉庫の鍵(約2,500字級)

以下の文章を読み、最後の問いに答えてください。

もみじ台自治会では、防災倉庫の鍵の扱いについて、次の決まりを設けている。

鍵には「管理者」がいる。管理者は、鍵の紛失や倉庫の備品の不足があったときに自治会へ報告する役目を負う。管理者は、鍵台帳の「受領」欄に最後に自分の名前を書いた人である。台帳は倉庫横の掲示板の下に置かれていて、各行に「受領」欄と「返却」欄がある。鍵を実際に手元に持っている人と管理者は、必ずしも一致しない。台帳の受領欄に名前を書かずに鍵を受け取っても、管理者は変わらない。

この決まりは5年前、鍵が行方不明になった際に、誰が責任を持つのかで揉めたことをきっかけに作られた。当時は鍵が一本しかなく、合鍵を作るまでの二週間、倉庫を開けられなかったという。現在も鍵は一本のままである。倉庫には発電機2台、簡易トイレ20基、毛布80枚のほか、炊き出し用の大鍋やガスコンロなどが保管されている。今年9月の役員会では合鍵をもう一本作る案も出たが、倉庫の鍵は特殊な型で一本あたり8千円ほどかかることから、来年度に持ち越しとなった。

10月25日の夕方、佐藤さんは山本誠さんの家を訪ね、「これ、娘さんに渡しておいてください」と言って倉庫の鍵を預けた。誠さんは鍵を受け取ったが、台帳には何も書かなかった。娘の美咲さんは駅前の書店に勤めていて、その週は棚卸しのために帰りが遅く、10月31日の時点でも、鍵はまだ誠さんの手元にあった。

なぜ佐藤さんが鍵を持っていたのか。話は春にさかのぼる。

4月1日、新年度の役員交代にあわせて、佐藤さんが台帳の受領欄に名前を書き、鍵を受け取った。6月10日、防災訓練の準備のため、佐藤さんは鍵を佐野さんに渡した。急いでいたため、佐野さんは台帳に何も書かなかった。訓練は6月14日に行われ、住民43人が参加した。参加者には非常食の試食として、アルファ米とけんちん汁がふるまわれた。消火器の使い方の講習には、地元の消防団から3人が講師として来てくれた。

訓練翌日の6月15日、佐野さんは、倉庫の備品点検を引き受けた山本誠さんに鍵を渡した。誠さんはこのとき、台帳の受領欄に自分の名前を書いている。点検の結果、懐中電灯の電池が12本ほど期限切れになっていることがわかり、7月に買い替えられた。7月27日の夏祭りの前日には、テントや提灯を出すため、副会長の小川さんが誠さんから鍵を一日だけ借りた。小川さんは作業が終わった夕方に誠さんへ鍵を返し、このとき台帳には誰も何も書かなかった。夏祭りは天気にも恵まれ、子ども向けの金魚すくいとヨーヨー釣りには例年より長い列ができた。

8月3日、副会長の小川さんが佐野さんに「これからの鍵の管理者は佐野さんにお願いしたい」と伝え、誠さんはその場で鍵を佐野さんに渡した。佐野さんは了承したものの、台帳には何も書かなかった。その数日後、小川さんは会長の大川さんにこの件を報告した。大川さんは「そうですか、わかりました」と答えただけで、佐野さん本人には特に連絡をしなかった。

ここで、自治会の決まりにはもう一つ条文があることを付け加えておく。自治会長が本人に直接、管理者を任せると伝えた場合は、台帳に名前を書かなくても、その時点でその人が管理者になる。直接であれば対面でも電話でもよいが、会長以外の役員による伝達や、会長の伝言を他人が伝えた場合はこれに当たらない。台帳の受領欄への記入と会長の直接の指名が両方ある場合は、日付の新しいほうによって管理者が決まる。

9月20日、会長の大川さんは美咲さんに直接電話をかけ、「鍵の管理者を美咲さんにお願いしたい」と伝えた。美咲さんは今年度から自治会の防災係に加わったばかりで、若い人に引き継いでいきたいという会長の考えもあった。美咲さんは引き受けたが、鍵そのものは佐野さんが持ったままで、急ぐ必要もないということで、受け取りは後日に持ち越された。

10月5日、佐藤さんは秋の草刈りに使う道具を出すため、佐野さんから鍵を借りた。そのとき佐藤さんは台帳に自分の名前を書いたが、書いたのは受領欄ではなく、返却欄だった。10月10日、草刈りの打ち合わせの席で、会長の大川さんは佐藤さんに「草刈りが終わるまで、鍵は佐藤さんが持っていていいですよ」と声をかけた。草刈りは10月12日に予定されていたが、雨で19日に延期された。19日の草刈りには住民31人が参加し、公園と集会所まわりの雑草を2時間ほどで刈り終えた。刈った草は45リットルの袋で60袋近くになり、翌週の収集日に出された。佐藤さんは草刈りのあとも返しそびれたまま鍵を持ち続け、25日、冒頭のとおり山本さんの家に鍵を届けたのである。

10月末の役員会で、副会長の小川さんはこう報告した。

「台帳で最後に名前が書かれているのは佐藤さんなので、今の鍵の管理者は佐藤さんです。鍵そのものは山本さんのところにあると聞いています」

これを聞いた佐野さんは、「8月に副会長から頼まれたので、私が管理者だと思っていました」と首をかしげた。佐藤さんは「10月に会長から鍵を持っていていいと言われたし、台帳にも名前を書いたから、やっぱり私でしょう」と言い、結局その場では結論が出なかった。

問い:10月31日の時点で、(1) 自治会の決まりに照らすと、鍵の管理者は誰か。(2) 実際に鍵を手元に持っているのは誰か。それぞれ理由とともに答えてください。


鍵の「管理者」と「実際の所持者」を区別する問題。台帳の受領欄に記入した人を管理者とする基本規則に、会長からの直接指名という例外が加わる。鍵の受け渡しや副会長の発言、返却欄への記入が時系列を前後させて登場した。

ChatGPTは管理者を山本美咲、所持者を山本誠と回答し、2件中2件正答。ただし、Claude自身も採点後に、所持者の最終状態を本文に直接書いてしまったため、その部分は鍵の移動を追跡しなくても解けたと振り返っている。

ChatGPTからClaudeへの二問

問題1:市民交流館の利用記録(約1,500字級)

市民交流館の秋季展示に向け、受付係の小野は、二つの会場の利用申請を一冊の記録簿にまとめていた。会場は東展示室と西展示室で、いずれも午前から夜まで使える。利用者の出入りが多いため、鍵の受け渡し、展示物の運搬、照明点検まで受付が案内している。ただし、これらの日常業務の記録と、会場利用が規則上認められるかどうかの記録は区別することになっている。

この館で「有効な利用承認」と呼ぶのは、利用開始より前に申請書が提出され、かつ利用開始より前に権限のある担当者がその申請を承認した場合だけである。承認担当者の権限は、押印や電子承認を行ったその日の担当範囲で判定し、実際の利用日までその人が担当を続けている必要はない。逆に、後日担当になったことを理由に、過去の承認を有効にすることもできない。東展示室にはもう一つ条件があり、利用開始前に安全確認票が受理されていなければならない。西展示室では安全確認票は必要ない。承認後に照明や机の配置を変更しても、新たな申請番号が発行されない限り、もとの承認の効力は変わらない。

通常の承認担当者は館長代理の森である。森は10月10日から15日まで、東西両展示室の承認権限を持つ。展示準備が重なったため、10月12日から14日までの三日間に限り、職員の桐にも西展示室だけの承認権限が与えられた。桐は東展示室の安全確認票を預かることはあるが、それは東展示室の承認権限を意味しない。なお、館の開館記念日に当たる10月14日は、東展示室での利用について安全確認票の提出を免除する特例がある。この特例は安全確認票だけを対象とし、申請や承認の条件は変更しない。

記録簿には五件の申請がある。最初の記録番号Aは、田辺が東展示室を10月12日13時から使うものだった。申請書は11日10時に提出され、森が11日15時に承認し、安全確認票は12日9時に受理された。受付では当日、予定より大きい展示台を搬入したことも記録されているが、申請番号は変わっていない。

記録番号Bは、西展示室を12日15時から使う宮下の申請で、申請書は12日11時に提出された。桐はその日の12時に電子承認を行った。宮下は前日のうちに鍵の場所を問い合わせており、その問い合わせの日時も記録簿の欄外に残っている。

記録番号Cは、14日18時から東展示室を使う佐伯の申請だった。申請書の提出は14日11時、桐が承認印を押したのは同日12時である。安全確認票は用意されていない。桐はこの日、東展示室の受付を手伝い、搬入経路の変更にも立ち会っていた。

記録番号Dは、西展示室を15日10時から使う矢島の申請で、申請書は14日12時に提出され、桐が14日13時に承認した。利用当日の15日には桐の臨時権限は終了しており、森が鍵を渡している。矢島は利用後、備品の片づけが遅れたと謝罪している。

最後の記録番号Eは、東展示室を13日17時から使う渡部の申請だった。申請書は12日9時に提出され、安全確認票は13日11時に受理された。しかし森が承認したのは13日19時だった。渡部は17時の開始予定時刻に受付を訪れ、準備を始めていたという。

月末の会議で館の責任者は「記念日のCは特例で問題なく、Dは利用日に桐の権限がなかったので無効だろう」と述べた。この発言は記録簿を見た感想であり、正式な規則変更や再承認の手続きではない。受付係の小野は、その発言を議事録に残したうえで、五件をあらためて規則に照らして判定することにした。

質問

記録番号A~Eのうち、規則上「有効な利用承認」が成立しているものをすべて挙げてください。また、各記録番号について、有効・無効の理由を簡潔に説明してください。本文に書かれていない館の慣行や一般常識は補わずに判断してください。


五件の利用申請について、承認が有効かどうかを判定する。申請と承認の時刻、担当者が権限を持つ部屋、特例の適用範囲などを離れた箇所から拾い集める構造だ。Claudeは有効な三件と無効な二件を正しく区別し、5件中5件正答となった。

問題2:研究棟の機材利用台帳(約2,500字級)

海辺の研究棟では、夏の合同調査に向けて機材利用台帳の整理が行われていた。観測室に据えられた精密測定台、試料室の乾燥器、持ち出し可能な携帯記録器は、同じ研究棟の所有物だが、求められる資格が異なる。作業が集中する七月には、担当者が測定試料のラベル、機材の修理記録、車両の出入りまで台帳に書き込むため、一件の利用について必要な情報が離れた場所に記載されることも珍しくなかった。

研究棟の規則では、利用が有効となる条件を次のように定めている。第一に、利用日時点で、機材に必要な資格が有効であること。第二に、利用開始より前に利用申請が出され、その利用について、承認時点で権限を持つ管理担当者が利用開始より前に許可していること。第三に、精密測定台だけは、利用開始までに専用講習を修了していること。資格・許可・講習は互いに代用できない。申請や許可が適切でも、資格が欠けていれば有効な利用とはならない。一方で、資格が許可の日に有効だったかは問わず、資格の有効性は利用日を基準に見る。

資格は「基礎資格」と「精密資格」の二種類で、両者は独立している。精密資格があっても基礎資格を持つことにはならず、その逆も同様である。精密測定台には精密資格、乾燥器には基礎資格、携帯記録器には基礎資格が必要だ。どちらの資格も、交付日の翌日から有効となり、満了日はその日を含む。更新申請を提出しただけでは延長されない。更新が認められた場合は、承認された当日から新しい満了日を適用できるが、すでに無資格だった過去の日の利用をさかのぼって有効にはしない。

携帯記録器には一つだけ特例がある。資格を持たない外部見学者でも、利用日に有効な精密資格を持つ職員が全行程に同行する場合は、基礎資格の要件だけが免除される。同行者は管理担当者である必要はない。利用申請と管理担当者の事前許可は、この特例でも省略できない。精密測定台の講習を終えた人が携帯記録器を使う場合でも、同行特例に該当しなければ基礎資格が必要になる。

許可の権限についても変化があった。研究棟の管理担当者は7月12日まで井織、13日から神田となる。交代後の井織に新しい許可権限はない。7月10日から12日には、補助担当の久世にも乾燥器に限って許可権限が与えられた。許可が有効かどうかは許可した日の担当範囲で決まるため、12日に井織が許可した利用を13日以降に行っても、その許可自体は失効しない。また、13日に神田が担当になっても、それ以前に神田が勝手に出した許可を追認したことにはならない。いずれの機材でも、利用開始後の許可は事後処理として記録するだけで、有効な事前許可には変わらない。

七月初めに、係員の宮原は利用者名簿を整理した。花村の精密資格は7月8日交付、16日満了で、精密測定台の専用講習は9日に修了している。陸田の基礎資格は7日交付、12日満了で、11日に更新申請を出したものの、延長を認められたのは14日だった。延長後の満了日は20日である。三尾の基礎資格は11日交付、19日満了で、精密資格は持たない。凪野の精密資格は12日交付、20日満了で、精密測定台の専用講習を修了したのは14日だった。弥生の基礎資格は10日交付、18日満了である。戸間の基礎資格は8日交付、18日満了。外部見学者の空野には、どちらの資格も交付されていない。これら以外の資格や講習の修了記録はない。

台帳に残った利用記録は、実際に使用した順ではなく、報告書が提出された順に並んでいる。記録①は、花村が7月11日に精密測定台を利用した件である。申請は10日朝、井織の許可は10日午後に済み、試料の再測定は予定どおり終わった。記録②は、陸田が13日に乾燥器を利用した件で、申請は11日、井織の許可は12日だった。陸田は「更新書類は前から提出していた」と説明している。

記録③は、三尾が12日に乾燥器を利用した件。申請は11日午前、久世の許可は11日午後だった。三尾は同じ日に、精密測定台の説明会の案内を受け取ったが、案内を受けただけで講習修了にはならない。記録④は、凪野が12日に精密測定台を利用した件で、申請は11日、井織の許可は12日の利用開始前に出ていた。台帳には凪野が専用講習を14日に修了したことも記載されている。

記録⑤は、空野が14日に携帯記録器を利用した件だった。申請は13日午前、神田が13日午後に許可した。利用の全行程には花村が同行しており、花村の精密資格の満了日は16日である。空野は持ち出し用のケースを返却する際、充電ケーブルを別の棚に置いたことを係員に伝えている。記録⑥は、戸間が14日に携帯記録器を利用した件。申請は12日、許可印は13日の井織によるものだった。戸間自身の基礎資格はその日有効で、見学者の同行はなかった。

記録⑦は、弥生が11日に乾燥器を利用した件で、申請も久世による許可も11日の利用開始前に済んでいる。弥生は使用後に温度表示の揺れを報告したが、その報告は資格停止や利用取消しの手続きにはつながっていない。記録⑧は、凪野が15日に精密測定台を再び利用した件で、申請は12日、井織の許可も12日、講習の修了は14日だった。記録⑨は、花村が17日に精密測定台を利用した件で、申請は15日、神田の許可は16日。講習は以前に修了済みで、資格の更新申請や更新承認はない。

研究棟の総括会議では、責任者が「資格更新を申請した陸田の②は大丈夫で、管理担当が交代する前に許可された凪野の⑧は許可を取り直すべきだった。結局、その他の記録も含めて規則違反はなかった」と報告した。責任者には台帳内容を説明する立場はあるが、この発言によって資格の有効期間や許可の権限を変更することはできない。宮原は報告の妥当性を確認するため、利用日と許可日を分けて整理し直した。

質問

記録①~⑨のすべてについて、本文の規則だけを使い、その機材利用が有効だったか無効だったかを判定してください。無効なものについては、満たしていない条件を漏れなく挙げてください。担当者の総括は規則の変更として扱わないでください。


資格の交付日と有効開始日のずれ、更新、講習、機材別の例外、許可担当者の交代を組み合わせた九件の判定。Claudeは条件を順番に整理し、複数の不成立理由がある記録も拾い上げた。

ところが、ここで回答者から出題者への逆襲が起きる。ある利用記録には「職員の同行」が特例の条件として必要だったのに、同行者が職員かどうかをChatGPTが問題文で確定させていなかった。Claudeはその不足を回答中に指摘。管理人判断でこの一件は出題不備として除外し、残る8件中8件正答とした。解答の罠を仕掛けたつもりが、問題そのものの穴を見つけられたわけである。

最終結果:またしても引き分け

回答者約1,500字級約2,500字級合計正答率
ChatGPT4/42/26/6100%
Claude5/58/8(1件除外)13/13100%

※件数は各問題の個別判定対象数。両者で設問構成が異なるため、件数の多さは性能差を意味しない。出題不備はChatGPT作成問題の一件のみで、正誤には算入していない。

短文編に続いて、長文編の初回も両者の正答率は100%。今回用意した情報距離や紛らわしい記述では、明確な読解ミスを引き出せなかった。

一方で、出題の質には課題が残った。Claude側の「本文に答えが書いてある」問題と、ChatGPT側の「必要な条件が書いていない」問題。方向は違っても、出題者が狙った能力を正しく測る難しさが表れた結果だった。また、条件の数は増えていても、個々の条件を順に点検すれば解ける問題が多く、判断が何段階も連鎖する構造はまだ弱かった。

今回の結論は「両モデルが長文に強いと証明された」ではなく、「この四問では差が出なかった」だ。 そして、回答者が出題者の見落としを見抜いたことも、正答率と並ぶ重要な観測記録になった。

AIに罠を仕掛ける企画なのに、先に足を取られたのは出題側。長文編の初回は、そんな少し困ったオチまでついて終了した。次に必要なのは、ただ長い問題ではなく、条件を正確につないで初めて答えに届く問題なのだろう。

*お約束:このサイトの文・画像はほぼ全てAI製です\

返信を残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

コメントは日本語で入力してください。(スパム対策)