こんにちは、MNTSQでアルゴリズムエンジニアとチームマネージャーをやっている平田です。 先日、「生成AI時代のリーガルテック」という題目でお話させていただきました。
generative-ai-conf.connpass.com
合計240名の方にご参加いただいたとのことで、ご視聴いただいた方々、ありがとうございました。 本稿で簡単に内容を紹介させていただきます。
発表資料
パネルディスカッション
テーマ1: リーガルを扱う上で難しいこと/それに対して工夫していること
リーガルテック業界全体でいえば弁護士法72条との関係を取り上げられることが多いですが、MNTSQはサービスの性質上、弁護士法72条との関係で大きな問題は顕在化していません。MNTSQの生成AI活用で注目したいのは契約データの性質で、次のような観点があります。
- 契約データは機密情報なので、プロダクトは強固なセキュリティの上に実現する必要がある
- 契約データは長いので、生成AIを活用する上でコンテキストウィンドウが十分でなくchunkingが必要になったり、Lost in the Middle*1の影響が大きくなったりすることがある
- 契約書の専門性が高いため、アノテーションやモデル評価においてドメインエキスパートとのコラボレーションが重要になる
テーマ2: ドメイン知識ある人とどう融合させているか
ドメインを横断するコラボレーションはMNTSQが創業当初から重視している文化の1つです。
コラボレーションを重視している点は変わりませんが、仕事の内容は変わります。
- ML時代
- 生成AI時代
Slidoの質問
いくつか質問をいただいたのですが、時間の都合ですべてにお答えすることができませんでしたので、この場をお借りして回答させていただきます。
Q. 法律が変わったりしたときに、過去の事例が使えなくなったりするケースがあると思うんですがどうやって学習データの管理をされてますか？
MNTSQで扱っている契約データは比較的時間依存性の低いデータということもあり、法律改正等によるデータ変化がアウトカムに著しく影響を及ぼすといった問題はまだ顕在化していません。問題が顕在化した際には、関連する法令等を契約データにメタデータとして持たせてフィルターするといった方法が考えられます。
Q. 品質はどうやって管理されてますか？テストもどうやって行われているのか？改善手法も。
タスクによって方法が変わります。テキストの分類・抽出といったタスクであればアノテーションデータを使った定量評価が可能ですので、MLOpsに近い仕組みで品質管理できます。一方で、自然文を出力するタスクはドメインエキスパートと意思決定者による定性評価になります。改善手法はまだベストプラクティスがないので探索的です。プロンプトエンジニアリングの沼にハマらないように、テストファーストで進めること、プロンプトを生成AIにレビューさせることを検討しています。
Q. リーガルテックならではのプロダクト開発で苦労した点や注意しなければならないことは何かありましたか？
パネルディスカッションのテーマ1と同じ回答になります。
Q. RAGを活用されているとのことですが、fine-tuningモデルの開発などに取り組まれる可能性ありますか？また、リーガルテックにおけるfine-tuningとRAGのメリット・デメリットについてご意見あれば伺いたいです
もちろんfine-tuningや（継続）事前学習は関心のある技術領域です。コストや体制の都合でまだ十分な検証はできていないですが、関連研究や事例を調査しながら今後チャレンジしていきたいと考えています。リーガルテックにおけるfine-tuningとRAGの関係に関しては関連研究*2でも報告されているように、うまく組み合わせることで高い性能を発揮するのではないかと期待しています。
Q. LLMのバージョンが上がったり、GPTに加えてGeminiその他の選択肢も増えてきたと思いますが、どのよう選定していますか。
次のような観点を重視しています。
- タスクに対して十分な性能（コンテキストウィンドウ、精度、速度、スケーラビリティ等）かどうか
- ビジネスが成立するコストかどうか
- 日本リージョンで提供されているかどうか
Q. 生成AIを活用した機能開発で、取り組んだけどうまくいかなかった事例は何かありますか？あれば理由も知りたいです
基盤モデルの知識をベースにして生成するタスク（例えばゼロから契約書を作る等）はあまりうまくいっていないです。理由は多分に推測を含みますが、基盤モデルが十分な契約データを学習していないこと、条文の機微を制御しきれないこと等が考えられます。
Q. 契約書を作成する過程で、契約当事者のレビューの後に契約内容の交渉、歩み寄り、妥協を検討する場面があると思いますが、交渉や歩み寄りの部分で生成AIにサポートを期待できることはありますか？
あります。過去の契約データに付随する交渉のログや成果物を分析し、新たな契約の交渉に活用するという考え方はCLM（Contract Lifecycle Management）の本質であり、この分析や交渉アプローチの提案に生成AIは大きく寄与すると考えています。
Q. 生成AIを活用したプロダクトをユーザーに提供する場合、AIの性質を理解した上でサービスや機能設計を行うことが重要と考えますが、「これはリーガルテックならではの生成AIに関するサービス設計だろう」と思う部分があれば教えてください。
網羅的でなくて恐縮ですが、パッと思いつくものだと例えば次のような観点があると思います。
- 弁護士法72条に抵触しない（非弁行為にならない）ようにユーザー体験を設計
- 契約データを扱う上で、強固なセキュリティの上にプロダクトを実現
- コードとプロンプトを分離しプロンプトエンジニアリングをドメインエキスパートに開放することでプロダクトデリバリーを高速化
Q. 他の業界の活用事例などをキャッチアップすることはありますか？具体的にどの業界が参考になるなどあれば教えていただきたいです
なるべく業界を固定せずにリサーチすることを心掛けていますが、企業の業務プロセスに生成AIを組み込んだ事例はMNTSQのユースケースにも近いので特に注目しています。
Q. リーガルテックでの生成AI活用はベストプラクティスがなく各社検証中の状態かと思いますが、今現在で生成AIがフィットするための必要条件として見えてるものはありますか？
ビジネスは意思決定の連続であり、業務プロセスは非構造化データのやりとりです。また生成AIをビジネスにフィットさせるには、ビジネス価値に直結させるのが良いと思います。必要条件とは少し違いますが、次のような使い方がフィットするのではないかと思います。
- 意思決定の根拠を提供することで、意思決定の精度を高める
- 生成AIの説明可能性は旧来のMLと比べて飛躍的に向上しています
- そのため生成AIの出力を意思決定に使うハードルが低くなっています
- 業務プロセスをシームレスに統合する
もしもっと詳しい話を聞いてみたいという方がいらっしゃいましたらお気軽にDM*3等でお問い合わせください。 カジュアル面談でもお待ちしています🙌
