ストックマークでResearcherをしている會田です。2024/9/4~6に開催されたYANSにて、ゴールドスポンサーとして参加いたしました。
個人としては初参加のYANSですが、若手中心の学会のため活気があり、最先端の研究に囲まれ、非常に楽しく有意義な時間を過ごせました。
Day1 : ハッカソン参加
初日はハッカソンに参加しました！
テーマは「言語芸術生成」で、GPT4o-miniのAPIを使い川柳・大喜利を生成する課題です。Researcherの會田・高橋もそれぞれ違うチームで参戦し、どちらも大喜利のチームに割り当てられました。取り組んだテーマは次のような内容です。
- 100件の「画像で一言」等のtestデータに対し、GPT4o-miniで大喜利回答を自動生成するシステムを構築する
- 学習データとして、ボケて(bokete)などのデータセットが与えられる
- 生成した回答をリーダーボードに提出し、GPT4o-miniが面白さを自動評価
- 最終的な評価は人手で実施し、受賞者を決定
YANS-official/ogiri-test · Datasets at Hugging Face
4時間という短い時間で結果を出す必要があり、案出し、実装、発表資料作成まで実施するため、苦労はありましたが、テーマが大喜利のため人手評価時は笑いが絶えず、楽しみながら取り組めるテーマ設定でした。さらに技術面でも各チームRAGやChain of Thought, プロンプトチューニングなどの手法でLLMの出力を工夫されており、LLM時代に大変見応えのあるハッカソンでした。GPT4o-miniによる面白さの自動評価と、人手の評価にある程度相関が見られたことは意外で面白かったです。各チームの発表資料は以下のYANS公式開催報告から確認できます！AI大喜利の解答例もあるので是非覗いてみてください。
高橋の参加したチーム「AIPPON GRAND PRIX」は、IPPONグランプリというテーマの一貫性や、定性的な評価と改善などの取り組みが評価され、「大喜利ハッカソン 審査員特別賞」をいただくことができました！
実は過去にResearcherの森長が大喜利AIの構築に取り組んでおり、その内容もテックブログにて公開しております。大喜利と縁がある会社ですね。
Day2 : チュートリアル「ニューラルネットワークの損失地形」
国立情報学研究所の佐藤竜馬氏による講演です。個人的に興味深いポイントをまとめました。
- 頑健なモデルを構築するには、Lossの値だけではなくその地形も重要である→損失地形
- 頑健なモデルは、損失地形の中の平坦で広い盆地に存在する→平坦解
- 平坦解は摂動に対して頑健なので、雑に計算しても良い→高速化しやすい
- 平坦で広い盆地は高次元で大きな体積を占めるため、辿り着きやすい→次元の祝福
- 一部のモデルマージ手法は平坦で広い盆地の中心に近づくような計算→より頑健なモデルへ
損失の地形からモデルマージの手法までわかりやすい章立てのご講演でした。詳細や厳密な内容は公式の資料からご確認ください
ニューラルネットワークの損失地形 - Speaker Deck
Day 2-3 ポスターセッション
スポンサーブース、Naveedさんの発表
ゴールドスポンサーとして協賛しており、スポンサーブースにて、技術的な内容を中心に弊社の取り組みを紹介させていただきました！主力のLLMやナレッジグラフに関する質問はもちろん、最近新たに取り組んでいる図表解析技術についてもお問い合わせをいただきました。ブースにご来場いただいた方々ありがとうございました。
スポンサーブースに加え、ResearcherのNaveedがLLMとナレッジグラフを使ったレコメンドに関するポスター発表を行いました。
スポンサー賞
Researcherの3人で発表を巡回し、スポンサー賞の選考を実施しました。魅力的な発表が多く選考は難航しましたが、最終的に以下の発表を選定させていただきました。(敬称は省略し、所属は略称で記載しています)
「LLMはなぜ算数が苦手なのか？ Transformerの外挿能力に関する分析」 進藤 稜真 (北大), 竹下 昌志 (北大), ジェプカ ラファウ (北大), 伊藤 敏彦 (北大)
評価ポイント
- 外挿能力(学習データ外の入力に対する能力)という点で、ストックマークのLLMで重視している「ハルシネーションの検知・抑制」にも繋がること
- 算数を用いた実験系を構築しており、定量的な評価がしやすい条件になっていること
- 結果の分析にて、計算誤り発生時の挙動を明らかにしていること
また、以下の二つの発表もスポンサー賞の候補に挙がりました
「大規模Webコーパスからの効果的な医療ドメインサンプリング法」 長谷川 愛珠 (日本女子大), 小原 有以 (日本女子大), 伊東 和香 (日本女子大), 相馬 菜生 (日本女子大), 倉光 君郎 (日本女子大)
「事前学習–文脈内学習パラダイムで生じる頻度バイアスの較正」 伊藤 郁海 (東北大), 鴨田 豪 (東北大), 熊谷 雄介 (博報堂DYホールディングス), 横井 祥 (東北大/理研)
- 評価ポイント:ユーザ毎に異なる評価値バイアスを較正するという試みは、ストックマークの情報推薦タスクへの応用可能性があるため
印象に残った発表
スポンサー賞以外にも個人的に興味深い発表が多くあったので、いくつか抜粋して紹介します。なお、筆者がvision and languageに注目しているため、分野が偏っています。(敬称は省略し、所属は略称で記載しています)
「Zero-Shot Character Identification and Speaker Prediction in Comics via Iterative Multimodal Fusion」 李 映萱 (東大), 日並 遼太 (Mantra), 相澤 清晴 (東大), 松井 勇佑 (東大)
- 漫画のセリフとキャラクターの紐付けを物体検出・scene graph・LLMを使ってゼロショットで実現
- 物体検出・オブジェクトの紐付けまでは割と先行研究があるが、LLMのゼロショット性能を使ってその適用範囲、汎化性能を拡張している点が面白い
- 漫画とビジネス文書は異なるようで、パワポなどに注目すると文字と絵が複雑に配置されている点でよく似ている。ストックマークで注目しているドメインにも似た課題がある
「 Vision And Languageモデルにおける異なるドメインでの継続事前学習が後段タスクに与える影響の検証」 齋藤 慎一朗 (Sansan)
- ドメインが異なっていても継続事前学習は後続タスクにポジティブに働く
- 別ドメインで学習済みの基盤モデル+対象ドメイン10万件の事前学習で、対象ドメイン300万件のみで事前学習したモデルを上回る性能
- ストックマークでも注目しているドメイン適合とビジネス文書、帳票にフォーカスしている
まとめ
エンタメに振り切ったハッカソンから深層学習に関する理論、LLMの応用まで多様なテーマを楽しめる素晴らしい学会でした。充実の内容を企画してくださった運営の皆様、誠にありがとうございました。
Stockmarkでは一緒にプロダクトと組織を成長させていただける方を広く募集しています！ カジュアル面談からお気軽にご連絡ください。
