今回のW&Bミートアップでは、LLMの転移学習・ファインチューニングにフォーカスを当てます。オープンソースの基盤モデルの性能も上がりつつある一方で、特定の目的に特化した用途での性能を高めるためには、ファインチューニングが重要な手法だと考えられています。一方で、ファインチューニングで得られる精度は必ずしも高くないのでは、という研究結果も発表されています(参考 LLMファインチューニングは機能しない?) 今回は、先日日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦するという記事で、国産オープンソースモデルをファインチューニングすることでLLMにクイズ王に挑戦させ、高い精度を得ることを発表したAWSのソリューションアーキテクトの久保隆宏さんをゲストに迎え、W&Bの山本と共にLLMファインチューニングの動向、実装の基礎、活用すべきタイミング、実用的な手法などを紹介してもらいます。