IBIS 2019の機械学習工学企画セッションに登壇しました

この記事は、機械学習工学アドベントカレンダー2019の5日目です。

こんにちは、chezouです。先日、PFNの比戸さんにお声がけいただきIBIS 2019という日本で最大の理論系機械学習のワークショップで、3日目の「機械学習工学」の企画セッションに「継続的改善をし続けるための機械学習基盤の課題」というタイトルで発表しました。理論系のワークショップというのは知っておりアウェイ感半端なく、数式もないという煽りも受けましたが、なんとか実務者の皆様に届いてくれたのではないかと思っています。

Challenges for Machine Learning Systems toward Continuous Improvement

Machine Learning in productionに対する9つの課題は、世の中にまだまだ整理されているものではなく難産だったので色々と議論ができればと思っています。9つの課題とdotscienceのLuke Marsden氏によるReproducible, Accountable, Collaborative, Continuousという4つのマニフェストの話を元に整理してみたのですが、どのような課題と抽象化を行っているのか、そしてそれがどういう嬉しさがあるのかへの理解の一助となればと思います。

Concept drift?

「学習時と予測時の分布の違いを検出するデータバリデーションが大事」という話をしました。で、この「学習時と予測時の分布の違い」というのを"Concept drift"という表現を使って説明をしたのですが、 shima__shima先生からもご指摘をいただき、どうも違うのではないかということで色々と調べたり議論をしていました。Concept driftは英語圏では雑にこのニュアンスを表現するのに使われており、特に産業界ではそれでいいかなという表現であるという認識です。ただ、もともとはストリームデータに対するdriftという定義があるようです。

人によっては"Covariate shift"(共変量シフト)や"Domain shift"という表現をするということから、Covariate Shiftがいいのかなと思っていましたが、“Delayed effect"という表現が時間的な変化に対する表現としてよいようです。ただ、個人的にはスライドでも書いたように光の変化は時間変化というよりは仮定する前提条件が覆された例だと思っているため、Delayed effectも少し狭いかなと思っていました。

なお、GoogleはTensorFlow Extendedの論文中で"training-serving skew"という表現を使っています。

以下、shima__shima先生の説明が参考になるかと思います。

共変量シフトは統計系の文脈ででてきて抽象的に分布が違うといった意味合いで最初に出てきました．
転移学習は機械学習分野で類似したデータという感じででてきました．2000年中頃はいろいろ呼び名がありましたが今では転移学習に落ち着いていると思います． https://t.co/4n1NXdWPAE

— しましま (@shima__shima) December 3, 2019

同じころ，コーパスの分野の違いというあたりから，Hal Daumé さんあたりがNLP分野でドメイン適応という言葉を使い始められました．
時間による変化で起きるならdelayed effect という言葉もあります．https://t.co/qVmBdO2fz3

— しましま (@shima__shima) December 3, 2019

機械学習工学セッションの他の発表

他の発表は、NIIの石川先生による機械学習工学とテストの話 (スライド)、STORIA法律事務所の柿沼先生の機械学習と知財の話(スライド)でした。

石川先生の機械学習を工学として捉え直したときの説明や、adversarial testなどテストの最近の状況は自分自身追いかけられていなかったのでとても良かったです。

柿沼先生はAI模擬裁判などでご存知の方も多いと思いますが、先生の知財の話は学習済みモデル含めたシステムの権利は受託したベンダーか発注者のどちらにあるのか、という話も面白く、実践的で知見に富んだ話でした。ぜひML関係者はスライドを読むと良いと思います。また、柿沼先生への比戸さんの質疑から派生した議論をメールでさせていただいたのですが、機会があったら公開したいと思っています。