SVM勉強会

概要

SVM (Support Vector Machine) を中心とする機械学習アルゴリズムに関する勉強会です。

学外の方の参加も歓迎します。

2003年度は 6 月より DataMining勉強会 と共催です。

日時

• 時間: 火曜日 と 金曜日 (週一回の場合は、火曜日 19:00-
• 場所: A707

過去の内容

• SVM勉強会/2001年度

目次

---

2003年度

• 以降は DataMining勉強会 ページを参照.

10/13 担当: 鈴木

• Hisashi Kashima, Koji Tsuda, Akihiro Inokuchi:
• Marginalized Kernels Between Labeled Graphs. ICML 2003: 321-328
• http://www.hpl.hp.com/conferences/icml2003/papers/150.pdf

  2つのグラフの類似度をはかるための Kernel です.

06/24 担当: 新保

• Nicola Cancedda, Eric Gaussier et al.
• Word-sequence kernel
• http://www.jmlr.org/papers/volume3/cancedda03a/cancedda03a.pdf

  Sub-sequence Kernel を単語単位で行う
  出現順序,局所性はあまり意味ないみたい

Mining the Web 輪講

http://www.amazon.co.jp/exec/obidos/ASIN/1558607544/ref=sr_aps_eb_/250-7139977-8935427

最初の 3回 担当　工藤

SVM & Kernel Methods のチュートリアル

---

2002年度

02/04 発表者:持橋

• Jaz Kandola, John Shawe-Taylor, Nello Cristianini
• "Learning Semantic Similarity"
• NIPS 2002
• http://www-2.cs.cmu.edu/Groups/NIPS/NIPS2002/NIPS2002preproceedings/papers/AA22.html

term similarity <-> document similarity という recursion を解くことで得られる von Neumann カーネルと、
語彙グラフ上の Diffusion kernel である Exponential kernel についての話です.

• Adam Berger, John Lafferty
• "Information Retrieval as Statistical Translation"
• SIGIR 1999: pp.222-229
• http://citeseer.nj.nec.com/berger99information.html

01/28 発表者:松本

• John Lafferty, Chrngxiang Zhai
• "Document Language models, Query Models, and Risk Minimization for Information Retrieval"
• SIGIR 2001: pp.111-119
• http://ciir.cs.umass.edu/irchallenges/risk.pdf

01/14 発表者:工藤

01/07 発表者:高村

• Tsuda, K., M. Kawanabe, G. Raetsch, S. Sonnenburg and K.-R. Mueller
• "A New Discriminative Kernel from Probabilistic Models"
• Neural Computation, 14, 10, pp. 2397--2414, 2002
• http://www.cbrc.jp/~tsuda/oldpub.html
• http://citeseer.nj.nec.com/article/tsuda01new.html

12/18 発表者:工藤

• Koby Crammer, Ran Gilad-Bacharch, Amir Navot, Naftali Tishby
• Margin Analysis of the LVQ Algorithm
• NIPS 2002
• http://www-2.cs.cmu.edu/Groups/NIPS/NIPS2002/NIPS2002preproceedings/
• LVQ の解説 http://mars.elcom.nitech.ac.jp/java-cai/neuro/lvq.html

12/10 発表者:持橋

• D. Blei and A. Ng and M. Jordan
• "Latent Dirichlet Allocation"
• NIPS14, 2001.
• http://www.cs.berkeley.edu/~blei/papers/BleiNgJordan_LatentDirichletAllocation.ps.gz

文書と単語の潜在topicの事前分布にDirichlet分布を仮定し、それを変分ベイズ法で解くモデル(LDA)です。

12/03 発表者: 新保

• S.V.N. Vishwanathan and Alexander J. Smola
• Fast Kernels for String and Tree Matching
• NIPS*2002 Paper AA11:
• http://www-2.cs.cmu.edu/Groups/NIPS/NIPS2002/NIPS2002preproceedings/papers/AA11.html

11/19 発表者: 堀部

• Chris Watkins
• "Dynamic Alignment Kernels"
• Technical Report CSD-TR-98-11
• Department of Computer Science Royal Holloway, University of London
• http://citeseer.nj.nec.com/200072.html

ある条件を満たすPair Hidden Markov Modelsは、
その同時確率分布をkernelとして用いることができる、
いうことを示しています。

11/05 発表者: 佐々木

• Colin Campbell and Nello Cristianini and Alex Smola
• "Query Learning with Large Margin Classifiers"
• Proc. 17th International Conf. on Machine Learning"
• http://citeseer.nj.nec.com/campbell00query.html

svmを用いたactive learning のアルゴリズムとその背景の理論に
ついて書かれている論文です。

10/29 発表者: 持橋

• Thomas Hofmann, Jan Puzicha, Michael I. Jordan
• Learning from Dyadic Data
• NIPS 1998, pp 466-472, MIT Press 1999

集合X,Yからのペアのサンプル(x,y)の集合に対して,
(1)Aspect Model (2)One-sided Clustering (3)Two-sided Clustering 
の3種類のunsupervisedなクラスタリングを考える話です。

10/21 発表者: 松本

• Ralf Herbrich, Thore Graepel, Klaus Obermayer,
• Large Margin Rank Boundaries for Ordinal REgression,
• in 'Advances in Large Margin Classifiers' A.J.Smola et al (eds.), Chapter 7, pp.115-132, The MIT Press, 2000.

SVMのアイデアをclassificationではなくrankingに適用するという話
ですが、かなり直接的に使っています。理論的な考察と具体例への適用
について書かれています。主に後者の話題を中心に紹介します。

10/15 発表者: 工藤拓(NAIST)

• Risi Imre Kondor and Jon Lafferty (CMU)
• Diffusion Kernels on Graphs and Other Discrete Input Spaces
• ICML 2002
• http://www-2.cs.cmu.edu/~lafferty/

Diffusion Kernel という, グラフの node 間の類似度を与える 
kernel に関するお話です. 

10/08 発表者 : 高村 大也

• T. Jaakkola and D. Haussler.
• Exploiting generative models in discriminative classifiers.
• In Advances in Neural Information Processing Systems 11, 1998.
• http://citeseer.nj.nec.com/jaakkola98exploiting.html

Fisher Kernelの話。
Fisher Kernelは、Generative Modelと、
SVMのようなdiscriminative classifierをつなげたカーネルです。
Unlabeled Dataを自然な形で取り込めるという利点も持っている。

• 情報幾何の入門URL: http://ds9.jaist.ac.jp:8080/ResearchData/sub/98/kin/Ig/index.html
• 参考文献: 甘利 俊一，長岡 浩司，情報幾何の方法，岩波講座応用数学，岩波書店，1993.

07/30 発表者 : 高橋 哲朗

• 「ゲーム理論入門」

07/26 発表者 : 乾 孝司

• Dan Pelleg.
• X-means:Extending K-means with Efficient Estimation of the Number of Clusters.
• Proc. of the 17th. International Conference on Machine Learning(ICML-2000).
• 実装されたものがここにあります

07/23 発表者 : 藤田 篤

• 遺伝的アルゴリズム(GA)の入門
• M. Mitchell.
• An Introduction to Genetic Algorithms.
• MIT Press, 1996.

07/16 発表者 : 高村 大也

• EM(Expectation-Maximization)アルゴリズムの入門

07/12 発表者 : 浅原 正幸

• Hendrik Blockeel and Jan struyf.
• Efficient Algorithms for Decision Tree Cross-Validation.
• ICML-2001 pp11-18.

• Daisuke Kawahara, Sadao Kurohashi and Ko^iti Hasida.
• Construction of Japanese Relevance-tagged Corpus.
• LREC-2002.

07/09 発表者 : 乾 健太郎

• Bayesian Networks のチュートリアル(前半)

07/05

• 「ICML および KDD などの論文誌を見て誰が何を分担するか決める会」

07/02 発表者 : 浅原 正幸

• 「SVD （その２）」
• URV factorization の R の「三角行列化」および「対角化」 LSI の例

06/28 発表者 : 乾 孝司

• Extracting Collocations from Text Corpora
• Dekang Lin
• 1st. Workshop on Computational Terminology,1998
• http://citeseer.nj.nec.com/41721.html

06/25 発表者 : 高村 大也

• 「SVD （その１）」
• orthogonal decomposition
• URV factorization

06/18 発表者 : 竹内 和広

• Tom M. Mitchell.
• Machine Learning, 1997.
• Chapter 7: Computational Learning Theory.
• PAC学習の説明

06/14 発表者 : 堀部 史郎

• Huma Lodhi, John Shawe-Taylor Nello Cristianini and Chris Watkins.
• Text Classification using String Kernels.
• NeuroCOLT2 Technical Report, NC-TR-2000-079, 2000.

06/11 発表者 : 工藤 拓

• Grace Ngai and Radu Florian.
• Transformation-Based Learning in the Fast Lane.
• Proceedings of the 39th ACL Conference, 2001.

05/31 発表者 : 高村 大也

• 竹田正幸、福田智子、南里一郎、山崎真由美
• 「和歌データベースにおける特徴パターンの発見」
• 情報処理学会論文誌 40(3), pp. 783-795 (1999).

05/28 発表者 : 松本 裕治

• Emmanuel Roche and Yves Schabes.
• Deterministic Part-of-Speech Tagging with Finite-State Transducers.
• Chapter 7 in 'Finite-State Language Processing,' Emmanuel Roche and Yves Schabes (eds.), pp.205-239, The MIT Press, 1997.

Brill taggerは性能はよいけれども遅いという欠点を克服するため、学習された規則の
集合を有限状態機械に変形して、高速化するという内容です。

05/21 発表者 : 工藤 拓

• 最大エントロピーモデルの説明

05/14 発表者 : 高村 大也

• SVM Tutorial シリーズ
• soft-margin optimizationの説明

05/07 発表者 : 工藤 拓

• Learning Kernel Classifiers
• Chapter 2: Kernel Classifiers from a Machine Learning Perspective

05/10 発表者 : 高橋 哲朗

• 研究発表
• 依存木への拡張や類似度の分類など

04/30 発表者 : 新保 仁

• SVM Tutorial シリーズ
• optimality conditionsの説明

04/26 発表者 : 工藤 拓

• 鹿島　久嗣、小柳　光生　（日本IBM東京基礎研究所）
• 半構造データへのサポートベクターマシンの適用
• 第48回人工知能基礎論研究会(SIG-FAI48)

04/23 発表者 : 工藤 拓

• SVM Tutorial シリーズ
• hard-margin optimizationの説明

04/16 発表者 : 工藤 拓

• Tipping, M. E. and B. Sch^O・lkopf (2001).
• A kernel approach for vector quantization with guaranteed distortion bounds.
• http://research.microsoft.com/users/mtipping/pages/publications_abs.htm#Tipping:AISTATS01

---