氏名

サカイ　テツヤ

酒井　哲也

職名

教授 （https://researchmap.jp/sakaireborn）

所属

（基幹理工学部）

連絡先

URL等

WebページURL

http://sakailab.com/tetsuya/（酒井哲也）

研究者番号
80723519

本属以外の学内所属

兼担

理工学術院（大学院基幹理工学研究科）

学内研究所等

理工学術院総合研究所（理工学研究所）

兼任研究員 2018年-

学歴・学位

学位

博士

受賞

CSS 2019 Best Paper Award (fifth author)

2019年

第6回WASEDA e-Teaching Award

2018年

ACM Distinguished Member

2018年

ACM Recognition of Service Award (SIGIR'17 Co-chair)

2017年

早稲田大学ティーチングアワード総長賞（2016年度春学期）

2016年

ACM Senior Member

2016年

早稲田大学ティーチングアワード（2014年度秋学期）

2015年

MobileHCI 2014 Honorable Mention(second author)

2014年

CSS 2014 Student Paper Award (third author)

2014年

ACM SIGIR 2013 best paper shortlisted nominee (first author)

2013年

AIRS 2012 Best Paper Award (first author)

2012年

WebDB Forum 2010 Excellent Paper Award and NTT Resonant Award (second author)

2010年

FIT 2008 Funai Best Paper Award (first author)

2008年

IPSJ 2007 Best Paper Award (single author)

2007年

IEICE ESS 2007 Merit Award

2007年

IPSJ 2006 Best Paper Award (single author)

2006年

IPSJ 2006 Yamashita SIG Research Award (single author)

2006年

FIT 2005 Excellent Paper Award (single author)

2005年

研究分野

キーワード

情報アクセス、情報検索、自然言語処理

論文

Arc Loss: Softmax with Additive Angular Margin for Answer Retrieval

Suzuki, R., Fujita, S., and Sakai, T.

Proceedings of AIRS 20192020年-

Towards Automatic Evaluation of Reused Answers in Community Question Answering

Liu, H.-W., Fujita, S., and Sakai, T.

Proceedings of AIRS 20192020年-

Unsupervised Answer Retrieval with Data Fusion for Community Question Answering

Kato, S., Shimizu, T., Fujita, S., and Sakai, T.

Proceedings of AIRS 20192020年-

Generating Short Product Descriptors based on Very Little Training Data

Xiao, P., Lee, J.-Y., Tao, S., Hwang, Y.-S., and Sakai, T.

Proceedings of AIRS 20192020年-

Randomised vs. Prioritised Pools for Relevance Assessments: Sample Size Considerations

Sakai. T. and Xiao, P.

Proceedings of AIRS 20192020年-

Attitude Detection for One-Round Conversation: Jointly Extracting Target-Polarity Pairs

Zeng, Z., Song. R., Lin, P., and Sakai, T.

Journal of Information Processing2019年-

A First Look at the Privacy Risks of Voice Assistant Apps

Natatsuka, A., Iijima, R., Watanabe, T., Akiyama, M., Sakai, T., Mori, T.

ACM CCS 2019 Posters & Demos2019年-

Voice Input Interface Failures and Frustration: Developer and User Perspectives

Goetsu, S., and Sakai, T.

ACM UIST 2019 Adjunct2019年-

Voice Assistant アプリの大規模実態調査

刀塚敦子, 飯島涼, 渡邉卓弥, 秋山満昭, 酒井哲也, 森達哉

コンピュータセキュリティシンポジウム2019年-

How to Run an Evaluation Task: with a Primary Focus on Ad Hoc Information Retrieval

Sakai, T.

Information Retrieval Evaluation in a Changing World : Lessons Learned from 20 Years of CLEF2019年-

Evaluating Image-Inspired Poetry Generation

Wu, C.-C., Song, R., Sakai, T., Cheng, W.-F., Xie, X., and Lin, S.-D.

Proceedings of NLPCC 20192019年-

System Evaluation of Ternary Error-Correcting Output Codes for Multiclass Classification Problems

Hirasawa, S., Kumoi, G., Yagi, H., Kobayashi, M., Goto, M., Sakai, T., Inazumi, H.

IEEE SMC 20192019年-

Generalising Kendall’s Tau for Noisy and Incomplete Preference Judgements

Togashi, R., and Sakai, T.

Proceedings of ACM ICTIR 20192019年-

CENTRE@CLEF2019: Sequel in the Systematic Reproducibility Realm

Ferro, N., Fuhr, N., Maistro, M., Sakai, T., and Soboroff, I.

Proceedings of CLEF 2019 (LNCS 11696)2019年-

CENTRE@CLEF2019: Overview of the Replicability and Reproducibility Tasks

Ferro, N., Fuhr, N., Maistro, M., Sakai, T., and Soboroff, I.

CLEF 2019 Working Notes2019年-

Composing a Picture Book by Automatic Story Understanding and Visualization

Qi, X., Song, R., Wang, C., Zhou, J., and Sakai, T.

Proceedings of the Second Storytelling Workshop (StoryNLP @ ACL2019)2019年-

BM25 Pseudo Relevance Feedback Using Anserini at Waseda University

Zeng, Z. and Sakai, T.

Proceedings of OSIRRC 20192019年-

Overview of the 2019 Open-Source IR Replicability Challenge (OSIRRC 2019)

Clancy, R., Ferro, N., Hauff, C., Lin, J., Sakai, T., and Wu, Z.-Z.

Proceedings of OSIRRC 20192019年-

The SIGIR 2019 Open-Source IR Replicability Challenge (OSIRRC 2019)

Clancy, R., Ferro, N., Hauff, C., Lin, J., Sakai, T., and Wu, Z.-Z.

Proceedings of ACM SIGIR 20192019年-

Which Diversity Evaluation Measures Are “Good”?

Sakai, T. and Zeng, Z.

Proceedings of ACM SIGIR 20192019年-

Low-cost, Bottom-up Measures for Evaluating Search Result Diversification

Dou, Z., Yang, X., Li, D., Wen, J., and Sakai, T.

Information Retrieval Journal2019年-

RSL19BD at DBDC4: Ensemble of Decision Tree-based and LSTM-based Models

Wang, C., Kato, S., and Sakai, T.

Proceedings of Chatbots and Conversational Agents and Dialogue Breakdown Detection Challenge (WOCHAT+DBDC), IWSDS 20192019年-

Celebrating 20 Years of NTCIR: The Book

Oard, D.W., Sakai, T., and Kando, N.

Proceedings of EVIA 20192019年-

CENTRE@CLEF 2019

Ferro, N., Fuhr, N., Maistro, M., Sakai, T., and Soboroff, I.

Proceedings of ECIR 2019 Part II (LNCS 11438)2019年-

Conducting Laboratory Experiments Properly with Statistical Tools: An Easy Hands-on Tutorial

Sakai, T.

Proceedings of ECIR 2019 Part II (LNCS 11438)2019年-

A Comparative Study of Deep Learning Approaches for Extractive Query-Focused Multi-Document Summarization

Yuliska and Sakai, T.

Proceedings of IEEE ICICT 20192019年-

Attitude Detection for One-Round Conversation: Jointly Extracting Target-Polarity Pairs

Zeng, Z., Song, R., Lin, P., and Sakai, T.

Proceesings of ACM WSDM 20192019年-

Conducting Laboratory Experiments Properly with Statistical Tools: An Easy Hands-on Tutorial

Sakai, T.

Proceesings of ACM WSDM 20192019年-

Advanced Information Retrieval Measures

Sakai, T.

In: Liu L., Özsu M. (eds) Encyclopedia of Database Systems. Springer2018年-

alpha-nDCG

Sakai, T.

In: Liu L., Özsu M. (eds) Encyclopedia of Database Systems. Springer2018年-

D-Measure

Sakai, T.

In: Liu L., Özsu M. (eds) Encyclopedia of Database Systems. Springer2018年-

ERR-IA

Sakai, T.

In: Liu L., Özsu M. (eds) Encyclopedia of Database Systems. Springer2018年-

Expected Reciprocal Rank

Sakai, T.

In: Liu L., Özsu M. (eds) Encyclopedia of Database Systems. Springer2018年-

Q-Measure

Sakai, T.

In: Liu L., Özsu M. (eds) Encyclopedia of Database Systems. Springer2018年-

U-Measure

Sakai, T.

In: Liu L., Özsu M. (eds) Encyclopedia of Database Systems. Springer2018年-

Proceedings of AIRS 2018 (LNCS 11292)

Tseng, Y.-H., Sakai, T., Jiang, J., Ku, L.-W., Park, D.H., Yeh, J.-F., Yu, L.-C., Lee, L.-H., and Chen, Z.-H.

エディタ2018年-

Understanding the Inconsistency between Behaviors and Descriptions of Mobile Apps

Watanabe, T., Akiyama, M., Sakai, T., Washizaki, H., and Mori, T.

IEICE Transactions2018年-

Why You Should Listen to This Song: Reason Generation for Explainable Recommendation

Zhao, G., Fu, H., Song, R., Sakai, T., Xie, X., and Qian, X.

1st Workshop on Scalable and Applicable Recommendation Systems (SAREC 2018)2018年-

Overview of CENTRE@CLEF 2018: a First Tale in the Systematic Reproducibility Realm

Ferro, N., Maistro, M., Sakai, T., and Soboroff, I.

Proceedings of CLEF 2018 (LNCS 11018)2018年-

Towards Automatic Evaluation of Customer-Helpdesk Dialogues

Zeng, Z., Luo, C., Shang, L., Li, H., and Sakai, T.

Journal of Information Processing2018年-

放棄セッションにおけるユーザ操作に着目したモバイル検索カードの順位付け

川崎真未, Inho Kang, 酒井哲也

IPSJ TOD11(3)2018年-

Classifying Community QA Questions That Contain an Image

Tamaki, K., Togashi, R., Kato, S., Fujita, S., Maeda, H., and Sakai, T.

Proceedings of ACM ICTIR 20182018年-

Topic Set Size Design for Paired and Unpaired Data

Sakai. T.

Proceedings of ACM ICTIR 20182018年-

CENTRE@CLEF2018: Overview of the Replicability Task

Ferro, N., Maistro, M., Sakai, T., and Soboroff, I.

CLEF 2018 Working Notes 招待論文2018年-

Comparing Two Binned Probability Distributions for Information Access Evaluation

Sakai, T.

Proceedings of ACM SIGIR 20182018年-

Conducting Laboratory Experiments Properly with Statistical Tools: An Easy Hands-on Tutorial

Sakai, T.

Proceedings of ACM SIGIR 20182018年-

Search Result Diversity Evaluation based on Intent Hierarchies

Wang, X., Wen,J., Dou, Z., Sakai, T., and Zhang, R.

IEEE TKDE, 30(1)2018年-

RSL17BD at DBDC3: Computing Utterance Similarities based on Term Frequency and Word Embedding Vectors

Kato, S. and Sakai, T.

Proceedings of DSTC62017年-

Unanimity-Aware Gain for Highly Subjective Assessments

Sakai, T.

Proceedings of EVIA 20172017年-

The Effect of Inter-Assessor Disagreement on IR System Evaluation: A Case Study with Lancers and Students

Sakai, T.

Proceedings of EVIA 20172017年-

Towards Automatic Evaluation of Multi-Turn Dialogues: A Task Design that Leverages Inherently Subjective Annotations

Sakai, T.

Proceedings of EVIA 20172017年-

Evaluating Evaluation Measures with Worst-Case Confidence Interval Widths

Sakai, T.

Proceedings of EVIA 20172017年-

Test Collections and Measures for Evaluating Customer-Helpdesk Dialogues

Zeng, Z., Luo, C., Shang, L., Li, H., and Sakai, T.

Proceedings of EVIA 20172017年-

Ranking Rich Mobile Verticals based on Clicks and Abandonment

Kawasaki, M., Kang, I., and Sakai, T.

Proceedings of ACM CIKM 20172017年-

Mobile Vertical Ranking based on Preference Graphs

Kadotami, Y., Yoshida, Y., Fujita, S., and Sakai, T.

ACM ICTIR 20172017年-

LSTM vs. BM25 for Open-domain QA: A Hands-on Comparison of Effectiveness and Efficiency

Kato, S., Togashi, R., Maeda, H., Fujita, S., and Sakai, T.

Proceedings of ACM SIGIR 20172017年-

Evaluating Mobile Search with Height-Biased Gain

Luo, C., Liu, Y., Sakai, T., Zhang, F., Zhang, M., and Ma, S.

Proceedings of ACM SIGIR 20172017年-

The Probability That Your Hypothesis Is Correct, Credible Intervals, and Effect Sizes for IR Evaluation

Sakai, T.

Proceedings of ACM SIGIR 20172017年-

Proceedings of ACM SIGIR 2017

Kando, N., Sakai, T., Joho, H., Li, H., de Vries, A.P.

エディタ2017年-

Overview of Special Issue

Harman, D. and Kelly, D. (eds.); Allan, J., Belkin, N., Bennett, P., Callan, J., Clarke, C., Diaz, F., Dumais, S., Ferro, N., Harman, D., Hiemstra, D., Ruthven, I., Sakai, T., Smucker, M., Zobel, J.

SIGIR Forum, 51(2)2017年-

人工知能学大事典

人工知能学会(編)

共立出版2017年-

Investigating Users' Time Perception during Web Search

Luo, C., Li, X., Sakai, T., Zhang, F., Zhang, M., and Ma, S.:

Proceedings of CHIIR 20172017年-

Does Document Relevance Affect the Searcher's Perception of Time?

Luo, C., Liu, Y., Sakai, T., Zhou, K., Zhang, F., Li, X., and Ma, S.

Proceedings of ACM WSDM 20172017年-

The Effect of Score Standardisation on Topic Set Size Design

Sakai, T.

AIRS 20162016年-

A Simple and Effective Approach to Score Standardisation

Sakai, T.

ACM ICTIR 20162016年-

Topic Set Size Design and Power Analysis in Practice (Tutorial Abstract),

Sakai, T.

ACM ICTIR 20162016年-

Report on the First International Workshop on the Evaluation on Collaborative Information Seeking and Retrieval (ECol'2015),

Soulier, L., Tamine, L., Sakai, T., Azzopardi, L., and Pickens, J

ACM SIGIR 20162016年-

Two Sample T-tests for IR Evaluation: Student or Welch?

Sakai, T.

ACM SIGIR 20162016年-

Evaluating Search Result Diversity using Intent Hierarchies

Wang, X., Dou, Z., Sakai, T., and Wen, J.-R.

ACM SIGIR 20162016年-

Statistical Significance, Power, and Sample Sizes: A Systematic Review of SIGIR and TOIS,2006-2015

Sakai, T.

ACM SIGIR 20162016年-

Topic Set Size Design

Sakai, T.

Information Retrieval Journal2016年-

Two-layered Summaries for Mobile Search: Does the Evaluation Measure Reflect User Preferences?

Kato, M.P., Pavlu, V., Sakai, T., Yamamoto, T. and Morita, H.

EVIA 20162016年-

On Estimating Variances for Topic Set Size Design

Sakai, T. and Shang, Lifeng.

EVIA 20162016年-

Topic Set Size Design with the Evaluation Measures for Short Text Conversation

Sakai, T., Shang, L., Lu, Z. and Li, H.

AIRS 20152015年-

Search Result Diversification based on Hierarchical Intents

Hu, S., Dou, Z., Wang, X., Sakai, T. and Wen, Ji-Rong

ACM CIKM 20152015年-

Dynamic Author Name Disambiguation for Growing Digital Libraries,

Qian, Y., Zheng, Q., Sakai, T., Junting Ye and Jun Liu

Information Retrieval2015年-

Understanding the Inconsistencies between Text Descriptions and the Use of Privacy-sensitive Resources of Mobile Apps

Watanabe, T., Akiyama, M., Sakai, T., Washizaki, H. and Mori, T

SOUPS 20152015年-

Topic Set Size Design with Variance Estimates from Two-Way ANOVA

Sakai, T.

EVIA 2014 2014年-

Designing Test Collections for Comparing Many Systems

Sakai, T.

ACM CIKM 20142014年-

ReviewCollage: A Mobile Interface for Direct Comparison Using Online Reviews

Jin, H., Sakai, T. and Yatani, K

ACM MobileHCI 20142014年-

Designing Test Collections That Provide Tight Confidence Intervals

Sakai, T.

Forum on Information Technology 20142014年-

Statistical Reform in Information Retrieval?

Sakai, T.

SIGIR Forum2014年-

Metrics, Statistics, Tests (invited paper)

Sakai, T.

PROMISE Winter School 2013: Bridging between Information Retrieval and Databases (LNCS 8173)2014年-

On Labelling Intent Types for Evaluating Search Result Diversification

Sakai, T. and Song, Y.-I

AIRS 20132013年-

Estimating Intent Types for Search Result Diversification

Tsukuda, K., Dou, Z., Sakai. T. and Tanaka, K

AIRS 2013 2013年-

User-Aware Advertisability

Yu, H. and Sakai, T.

AIRS 2013 2013年-

How Intuitive Are Diversified Search Metrics? Concordance Test Results for the Diversity U-measures

Sakai, T.

AIRS 2013 2013年-

When Do People Use Query Suggestion?

Kato, M.P, Sakai, T. and Tanaka. K

Information Retrieval2013年-

Dynamic Query Intent Mining from a Search Log Stream

Qian, Y., Sakai, T., Ye, J., Zheng, Q. and Li, C

ACM CIKM 20132013年-

On the Reliability and Intuitiveness of Aggregated Search Metrics

Zhou, K., Lalmas, M., Sakai, T., Cummins, R. and Jose, J.M.

ACM CIKM 20132013年-

Diversified Search Evaluation: Lessons from the NTCIR-9 INTENT Task

Sakai, T. and Song, R

Information Retrieval2013年-

Mining Search Intents from Text Fragments

Wang, Q., Qian, Y., Song, R., Dou, Z., Zhang, F., Sakai, T. and Zheng, Q.

Information Retrieval2013年-

Introduction to the Special Issue on Search Intents and Diversification, Information Retrieval

Sakai, T., Kando, N., Macdonald, C. and Soboroff, I.

Information Retrieval2013年-

Evaluating Heterogeneous Information Access (Position paper)

Zhou, K., Sakai, T., Lalmas, M., Dou, Z. and Jose, J.M.

Workshop on Modeling User Behavior for Information Access Evaluation2013年-

The Impact of Intent Selection on Diversified Search Evaluation

Sakai, T., Dou, Z., Clarke. C.L.A.

ACM SIGIR 20132013年-

Time-aware Structured Query Suggestion

Miyanishi, T., Sakai, T.

ACM SIGIR 20132013年-

Summary of the NTCIR-10 INTENT-2 Task: Subtopic Mining and Search Result Diversification

Sakai, T., Dou, Z., Yamamoto, T., Liu, Y., Zhang, M., Kato, M.P., Song, R., Iwata, M.

ACM SIGIR 20132013年-

Report from the NTCIR-10 1CLICK-2 Japanese Subtask: Baselines, Upperbounds and Evaluation Robustness

Kato, M.P., Sakai, T., Yamamoto, T., Iwata, M.

ACM SIGIR 20132013年-

Exploring Semi-Automatic Nugget Extraction for Japanese One Click Access Evaluation

Ekstrand-Abueg, M., Pavlu, V., Kato, M.P., Sakai, T., Yamamoto, T., Iwata, M

ACM SIGIR 20132013年-

Summaries, Ranked Retrieval and Sessions: A Unified Framework for Information Access Evaluation

Sakai, T., Dou, Z.

ACM SIGIR 20132013年-

The Unreusability of Diversified Test Collections

Sakai, T.

EVIA 20132013年-

Web Search Evaluation with Informational and Navigational Intents

Sakai, T.

Journal of Information Processing2013年-

Grid-based Interaction for Exploratory Search

Joho, H. and Sakai, T.

AIRS 20122012年-

One Click One Revisited: Enhancing Evaluation based on Information Units

Sakai, T. and Kato, M.P.

AIRS 20122012年-

The Reusability of a Diversified Search Test Collection

Sakai, T., Dou, Z., Song, R. and Kando, N.

AIRS 20122012年-

The Wisdom of Advertisers: Mining Subgoals via Query Clustering

Yamamoto, T., Sakai, T., Iwata, M., Chen, Y., Wen, J.-R. and Tanaka, K.

ACM CIKM 20122012年-

New Assessment Criteria for Query Suggestion

Ma, Z., Chen, Y., Song, R., Sakai, T., Lu, J. and Wen, J.-R.

ACM SIGIR 20122012年-

Towards Zero-Click Mobile IR Evaluation: Knowing What and Knowing When

Sakai, T.

ACM SIGIR 20122012年-

AspecTiles: Tile-based Visualization of Diversified Web Search Results

Iwata, M., Sakai, T., Yamamoto, T., Chen, Y., Liu, Y., Wen, J.-R. and Nishio, S.

ACM SIGIR 20122012年-

Query Snowball: A Co-occurrence-based Approach to Multi-document Summarization for Question Answering

Morita, H., Sakai, T. and Okumura, M.

情報処理学会論文誌2012年-

Structured Query Suggestion for Specialization and Parallel Movement: Effect on Search Behaviors

Kato, M.P. and Sakai, T. and Tanaka, K.

WWW 20122012年-

Evaluation with Informational and Navigational Intents

Sakai, T.

WWW 20122012年-

What Makes a Good Answer in Community Question Answering? An Analysis of Assessors' Criteria

Ishikawa, D., Kando, N. and Sakai, T.

EVIA20112011年-

Click the Search Button and Be Happy: Evaluating Direct and Immediate Information Access

Sakai, T., Kato, M.P. and Song, Y.-I.

ACM CIKM 20112011年-

北京のマイクロソフト研究所より2011 - 日本人インターンの成功事例 -

酒井哲也

若手研究者支援のための産学共同GCOE国内シンポジウムダイジェスト集2011年-

コミュニティQAにおける良質回答の自動予測

石川大介, 酒井哲也, 関洋平, 栗山和子, 神門典子

情報知識学会誌2011年-

NTCIREVAL: A Generic Toolkit for Information Access Evaluation

Sakai, T.

FIT 20112011年-

Evaluating Diversified Search Results Using Per-Intent Graded Relevance

Sakai, T. and Song, R.

ACM SIGIR 20112011年-

Query Snowball: A Co-occurrence-based Approach to Multi-Document Summarization for Question Answering

Morita, H., Sakai, T. and Okumura, M.

ACL-HLT 20012011年-

Community QA Question Classification: Is the Asker Looking for Subjective Answers or Not?

Aikawa, N., Sakai, T. and Yamana, H.

情報処理学会論文誌2011年-

Challenges in Diversity Evaluation (keynote)

Sakai, T.

ECIR 2011 Workshop on Diversity in Document Retrieval2011年-

Query Session Data vs. Clickthrough Data as Query Suggestion Resources

Kato, M.P., Sakai, T. and Tanaka, K.

ECIR 2011 Workshop on Session Information Retrieval2011年-

Using Graded-Relevance Metrics for Evaluating Community QA Answer Selection

Sakai, T., Ishikawa, D., Kando, N., Seki, Y., Kuriyama, K. and Lin, C.-Y.

ACM WSDM 2011 oral presentation paper2011年-

Community QA Question Classification: Is the Asker Looking for Subjective Answers or Not?

Aikawa, N., Sakai, T. and Yamana, H.

WebDB Forum 20102010年-

コミュニティQAにおける良質な回答の選定タスク: 評価方法に関する考察

酒井哲也, 石川大介, 栗山和子, 関洋平, 神門典子

FIT 20102010年-

Ranking Retrieval Systems without Relevance Assessments – Revisited

Sakai, T. and Lin, C.-Y.

EVIA 2010 Proceedings2010年-

Simple Evaluation Metrics for Diversified Search Results

Sakai, T., Craswell, N., Song, R., Robertson, S., Dou, Z. and Lin, C.-Y.

EVIA 2010 Proceedings2010年-

Constructing a Test Collection with Multi-Intent Queries

Song, R., Qi, D., Liu, H., Sakai, T., Nie, J.-Y., Hon, H.-W. and Yu, Y.

EVIA 2010 Proceedings2010年-

Boiling Down Information Retrieval Test Collections

Sakai, T. and Mitamura, T.

RIAO 2010 Proceedings2010年-

People, Clouds, and Interaction for Information Access (invited paper)

Sakai, T.

IUCS 20092009年-

Ranking the NTCIR ACLIA IR4QA Systems without Relevance Assessments

Sakai, T., Kando, N., Shima, H., Lin, C.-J. Song, R., Sugimoto, M. and Mitamura, T.

日本データベース学会論文誌2009年-

Serendipitous Search via Wikipedia: A Query Log Analysis

Sakai, T. and Nogami, K.

ACM SIGIR 2009 Proceedings2009年-

On the Robustness of Information Retrieval Metrics to Biased Relevance Assessments

Sakai, T.

Journal of Information Processing2009年-

Modelling A User Population for Designing Information Retrieval Metrics

Sakai, T. and Robertson, S.

Proceedings of the Second International Workshop on Evaluating Information Access (EVIA 2008)2008年-

Comparing Metrics across TREC and NTCIR: The Robustness to System Bias

Sakai, T.

ACM CIKM 2008 Proceedings2008年-

クリックスルーに基づく探検型検索サイトの設計と開発,

酒井 哲也 , 小山田 浩史 , 野上 謙一 ,北村 仁美 ,梶浦 正浩 ,東 美奈子 ,野中 由美子 ,小野 雅也 ,菊池 豊

第7回情報科学技術フォーラム20082008年-

Comparing Metrics across TREC and NTCIR: The Robustness to Pool Depth Bias

Sakai, T.

ACM SIGIR 2008 Proceedings2008年-

Precision-At-Ten Considered Redundant

Webber, W., Moffat, A., Zobel, J. and Sakai, T.

ACM SIGIR 2008 Proceedings2008年-

Introduction to the NTCIR-6 Special Issue

Kando, N., Mitamura, T. and Sakai, T.

ACM Transactions on Asian Language Information Processing (TALIP) 2008年-

On Information Retrieval Metrics Designed for Evaluation with Incomplete Relevance Assessments

Sakai, T. and Kando, N.

Information Retrieval2008年-

高精度な音声入力質問応答のための疑問表現補完

筒井 秀樹 ,真鍋 俊彦 ,福井 美佳 ,酒井 哲也 ,藤井 寛子 , 浦田 耕二

情報処理学会論文誌2007年-

On the Properties of Evaluation Metrics for Finding One Highly Relevant Document

Sakai, T.

IPSJ TOD2007年-

Evaluating Information Retrieval Metrics based on Bootstrap Hypothesis Tests

Sakai, T.

IPSJ TOD2007年-

Evaluating the Task of Finding One Relevant Document Using Incomplete Relevance Data

Sakai, T.

FIT 2007 Information Technology Letters2007年-

Alternatives to Bpref

Sakai, T.

ACM SIGIR 2007 Proceedings2007年-

Pic-A-Topic: Efficient Viewing of Informative TV Contents on Travel, Cooking, Food and More

Sakai, T., Uehara, T., Shimomori, T., Koyama, M. and Fukui, M.

RIAO 2007 Proceedings2007年-

User Satisfaction Task: A Proposal for NTCIR-7

Sakai, T.

Proceedings of the First Workshop on Evaluating Information Access (EVIA 2007)2007年-

On Penalising Late Arrival of Relevant Documents in Information Retrieval Evaluation with Graded Relevance

Sakai, T.

Proceedings of the First Workshop on Evaluating Information Access (EVIA 2007)2007年-

On the Reliability of Factoid Question Answering Evaluation

Sakai, T.

ACM Transactions on Asian Language Information Processing (TALIP)2007年-

On the Reliability of Information Retrieval Metrics based on Graded Relevance

Sakai, T.

Information Processing and Management2007年-

Bootstrap-Based Comparisons of IR Metrics for Finding One Relevant Document

Sakai, T.

AIRS 20062006年-

Pic-A-Topic: Gathering Information Efficiently from Recorded TV Shows on Travel

Sakai, T., Uehara, T., Sumita, K. and Shimomori, T.

AIRS 20062006年-

Improving the Robustness to Recognition Errors in Speech Input Question Answering

Tsutsui, H., Manabe, T., Fukui, M., Sakai, T., Fujii, H. and Urata, K.

AIRS 20062006年-

NTCIRに基づく文書検索技術の進歩に関する一考察

酒井哲也

情報科学技術レターズ2006年-

Evaluating Evaluation Metrics based on the Bootstrap

Sakai, T.

ACM SIGIR 2006 Proceedings2006年-

Give Me Just One Highly Relevant Document: P-measure

Sakai, T.

ACM SIGIR 2006 Proceedings2006年-

On the Task of Finding One Highly Relevant Document with High Precision

Sakai, T.

IPSJ TOD2006年-

A Further Note on Evaluation Metrics for the Task of Finding One Highly Relevant Document

Sakai, T.

IPSJ SIG Technical Report2006年-

よりよい検索システム実現のために：正解の良し悪しを考慮した情報検索評価の動向

酒井哲也

情報処理2006年-

The Effect of Topic Sampling on Sensitivity Comparisons of Information Retrieval Metrics

Sakai, T.

NTCIR-5 Proceedings (Open Submission Session)2005年-

The Relationship between Answer Ranking and User Satisfaction in a Question Answering System

Kokubu, T., Sakai, T., Saito, Y., Tsutsui, H., Manabe, T., Koyama, M. and Fujii, H.

NTCIR-5 Proceedings (Open Submission Session)2005年-

Introduction to the Special Issue: Recent Advances in Information Processing and Access for Japanese

Sakai, T. and Matsumoto, Y.

ACM TALIP2005年-

The Reliability of Metrics based on Graded Relevance

Sakai, T.

AIRS 20052005年-

ひとつの高適合文書を高精度に検索するタスクのための評価指標

酒井哲也

情報科学技術レターズ 2005年-

Advanced Technologies for Information Access (invited paper)

Sakai, T.

International Journal of Computer Processing of Oriental Languages2005年-

Flexible Pseudo-Relevance Feedback via Selective Sampling

Sakai, T., Manabe, T. and Koyama, M

ACM TALIP2005年-

固有表現抽出と回答タイプ体系が質問応答システムの性能に与える影響(自然言語処理)

市村由美,齋藤佳美, 酒井哲也, 国分智晴, 小山誠

電子情報通信学会 論文誌2005年-

評価型ワークショップにおけるシステム順位の安定性について

酒井哲也

言語処理学会第11回年次大会 併設ワークショップ「評価型ワークショップを考える」2005年-

Ranking the NTCIR Systems based on Multigrade Relevance

Sakai, T.

AIRS 2004, Lecture Notes in Computer Science 34112005年-

The Effect of Back-Formulating Questions in Question Answering Evaluation

Sakai, T., Saito, Y., Ichimura, Y., Kokubu, T. and Koyama, M.

ACM SIGIR 20042004年-

New Performance Metrics based on Multigrade Relevance

Sakai, T.

NTCIR-4 Proceedings (Open Submission Session), 2004年-

ASKMi: A Japanese Question Answering System based on Semantic Role Analysis

Sakai, T., Saito, Y., Ichimura, Y., Koyama, M., Kokubu, T. and Manabe, T.:

RIAO 20042004年-

Average Gain Ratio: A Simple Retrieval Performance Measure for Evaluation with Multiple Relevance Levels

Sakai, T.

ACM SIGIR 2003 2003年-

Evaluating Retrieval Performance for Japanese Question Answering: What Are Best Passages?

Sakai, T. and Kokubu, T.

ACM SIGIR 20032003年-

BRIDJE over a Language Barrier: Cross-Language Information Access by Integrating Translation and Retrieval

Sakai, T., Koyama, M., Suzuki, M., Kumano, A. and Manabe, T.

IRAL 2003 2003年-

汎用シソーラスと擬似適合性フィードバックとを用いた検索質問拡張

小山誠, 真鍋俊彦, 木村和広, 酒井哲也

「情報アクセスのためのテキスト処理」シンポジウム2003年-

意味役割解析に基づく高適合英語文書の検索

酒井哲也, 小山誠, 鈴木優, 真鍋俊彦

FIT 2002 情報技術レターズ 　 LD-82002年-

The Use of External Text Data in Cross-Language Information Retrieval based on Machine Translation

Sakai, T.

IEEE SMC 20022002年-

Generating Transliteration Rules for Cross-Language Information Retrieval from Machine Translation Dictionaries

Sakai, T., Kumano, A. and Manabe, T.

IEEE SMC 2002 2002年-

Relative and Absolute Term Selection Criteria: A Comparative Study for English and Japanese IR

Sakai, T. and Robertson, S.E

ACM SIGIR 2002 2002年-

A Framework for Cross-Language Information Access: application to English and Japanese

Jones, G.J.F., Collier, N.H., Sakai, T., Sumita, K. and Hirakawa, H.

Computers and the Humanities2001年-

Combining the Ranked Output from Fulltext and Summary Indexes

Sakai, T.

ACM SIGIR 2001 Workshop on Text Summarization2001年-

Generic Summaries for Indexing in Information Retrieval

Sakai, T. and Sparck Jones, K.

ACM SIGIR 20012001年-

Flexible Pseudo-Relevance Feedback Using Optimization Tables

Sakai, T. and Robertson, S.E.

ACM SIGIR 2001 2001年-

Japanese-English Cross-Language Information Retrieval using Machine Translation and Pseudo-Relevance Feedback

Sakai, T.

International Journal of Computer Processing of Oriental Languages2001年-

Flexible Pseudo-Relevance Feedback via Direct Mapping and Categorization of Search Requests

Sakai, T., Robertson, S.E. and Walker, S.

ECIR 2001 2001年-

A First Step towards Flexible Local Feedback for Ad hoc Retrieval

Sakai, T., Kajiura, M. and Sumita K

IRAL 20002000年-

MT-based Japanese-English Cross-Language IR Experiments using the TREC Test Collections

Sakai, T.

IRAL 2000 2000年-

Incremental Relevance Feedback in Japanese Text Retrieval

Jones, G.J.F., Sakai, T., Kajiura, M. and Sumita, K.

Information Retrieval2000年-

機械翻訳を用いた英日・日英言語横断検索に関する一考察

酒井哲也 ,梶浦 正浩 ,住田 一男 ,K., Jones, G. and Collier, N.

情報処理学会論文誌1999年-

日本語情報検索システム評価用テストコレクションの構築

木本 晴夫 ,小川 泰嗣 ,石川 徹也 ,増永 良文 ,福島 俊一 ,田中 智博 ,中渡瀬 秀一 ,芥子 育雄 ,豊浦 潤 ,宮内 忠信 ,上田 良寛 ,松井 くにお ,木谷 強 ,三池 誠司 ,酒井 哲也 ,徳永 健伸 ,鶴岡 弘 ,安形 輝

情報処理学会論文誌1999年-

Exploring the use of Machine Translation resources for English-Japanese Cross-Language Information Retrieval

Jones, G., Sakai, T., Collier, N., Kumano, A. and Sumita, K.

MT Summit VII Workshop on Machine Translation for Cross Language Information Retrieval1999年-

A Comparison of Query Translation Methods for English-Japanese Cross-Language Information Retrieval

Jones, G., Sakai, T., Collier, N., Kumano, A. and Sumita, K.

ACM SIGIR '99 1999年-

確率モデルに基づく日本語情報フィルタリングにおけるフィードバックによる検索条件展開および検索精度評価

酒井 哲也 ,JonesGarethJ.F. ,梶浦 正浩 ,住田 一男

情報処理学会論文誌1999年-

日本語テキスト情報検索システムの評価用テストコレクション

酒井哲也, 小川泰嗣, 木谷強, 石川徹也, 木本晴夫, 中渡瀬秀一, 芥子育雄, 豊浦潤, 福島俊一, 松井くにお, 上田良寛, 徳永健伸, 鶴岡弘, 安形輝

アドバンストデータベースシンポジウム'98, パネル：マルチメディア情報検索ベンチマークの未来1998年-

情報フィルタリングのためのブール式と文書構造を利用した検索条件生成と検索精度評価

酒井 哲也, 梶浦 正浩 , 住田 一男

情報処理学会論文誌1998年-

Application of Query Expansion Techniques in Probabilistic Japanese News Filtering

Sakai, T., Jones, G., Kajiura, M. and Sumita, K.

IRAL '981998年-

Experiments in Japanese  Text Retrieval and Routing using the NEAT System

Jones, G., Sakai, T., Kajiura, M. and Sumita, K.

ACM SIGIR '981998年-

Lessons from BMIR-J2: A Test Collection for Japanese IR Systems

Kitani, T., Ogawa, Y., Ishikawa, T., Kimoto, H., Keshi, I., Toyoura, J., Fukushima, T., Matsui, K., Ueda, Y., Sakai, T., Tokunaga, T., Tsuruoka, H., Nakawatase, H., Agata, T.

ACM SIGIR '98 1998年-

ユーザーの要求に応じた 情報フィルタリングシステム NEATのプロファイル生成

酒井哲也, Jones, G.J.F.,梶浦正浩 ,住田一男

Interaction '981998年-

日本語情報検索システム評価用テストコレクションの構築

木本晴夫, 小川泰嗣, 石川徹也, 増永良文, 福島俊一, 田中智博, 中渡瀬秀一, 芥子育雄, 豊浦潤, 宮内忠信, 上田良寛, 松井くにお, 木谷強, 三池誠司, 酒井哲也, 徳永健伸, 鶴岡弘, 安形輝

情報学シンポジウム'981998年-

情報検索システム評価のためのテストコレクション

酒井哲也, 小川泰嗣, 木谷強, 石川徹也, 木本晴夫, 中渡瀬秀一, 芥子育雄, 豊浦潤, 福島俊一, 松井くにお, 上田良寛, 徳永健伸, 鶴岡弘, 安形輝, 神門典子

Computer Today1998年-

WWW上のフロー情報を対象にした情報フィルタ (FreshEye)

住田一男, 上原龍也, 小野顕司, 酒井哲也, 池田朋男, 下郡信宏

インタラクション'971997年-

日本語情報検索システム評価用テストコレクションBMIR-J1

福島俊一, 小川泰嗣, 石川徹也, 増永良文, 木本晴夫, 田中智博, 中渡瀬秀一, 芥子育雄, 豊浦潤, 宮内忠信, 上田良寛, 松井くにお, 三池誠司, 酒井哲也, 木谷強, 徳永健伸, 鶴岡弘, 安形輝

自然言語処理シンポジウム'961996年-

A User Interface for Generating Dynamic Abstracts of Retrieved Documents

Sakai, T., Itoh, E., Miike, S. and Sumita, K.

47th FID1994年-

書籍等出版物

Proceedings of the Open-Source IR Replicability Challenge (OSIRRC 2019)

Clancy, R., Ferro, N., Hauff, C., Lin, J., Sakai, T., and Wu, Z.-Z.

2019年-

Proceedings of AIRS 2018 (LNCS 11292)

Tseng, Y.-H., Sakai, T., Jiang, J., Ku, L.-W., Park, D.H., Yeh, J.-F., Yu, L.-C., Lee, L.-H., and Chen, Z.-H.

2018年-

Laboratory Experiments in Information Retrieval: Sample Sizes, Effect Sizes, and Statistical Power

Sakai, T.

Springer2018年-

Proceedings of SPIRE 2016 (LNCS 9954)

Inegaga, S., Sadakane, K. and Sakai, T. (eds.)

2016年-

情報アクセス評価方法論～検索エンジンの進歩のために～,

酒井哲也

コロナ社2015年-

Proceedings of NTCIR-10

Kando, N., Kishida, K., Tang, E., Sakai, T., Kato, M.P., Chow, K.P., Goto, I., Watanabe, Y., Akiba, T., Nishizaki, H., Aizawa, A., Morita, M. and Aramaki, E. (eds.)

2013年-

Proceedings of ACM SIGIR 2013

Jones, J.F.G, Sheridan, P., Kelly, D., de Rijke, M. and Sakai, T. (eds.)

2013年-

Proceedings of NTCIR-9

Kando, N., Ishikawa, D., Sugimoto, M., Gey, F.C., Sakai, T., Akiba, T., Shima, H., Geva, S., Tang, E., Trotman, A., Kato, T., Lu, B. and Goto, I. (eds.),

2011年-

Proceedings of EVIA 2010

Sakai, T., Sanderson, M., Webber, W., Kando, N. and Kishida, K. (eds.)

2010年-

Proceedings of the 3rd International Workshop on Evaluating Information Access (EVIA 2010),

Sakai, T., Sanderson, M., Webber, W., Kando, N. and Kishida, K. (eds.)

2010年-

言語処理学辞典

共同執筆

共立出版2009年-

Proceedings of the SIGIR 2009 Workshop on the Future of IR Evaluation

Geva, S., Kamps, J., Peters, C., Sakai, T., Trotman, A. and Voorhees, E. (eds.)

2009年-

AIRS 2009　(LNCS 5839)

Lee, G.G., Song, D., Lin, C.-Y., Aizawa, A., Kuriyama, K., Yoshioka, M. and Sakai, T. (eds.)

2009年-

5th Asia Information Retrieval Symposium (AIRS 2009)

Lee, G.G., Song, D., Lin, C.-Y., Aizawa, A., Kuriyama, K., Yoshioka, M. and Sakai, T. (eds.)

2009年-

Proceedings of the SIGIR 2009 Workshop on the Future of IR Evaluation,

Geva, S., Kamps, J., Peters, C., Sakai, T., Trotman, A. and Voorhees, E. (eds.)

2009年-

AIRS 2008 (LNCS 4993)

Li, H., Liu, T., Ma, W.-Y., Sakai, T., Wong, K.-F. and Zhou, G. (eds.)

2008年-

Proceedings of EVIA 2008

Sakai, T., Sanderson, M., Kando, N. and Sugimoto, M. (eds.)

2008年-

Proceedings of the Second International Workshop on Evaluating Information Access (EVIA 2008)

Sakai, T., Sanderson, M., Kando, N. and Sugimoto, M. (eds.)

2008年-

4th Asia Information Retrieval Symposium (AIRS 2008),

Li, H., Liu, T., Ma, W.-Y., Sakai, T., Wong, K.-F. and Zhou, G. (eds.)

Lecture Notes in Computer Science 4993,2008年-

Proceedings of EVIA 2007

Sakai, T., Sanderson, M. and Evans, D.K. (eds.)

2007年-

Proceedings of the First International Workshop on Evaluating Information Access (EVIA 2007),

Sakai, T., Sanderson, M. and Evans, D.K. (eds.)

2007年-

講演・口頭発表等

Overview of the TREC 2018 CENTRE Track

Soboroff, I., Ferro, N., Maistro, M., and Sakai, T.

Proceedings of TREC 20182019年

NTCIR-15ウェブ検索・再現可能性タスク (WWW-3) および対話評価タスク (DialEval-1)への誘い

酒井哲也

情報処理学会研究報告2019-IFAT-1362019年

SLWWW at the NTCIR-14 We Want Web Task

Xiao, P. and Sakai, T.

Proceedings of NTCIR-142019年

SLSTC at the NTCIR-14 STC-3 Dialogue Quality and Nugget Detection Subtasks

Kato, S., Suzuki, R., Zeng, Z., and Sakai, T.

Proceedings of NTCIR-142019年

Overview of the NTCIR-14 Short Text Conversation Task: Dialogue Quality and Nugget Detection Subtasks

Zeng, Z., Kato, S., and Sakai, T.

Proceedings of NTCIR-142019年

Overview of the NTCIR-14 We Want Web Task

Mao, J., Sakai, T., Luo, C., Xiao, P., Liu, Y., and Dou, Z.

Proceedings of NTCIR-142019年

Overview of the NTCIR-14 CENTRE Task

Sakai, T., Ferro, N., Soboroff, I., Zeng, Z., Xiao, P., and Maistro, M.

Proceedings of NTCIR-142019年

RSL19BD at DBDC4: Ensemble of Decision Tree-based and LSTM-based Models

Wang, C., Kato, S., and Sakai, T.

arXiv:1905.017992019年

Graded Relevance Assessments and Graded Relevance Measures of NTCIR: A Survey of the First Twenty Years

Sakai, T.

arXiv:1903.112722019年

文書分類技術に基づくエントリーシートからの業界推薦

三王慶太,酒井哲也

DEIM 20192019年

Twitterコーパスに基づく雑談対話システムにおける多様性の獲得

村田憲俊,酒井哲也

DEIM 20192019年

Dialogue Quality Distribution Prediction based on a Loss that Compares Adjacent Probability Bins

河東宗祐,酒井哲也

DEIM 20192019年

能動学習を利用した未知語アノテーションの検討

黒澤瞭佑,酒井哲也

DEIM 20192019年

Androidアプリの権限要求に対するユーザーへの説明の補完

小島智樹,酒井哲也

DEIM 20192019年

Exploring Multi-label Classification Using Text Graph Convolutional Networks on the NTCIR-13 MedWeb Dataset

Sijie Tao, Tetsuya Sakai

DEIM 20192019年

Query-Focused Extractive Summarization based on Deep Learning: Comparison of Similarity Measures for Pseudo Ground Truth Generation

Yuliska, Tetsuya Sakai

DEIM 20192019年

音声ユーザインタフェースにおける処理エラーによるユーザフラストレーションに関する調査

呉越思瑶,酒井哲也

DEIM 20192019年

Convolutional Neural Networkを用いたFake News Challengeの検討

雨宮佑基,酒井哲也

DEIM 20192019年

FigureQAタスクにおける抽象画像を考慮したアプローチ

坂本凜,酒井哲也

DEIM 20192019年

擬似アノテーションにもとづく日本語ツイートの極性判定

小橋賢介, 酒井哲也

DEIM 20192019年

Androidアプリのレビューを用いたユーザーへの権限説明の補完

小島智樹, 酒井哲也

情報処理学会研究報告2018年

色・形状・テクスチャに基づく画像検索の自動評価と多様化

富樫陸, 藤田澄男, 酒井哲也

情報処理学会研究報告 2018-IFAT-132 (12)2018年

対話破綻検出コーパスに対する学習データ選別の検討

河東宗祐, 酒井哲也

情報処理学会研究報告 2018-IFAT-132 (28)2018年

A Comparative Study of Deep Learning Approaches for Visual Question Classification in Community QA

Liu, H.-W., Srivastava, A., Fujita, S., Shimizu, T., Togashi, R., Sakai, T.

IPSJ SIG Technical Report 2018-IFAT-132 (17)2018年

Report on NTCIR-13: The Thirteenth Round of NII Testbeds and Community for Information Access Research

Liu, Y., Kato, M.P., Clarke, C.L.A., Kando, N., and Sakai,T.

SIGIR Forum 52(1) 20182018年

ユーザーのニーズに合わせたインタラクティブな推薦システムの提案

呉越思瑶, 酒井哲也

DEIM 20182018年

Classifying Community QA QuestionsThat Contain an Image

Kenta Tamaki, Riku Togashi, Sumio Fujita, Hideyuki Maeda, Tetsuya Sakai

DEIM 20182018年

単語レベルと文字レベルの情報を用いた日本語対話システムの試作

村田憲俊, 酒井哲也

DEIM 20182018年

Generative Adversarial Nets を用いた文書分類の検証

小島智樹, 酒井哲也

DEIM 20182018年

クリックと放棄に基づくモバイルバーティカルの順位付け

川崎 真未, Inho Kang, 酒井哲也

DEIM 20182018年

SLWWW at the NTCIR-13 WWW Task

Xiao, P., Li, L., Fan, Y., and Sakai, T.

Proceedings of NTCIR-132017年

SLSTC at the NTCIR-13 STC Task

Guan, J. and Sakai, T.

Proceedings of NTCIR-132017年

SLQAL at the NTCIR-13 QA Lab-3 Task

Sato, K. and Sakai, T.

Proceedings of NTCIR-132017年

SLOLQ at the NTCIR-13 OpenLiveQ Task

Kashimura, R. and Sakai T.

Proceedings of NTCIR-132017年

Overview of the NTCIR-13 We Want Web Task

Luo, C., Sakai, T., Liu, Y., Dou, Z., Xiong, C., and Xu, J.

Proceedings of NTCIR-132017年

Overview of the NTCIR-13 Short Text Conversation Task

Shang, L., Sakai, T., Li, H., Higashinaka, R., Miyao, Y., Arase, Y., and Nomoto,M.

Proceedings of NTCIR-132017年

Ranking Rich Mobile Verticals based on Clicks and Abandonment

Kawasaki, M., Kang, I., and Sakai, T.

情報処理学会研究報告 2017-IFAT-1272017年

Test Collections and Measures for Evaluating Customer-Helpdesk Dialogues

Zeng, Z., Luo, C., Shang, L., Li, H., and Sakai, T.

情報処理学会研究報告 2017-NL-2322017年

複数人で睡眠習慣改善に臨む際の人間関係と協調の効果

飯島 聡美, 酒井 哲也

DEIM 20172017年

クリックに基づく選好グラフを用いたバーティカル適合性推定

門田見 侑大, 吉田 泰明, 藤田澄男, 酒井 哲也

DEIM 20172017年

拡張クエリを用いたレシピ検索のパーソナライゼーション

犬塚 眞太郎, 酒井 哲也

DEIM 20172017年

アノテーション分布を考慮した対話破綻検出

河東 宗祐, 酒井 哲也

DEIM 20172017年

英日言語横断検索におけるクエリ拡張結果の詳細分析

玉置 賢太, 酒井 哲也

DEIM 20172017年

解答検証を利用した選択式問題への自動解答

佐藤 航, 酒井 哲也

DEIM 20172017年

ツイートにおける周辺単語の感情極性値を用いた新語の感情推定

黒澤 瞭佑, 酒井 哲也

DEIM 20172017年

Report on NTCIR-12: The Twelfth Round of NII Testbeds and Community for Information Access Research

Kato, M.P., Kishida, K., Kando, N., Sakai, T., and Sanderson, M.

SIGIR Forum 50 (2)2017年

評価実験の設計と論文での結果報告: きちんとやっていますか?

酒井 哲也

第3回自然言語処理シンポジウム2017年

word2vecによる発話ベクトルの類似度を用いた対話破綻予測

河東宗祐, 酒井 哲也

人工知能学会 音声・言語理解と対話処理研究会（SLUD）第78回研究会 (第7回対話システムシンポジウム), 2016年

Evaluating Helpdesk Dialogues: Initial Considerations from An Information Access Perspective

Sakai, T., Zeng, Z. and Luo, C

情報処理学会研究報告2016年

SLLL at the NTCIR-12 Lifelog Task: Sleepflower and the LIT Subtask

Iijima, S. and Sakai, T.

NTCIR-122016年

SLSTC at the NTCIR-12 STC Task

Denawa, H., Sano, T., Kadotami, Y., Kato, S. and Sakai, T.

NTCIR-122016年

SLQAL at the NTCIR-12 QALab-2 Task

Higuchi, S. and Sakai, T.

NTCIR-122016年

NEXTI at NTCIR-12 IMine-2 Task

Nanba, H., Sakai, T., Kando, N., Keyaki, A., Eguchi, K., Hatano, K., Shimizu, T., Hirate, Y. and Fujii, A

NTCIR-122016年

Overview of the NTCIR-12 MobileClick Task

Kato, M.P., Sakai, T., Yamamoto, T., Pavlu, V., Morita, H. and Fujita, S

NTCIR-122016年

Overview of the NTCIR-12 Short Text Conversation Task

Shang, L., Sakai, T., Lu, Z., Li, H., Higashinaka, R. and Miyao, Y.

NTCIR-122016年

協調型ヘルスケア -規則正しい睡眠による日中の生産性向上

飯島聡美, 酒井哲也

DEIM 20162016年

言語の分散表現と擬似適合性フィードバックを用いた英日言語横断検索

玉置賢太, 林佑明, 酒井哲也

DEIM 20162016年

コンテキスト付き検索ログを用いた要求ヴァーティカルの分析

門田見侑大, 吉田泰明, 藤田澄男, 酒井哲也

DEIM 20162016年

ショッピングサイトにおける購入予測のための行動パターン分析

出縄弘人, Young-In Song, 酒井哲也

DEIM 20162016年

発話者を考慮した学習に基づく対話システムの検討

河東宗祐, 酒井哲也

DEIM 20162016年

Project Next IR -情報検索の失敗分析‐

難波, 酒井, 神門

情報処理2016年

ECol 2015: First International Workshop on the Evaluation of Collaborative Information Seeking and Retrieval

Azzopardi, L., Pickens, J., Sakai, T., Soulier, L. and Tamine, L

ACM CIKM 20152015年

Topic Set Size Design with the EvaluTopic Set Size Design with the Evaluation Measures for Short Text Conversationation Measures for Short Text Conversation

Sakai, T.

情報処理学会研究報告2015年

情報検索のエラー分析

難波英嗣，酒井哲也

言語処理学会第２１回年次大会ワークショップ2015年

言語の分散表現による文脈情報を利用した言語横断情報検索

林佑明, 酒井哲也

DEIM Forum 20152015年

TREC 2014 Temporal Summarization Track Overview

Aslam, J., Diaz, F., Ekstrand-Abueg, M., McCreadie, R. and Sakai, T.

TREC 2014 2015年

Overview of the NTCIR-11 MobileClick Task

Kato, M.P., Ekstrand-Abueg, M., Pavlu, V., Sakai, T., Yamamoto, T. and Iwata, M

NTCIR-112014年

Androidアプリの説明文とプライバシー情報アクセスの相関分析

渡邉卓弥, 秋山満昭, 酒井哲也, 鷲崎弘宜, 森達哉

マルウェア対策研究人材育成ワークショップ 20142014年

映像入力デバイスを悪用する Android アプリの解析と対策法

渡邉卓弥, 森達哉, 酒井哲也

信学技報2014年

TREC 2013 Temporal Summarization

Aslam, J., Diaz, F., Ekstrand-Abueg, M., Pavlu, V. and Sakai, T.

TREC 2013 2014年

モバイル「情報」検索に向けて: NTCIR-11 MobileClickタスクへの誘い

加藤誠，Ekstrand-Abueg, M., Pavlu, V., 酒井哲也，山本岳洋，岩田麻佑

人工知能学会第5回インタラクティブ情報アクセスと可視化マイニング研究会2013年

How Intuitive Are Diversified Search Metrics? Concordance Test Results for the Diversity U-measures

Sakai, T.

情処学会研究報告2013年

MSRA at NTCIR-10 1CLICK-2

Narita, K., Sakai, T., Dou, Z. and Song, Y.-I.

NTCIR-102013年

Microsoft Research Asia at the NTCIR-10 Intent Task

Tsukuda, K., Dou, Z. and Sakai, T.

NTCIR-102013年

Overview of the NTCIR-10 1CLICK-2 Task

Kato, M.P., Ekstrand-Abueg, M., Pavlu, V., Sakai, T., Yamamoto, T. and Iwata, M

NTCIR-102013年

Overview of the NTCIR-10 INTENT-2 Task

Sakai, T., Dou, Z., Yamamoto, T., Liu, Y., Zhang, M., Song, R., Kato, M.P. and Iwata, M.

NTCIR-102013年

A Preview of the NTCIR-10 INTENT-2 Results

Sakai, T., Dou, Z., Yamamoto, T., Liu, Y., Zhang, M., Song, R., Kato, M.P. and Iwata, M

情報処理学会研究報告2013年

One Click One Revisited: Enhancing Evaluation based on Information Units

Sakai, T. and Kato, M.P.

情報処理学会研究報告2012年

The Reusability of a Diversified Search Test Collection

Sakai, T.

情報処理学会研究報告2012年

Frontiers, Challenges, and Opportunities for Information Retrieval: Report from SWIRL 2012 The Second Strategic Workshop on Information Retrieval in Lorne,

Allan, J., Aslam, J., Azzopardi, L., Belkin, N., Borlund, P., Bruza, P., Callan, J., Carman, M., Clarke, C.L.A., Craswell, N. Croft, W.B., Culpepper, J.S., Diaz, F., Dumais, S., Ferro, N., Geva, S., Gonzalo, J., Hawking, D., Jarvelin, K., Jones, G., Jones, R., Kamps, J., Kando, N., Kanoulas, N., Karlgren, J., Kelly, D., Lease, M., Lin, J., Mizzaro, S., Moffat, A., Murdock, V., Oard, D.W., de Rijke, M., Sakai, T., Sanderson, M., Scholer, F., Si, L., Thom, J.A., Thomas, P., Trotman, A., Turpin, A., de Vries, A.P., Webber, W., Zhang, X. and Zhang, Y.,:

SIGIR Forum2012年

NTCIR-9総括と今後の展望

酒井哲也, 上保秀夫, 神門典子, 加藤恒昭, 相澤彰子, 秋葉友良, 後藤功雄, 木村文則, 三田村照子, 西崎博光, 嶋秀樹, 吉岡真治, Geva, S., Tang, L.-X., Trotman, A. and Xu, Y

情報処理学会研究報告2012年

曖昧なクエリと(不)明快なクエリ:NTCIR-10 INTENT-2と1CLICK-2タスクへの誘い

酒井哲也

情報処理学会研究報告2012年

NTCIR-9 VisEx におけるグリッド型インタラクションモデルの研究

上保秀夫, 酒井哲也

人工知能学会情報編纂研究会第７回究会2011年

Grid-based Interaction for NTCIR-9 VisEx Task,

Joho, H. and Sakai, T.

NTCIR-9 Proceedings2011年

TTOKU Summarization Based Systems at NTCIR-9 1CLICK Task

Morita, H., Makino, T., Sakai, T., Takamura, H. and Okumura, M.

NTCIR-9 Proceedings2011年

Microsoft Research Asia at the NTCIR-9 Intent Task

Han, J., Wang, Q., Orii, N., Dou, Z., Sakai. T. and Song, R.

NTCIR-9 Proceedings2011年

Microsoft Research Asia at the NTCIR-9 1CLICK Task

Orii, N., Song, Y.-I. and Sakai, T.

NTCIR-9 Proceedings2011年

Overview of NTCIR-9 1CLICK

Sakai, T., Kato, M.P. and Song, Y.-I.

NTCIR-9 Proceedings2011年

Overview of the NTCIR-9 INTENT Task

Song, R., Zhang, M., Sakai, T., Kato, M.P., Liu, Y., Sugimoto, M., Wang, Q. and Orii,  N.

NTCIR-9 Proceedings2011年

Overview of NTCIR-9

Sakai, T., Joho, H.

NTCIR-9 Proceedings2011年

Japanese Hyponymy Extraction based on a Term Similarity Graph

Akiba, T. and Sakai, T.

情報処理学会研究報告2011年

複数判定者によるコミュニティQAの良質回答の判定

石川大介, 酒井哲也, 関洋平, 栗山和子, 神門典子

情報知識学会誌2011年

EVIA 2010: The Third International Workshop on Evaluating Information Access

Webber, W., Sakai, T. and Sanderson, M.

ACM SIGIR Forum2010年

Mutilinguality at NTCIR, and moving on... (invited talk),

Sakai, T.

Proceedings of the COLING 2010 Fourth Workshop on Cross Lingual Information Access2010年

Microsoft Research Asia with Redmond at the NTCIR-8 Community QA Pilot Task

Song, Y.-I., Liu, J., Sakai, T., Wang, X.-J., Feng, G., Cao, Y., Suzuki, H. and Lin, C.-Y.

NTCIR-8 Proceedings2010年

Overview of the NTCIR-8 Community QA Pilot Task (Part II)

Sakai, T., Ishikawa, D. and Kando, N.

System Evaluation, NTCIR-8 Proceedings2010年

Overview of the NTCIR-8 Community QA Pilot Task (Part I):

Ishikawa, D., Sakai, T. and Kando, N.

The Test Collection and the Task, NTCIR-8 Proceedings2010年

NTCIR-GeoTime Overview: Evaluating Geographic and Temporal Search

Gey, F., Larson, R., Kando, N., Machado, J. and Sakai, T.

NTCIR-8 Proceedings2010年

Overview of NTCIR-8 ACLIA IR4QA

Sakai, T., Shima, H., Kando, N., Song, R., Lin, C.-J., Mitamura, T., Sugimoto, M. and Lee, C.-W.

NTCIR-8 Proceedings2010年

Overview of the NTCIR-8 ACLIA Tasks: Advanced Cross-Lingual Information Access

Mitamura, T., Shima, H., Sakai, T., Kando, N., Mori, T., Takeda, K., Lin, C.-Y., Song, R., Lin, C.-J. and Lee, C.-W.:

NTCIR-8 Proceedings2010年

Q&Aサイトにおけるベストアンサー推定の分析とその機械学習への応用

石川大介, 栗山和子, 酒井哲也, 関洋平, 神門典子

情報知識学会年次大会予稿2010年

Report on the SIGIR 2009 Workshop on the Future of IR Evaluation,

Kamps, J., Geva, S., Peters, C., Sakai, T., Trotman, A. and Voorhees, E.,

0ACM SIGIR Forum2009年

Revisiting NTCIR ACLIA IR4QA with Additional Relevance Assessments

Sakai, T., Kando, N., Lin, C.-J., Song, R., Shima, H. and Mitamura, T

情報処理学会研究報告2009年

EVIA 2008: The Second International Workshop on Evaluating Information Access

Sakai, T., Sanderson, M. and Kando, N.

ACM SIGIR Forum2009年

NTCIR-7 ACLIA IR4QA Results based on Qrels Version 2

Sakai, T., Kando, N., Lin, C.-J., Song, R., Shima, H. and Mitamura, T

NTCIR-7 Online Proceedings2009年

ウィキペディアを活用した探検型検索サイトのクエリログ分析

酒井哲也, 野上謙一

情報処理学会研究報告2009年

Overview of the NTCIR-7 ACLIA IR4QA Task

Sakai, T., Kando, N., Lin, C.-J., Mitamura, T., Shima, H., Ji, D., Chen, K.-H., and Nyberg, E

NTCIR-7 Proceedings2008年

Overview of the NTCIR-7 ACLIA Tasks: Advanced Cross-Lingual Information Access

Mitamura, T., Nyberg, E., Shima, H., Kato, T., Mori, T., Lin, C.-Y., Song, R., Lin, C.-J., Sakai, T., Ji, D. and Kando, N.

NTCIR-7 Proceedings2008年

Are Popular Documents More Likely To Be Relevant? A Dive into the ACLIA IR4QA Pools

Sakai, T. and Kando, N

Proceedings of the Second International Workshop on Evaluating Information Access (EVIA 2008)2008年

Breaking News from NTCIR-7 (in Japanese),

酒井 哲也 ,加藤 恒昭 ,藤井 敦, ,  難波　英嗣,関　洋平, 三田村照子, 神門典子

ディジタル図書館編集委員会2008年

Comparing Metrics across TREC and NTCIR: The Robustness to System Bias

Sakai, T.

情報処理学会研究報告2008年

チュートリアル　情報検索テストコレクションと評価指標

酒井哲也

情報処理学会研究報告2008年

EVIA 2007: The First International Workshop on Evaluating Information Access

Sanderson, M., Sakai, T. and Kando, N.

ACM SIGIR Forum2007年

A Further Note on Alternatives to Bpref

Sakai, T. and Kando, N.

情報処理学会研究報告2007年

Toshiba BRIDJE at NTCIR-6 CLIR: The Head/Lead Method and Graded Relevance Feedback

Sakai, T., Koyama, M., Izuha, T., Kumano, A., Manabe, T. and Kokubu, T.

2007年

効率的な番組視聴を支援するための話題ラベルの生成とその評価

Koyama, M., Sakai, T., Fukui, M., Uehara, T. and Shimomori, T.

IPSJ SIG Technical Report2007年

Controlling the Penalty on Late Arrival of Relevant Documents in Information Retrieval Evaluation with Graded Relevance

Sakai, T.

IPSJ SIG Technical Report2006年

Toshiba BRIDJE at NTCIR-5: Evaluation using Geometric Means

Sakai, T., Manabe, T., Kumano, A., Koyama, M. and Kokubu, T.

NTCIR-5 Proceedings2005年

The Effect of Topic Sampling in Sensitivity Comparisons of Information Retrieval Metrics

Sakai, T.

情報処理学会研究報告2005年

教学支援システムに関する学生アンケートの分析

渡辺智幸, 後藤正幸, 石田崇, 酒井哲也, 平澤茂一

FIT 2005 一般講演論文集2005年

質問応答システムの正解順位とユーザ満足率の関係について

國分智晴,酒井哲也, 齋藤 佳美, 筒井 秀樹, 真鍋俊彦　,藤井寛子

情報処理学会研究報告2005年

インターネットを用いた研究支援環境～情報検索システム～

石田崇, 足立鉱史, 後藤正幸, 酒井哲也, 平澤茂一

経営情報学会2005年度春季全国研究発表大会2005年

文書分類技法とそのアンケート分析への応用

平澤茂一, 石田崇, 足立鉱史, 後藤正幸, 酒井哲也

経営情報学会2005年度春季全国研究発表大会2005年

質問応答型検索の音声認識誤りに対するロバスト性向上

筒井 秀樹, 真鍋俊彦, 福井 美佳  , 藤井 寛子, 浦田 耕二,酒井哲也

情報処理学会研究報告2005年

A Note on the Reliability of Japanese Question Answering Evaluation

Sakai, T.

情報処理学会研究報告2004年

情報検索技術を用いた選択式・自由記述式の学生アンケート解析

石田崇, 足立鉱史, 後藤正幸, 酒井哲也, 平澤茂一

経営情報学会2004年度秋季全国研究発表大会2004年

High-Precision Search via Question Abstraction for Japanese Question Answering

Sakai, T., Saito, Y., Kokubu, T., Koyama, M. and Manabe, T

情報処理学会研究報告2004年

新聞記事からの用語定義の抽出と固有表現クラスに基づく分類

小山誠, 酒井哲也,真鍋俊彦

情報処理学会研究報告2004年

自然言語表現に基づく学生アンケート分析システム

酒井哲也, 石田崇, 後藤正幸, 平澤茂一

FIT 2004 一般講演論文集 N-0212004年

Toshiba ASKMi at NTCIR-4 QAC2

Sakai, T., Saito, Y., Ichimura, Y., Koyama, M. and Kokubu, T.

NTCIR-4 Proceedings2004年

Toshiba BRIDJE at NTCIR-4 CLIR: Monolingual/Bilingual IR and Flexible Feedback

Sakai, T., Koyama, M., Kumano, A. and Manabe, T.

NTCIR-4 Proceedings2004年

質問応答と，日本語固有表現抽出および固有表現体系の関係についての考察

市村由美, 齋藤佳美　,酒井哲也, 國分智晴 , 小山誠

情報処理学会研究報告2004年

質問応答技術に基づくマルチモーダルヘルプシステム

浦田 耕二 ,福井美佳 ,藤井寛子 ,鈴木優 ,酒井哲也 ,齋藤佳美 ,市村 由美 ,佐々木寛

情報処理学会研究報告2004年

係り受け木を用いた日本語文書の重要部分抽出

伊藤潤, 酒井哲也, 平澤茂一

情報処理学会研究報告2003年

授業モデルとその検証

石田崇, 伊藤潤, 後藤正幸, 酒井哲也, 平澤茂一

経営情報学会2003年度秋季全国研究発表大会2003年

ベイズ統計を用いた文書ファイルの自動分析手法

後藤正幸, 伊藤潤, 石田崇, 酒井哲也, 平澤茂一

経営情報学会2003年度秋季全国研究発表大会2003年

Toshiba KIDS at NTCIR-3: Japanese and English-Japanese IR

Sakai, T., Koyama, M., Suzuki, M. and Manabe, T.

NTCIR-3 Proceedings2003年

質問応答システムにおけるパッセージ検索の評価,

國分智晴, 酒井哲也

FIT 2003 一般講演論文集2003年

PLSIを利用した文書からの知識発見

伊藤潤, 石田崇, 後藤正幸, 酒井哲也, 平澤茂一

FIT 2003 一般講演論文集2003年

授業に関する選択式・記述式アンケートの分析

平澤茂一, 石田崇, 伊藤潤, 後藤正幸, 酒井哲也

私立大学情報教育協会平成15年度大学情報化全国大会2003年

選択式・記述式アンケートからの知識発見

後藤正幸, 酒井哲也, 伊藤潤, 石田崇, 平澤茂一

2003 PCカンファレンス2003年

情報検索技術を用いた効率的な授業アンケートの分析

酒井哲也, 伊藤潤, 後藤正幸, 石田崇, 平澤茂一

経営情報学会2003年度春季全国研究発表大会2003年

インターネットを用いた研究活動支援システム

平澤茂一, 松嶋敏泰, 鴻巣敏之, 酒井哲也, 中澤真, 李相協, 野村亮

2001 PCカンファランス2001年

Generic Summaries for Indexing in Information Retrieval - Detailed Test Results

Sakai, T. and Sparck Jones, K

Computer Laboratory, University of Cambridge2001年

Flexible Pseudo-Relevance Feedback for NTCIR-2

Sakai, T., Robertson, S.E. and Walker, S.

NTCIR-2 2001年

BMIR-J2: A Test Collection for Evaluation of Japanese Information Retrieval Systems

Sakai, T., Kitani, T., Ogawa, Y., Ishikawa, T., Kimoto, H.,Keshi, I., Toyoura, J., Fukushima, T., Matsui, K., Ueda, Y.,Tokunaga, T., Tsuruoka, H., Nakawatase, H., Agata, T.and Kando, N

ACM SIGIR Forum1999年

Cross-Language Information Retrieval for NTCIR at Toshiba

Sakai, T., Shibazaki, Y., Suzuki, M., Kajiura, M., Manabe, T. and Sumita, K

NTCIR-11999年

Probabilistic Retrieval of Japanese News Articles for IREX at Toshiba

Sakai, T., Kajiura, M. and Sumita, K.

IREX Workshop 1999年

Cross -language情報検索のためのBMIR - J2を用いた一考察

酒井 哲也, 梶浦 正浩 , 住田 一男

情報処理学会研究報告1999年

Cross-Language Information Access: a case study for English and Japanese

Jones, G., Collier, N., Sakai, T., Kajiura, M., Sumita, K. and Hirakawa, H.

情報処理学会研究報告1998年

First Experiments on the BMIR-J2 Collection using the NEAT System

Jones, G., Sakai, T., Kajiura, M. and Sumita, K.

情報処理学会研究報告1997年

情報フィルタリングシステムNEATのための検索要求文からのプロファイル生成

酒井 哲也, 梶浦 正浩 , 住田 一男

情報処理学会研究報告1997年

ベンチマークBMIR-J2を用いた情報フィルタリングシステムNEATの評価

酒井哲也, 梶浦正浩, 三池誠司, 佐藤誠, 住田一男

第54会情報処理学会全国大会1997年

情報フィルタリングシステムNEATの開発

梶浦正浩, 三池誠司, 酒井哲也, 佐藤誠, 住田一男

第54回情報処理学会全国大会1997年

日本語情報検索システム評価用テストコレクションBMIR-J2

木谷強, 小川泰嗣, 石川徹也, 木本晴夫, 中渡瀬秀一, 芥子育雄, 豊浦潤, 福島俊一, 松井くにお, 上田良寛, 酒井哲也, 徳永健伸, 鶴岡弘, 安形輝

情報処理学会研究報告1997年

電子図書館のための効率的な文書検索

住田一男, 酒井哲也, 小野顕司, 三池誠司

ディジタル図書館 No.31995年

文書検索システムの動的抄録提示インタフェースの評価

酒井 哲也 , 三池 誠司, 住田 一男

情報処理学会研究報告ヒューマンコンピュータインタラクション1994年

外部研究資金

科学研究費採択状況

研究種別：

ナゲットに基づくタスク指向対話の自動評価に関する研究

2017年-0月-2021年-0月

配分額：￥14690000

研究種別：

利用者の状況を考慮する探索的検索の技術

2016年-0月-2020年-0月

配分額：￥42510000

学内研究制度

特定課題研究

統計的手法を用いた情報検索テストコレクション横断評価および情報検索論文の評価

2016年度

研究成果概要：I published five international conference papers (SIGIR, SIGIR, SIGIR(short), ICTIR, AIRS),two international worksh...I published five international conference papers (SIGIR, SIGIR, SIGIR(short), ICTIR, AIRS),two international workshop papers (EVIA, EVIA), and a workshop report (SIGIR Forum).Moreover, I gave a tutorial at an international conference (ICTIR) and a keynote at a Japanese symposium (IPSJ SIGNL) on this topic.

サーチエンジン評価指標の体系化と有効性実証

2014年度

研究成果概要：We published three refereed papers (two forinternational conferences and one for a domestic conference) on how tode...We published three refereed papers (two forinternational conferences and one for a domestic conference) on how todetermine the topic set size of a test collection.

最小限のインタラクションを介した情報アクセスに関する研究

2014年度共同研究者：Koji Yatani, Makoto P. Kato, Takehiro Yamamoto, Virgil Pavlu, Javed Aslam, Fernando Diaz

研究成果概要：Wecollaborated with various researchers from outside Waseda and published severalpapers related to information acce...Wecollaborated with various researchers from outside Waseda and published severalpapers related to information access via minimal interactions. We ran a taskcalled MobileClick at NTCIR and a track called Temporal Summarization at TREC.It is worth noting that ourMobileHCI paper (collaboration with the University of Tokyo) received anHonourable Mention Award.

情報アクセス評価基盤の体系化および評価

2015年度

研究成果概要：We published one book, one international journal paper, one international conference paper, one domestic IPSJ works...We published one book, one international journal paper, one international conference paper, one domestic IPSJ workshop paper and organised an international workshop.

「寡黙なユーザ」のための情報検索技術に関する研究

2015年度

研究成果概要：We published one international journal paper, one international conference paper, one evaluation conference overvie...We published one international journal paper, one international conference paper, one evaluation conference overview (TREC), and two unrefereed domestic papers.

ベイズ統計に基づく情報アクセス評価体系の構築

2017年度

研究成果概要：I published the following full paper at SIGIR 2017, the top conference in information retrieval.The following is th...I published the following full paper at SIGIR 2017, the top conference in information retrieval.The following is the abstract:Using classical statistical signifi€cance tests, researchers can onlydiscuss P(D+|H), the probability of observing the data D at hand orsomething more extreme, under the assumption that the hypothesisH is true (i.e., the p-value). But what we usually want is P(D+|H),the probability that a hypothesis is true, given the data. If we useBayesian statistics with state-of-the-art Markov Chain Monte Carlo(MCMC) methods for obtaining posterior distributions, this is nolonger a problem. Th‘at is, instead of the classical p-values and 95%confi€dence intervals, which are oft‰en misinterpreted respectivelyas “probability that the hypothesis is (in)correct” and “probabilitythat the true parameter value drops within the interval is 95%,” wecan easily obtain P(H|D) and credible intervals which representexactly the above. Moreover, with Bayesian tests, we can easilyhandle virtually any hypothesis, not just “equality of means,” andobtain an Expected A Posteriori (EAP) value of any statistic thatwe are interested in. We provide simple tools to encourage theIR community to take up paired and unpaired Bayesian tests forcomparing two systems. Using a variety of TREC and NTCIR data,we compare P(H|D) with p-values, credible intervals with con€fidence intervals, and Bayesian EAP eff‚ect sizes with classical ones.Our results show that (a) p-values and confi€dence intervals canrespectively be regarded as approximations of what we really want,namely, P(H|D) and credible intervals; and (b) sample eff‚ect sizesfrom classical signifi€cance tests can diff‚er considerably from theBayesian EAP eff‚ect sizes, which suggests that the former can bepoor estimates of population e‚ffect sizes. For both paired and unpairedtests, we propose that the IR community report the EAP, thecredible interval, and the probability of hypothesis being true, notonly for the raw diff‚erence in means but also for the eff‚ect size interms of Glass’s delta.

テストコレクションのサンプルサイズ設計に関する研究

2014年度

研究成果概要：We published three refereed papers (two forinternational conferences and one for a domestic conference) on how tode...We published three refereed papers (two forinternational conferences and one for a domestic conference) on how todetermine the topic set size of a test collection.

現在担当している科目

科目名開講学部・研究科開講年度学期
情報理工学実験Ａ基幹理工学部2019秋学期
情報理工学実験Ａ基幹理工学部2020秋学期
情報理工学実験Ａ　【前年度成績S評価者用】基幹理工学部2019秋学期
情報理工学実験Ａ　【前年度成績S評価者用】基幹理工学部2020秋学期
情報理工学実験Ｂ基幹理工学部2019春学期
情報理工学実験Ｂ基幹理工学部2020春学期
情報理工学実験Ｂ 【前年度成績S評価者用】基幹理工学部2019春学期
情報理工学実験Ｂ 【前年度成績S評価者用】基幹理工学部2020春学期
プログラミングＣ基幹理工学部2019秋学期
プログラミングＣ基幹理工学部2019秋学期
プログラミングＣ 【前年度成績S評価者用】基幹理工学部2019秋学期
卒業論文Ａ基幹理工学部2019通年
卒業論文Ａ基幹理工学部2020通年
卒業論文Ａ　　【前年度成績S評価者用】基幹理工学部2019通年
卒業論文Ａ　　【前年度成績S評価者用】基幹理工学部2020通年
卒業論文Ｂ基幹理工学部2019通年
卒業論文Ｂ基幹理工学部2020通年
卒業論文Ｂ　　【前年度成績S評価者用】基幹理工学部2019通年
卒業論文Ｂ　　【前年度成績S評価者用】基幹理工学部2020通年
プロジェクト研究Ａ基幹理工学部2019春学期
プロジェクト研究Ａ基幹理工学部2020春学期
情報理工学実験Ｃ基幹理工学部2019秋学期
情報理工学実験Ｃ基幹理工学部2020秋学期
情報理工学実験Ｃ 【前年度成績S評価者用】基幹理工学部2020秋学期
プロジェクト研究Ｂ基幹理工学部2019秋学期
プロジェクト研究Ｂ基幹理工学部2020秋学期
データベース基幹理工学部2019秋学期
データベース基幹理工学部2019秋学期
データベース基幹理工学部2020秋学期
Databases基幹理工学部2020秋学期
データベース基幹理工学部2020秋学期
データベース 【前年度成績S評価者用】基幹理工学部2019秋学期
データベース 【前年度成績S評価者用】基幹理工学部2020秋学期
Foundations for Information Access Evaluation基幹理工学部2019春学期
Foundations for Information Access Evaluation基幹理工学部2019春学期
情報アクセス評価基盤基幹理工学部2019春学期
情報アクセス評価基盤基幹理工学部2019春学期
情報通信実験Ａ基幹理工学部2019秋学期
情報通信実験Ａ基幹理工学部2020秋学期
情報通信実験Ａ　【前年度成績S評価者用】基幹理工学部2019秋学期
情報通信実験Ａ　【前年度成績S評価者用】基幹理工学部2020秋学期
情報通信実験Ｂ基幹理工学部2019春学期
情報通信実験Ｂ基幹理工学部2020春学期
情報通信実験Ｂ 【前年度成績S評価者用】基幹理工学部2019春学期
情報通信実験Ｂ 【前年度成績S評価者用】基幹理工学部2020春学期
卒業論文Ａ基幹理工学部2019通年
卒業論文Ａ基幹理工学部2020通年
卒業論文Ａ　　【前年度成績S評価者用】基幹理工学部2019通年
卒業論文Ａ　　【前年度成績S評価者用】基幹理工学部2020通年
卒業論文Ｂ基幹理工学部2019通年
卒業論文Ｂ基幹理工学部2020通年
卒業論文Ｂ　　【前年度成績S評価者用】基幹理工学部2019通年
卒業論文Ｂ　　【前年度成績S評価者用】基幹理工学部2020通年
プロジェクト研究Ａ基幹理工学部2019春学期
プロジェクト研究Ａ基幹理工学部2020春学期
プロジェクト研究Ｂ基幹理工学部2019秋学期
プロジェクト研究Ｂ基幹理工学部2020秋学期
Research Project B基幹理工学部2019春学期
Research Project B基幹理工学部2019春学期
Research Project B基幹理工学部2020春学期
Research Project B基幹理工学部2020春学期
Research Project B　【前年度成績S評価者用】基幹理工学部2019春学期
Research Project B 【S Grade】基幹理工学部2019春学期
Research Project B　【前年度成績S評価者用】基幹理工学部2020春学期
Research Project B 【S Grade】基幹理工学部2020春学期
Research Project C基幹理工学部2019秋学期
Research Project C基幹理工学部2019秋学期
Research Project C基幹理工学部2020秋学期
Research Project C基幹理工学部2020秋学期
Research Project C　【前年度成績S評価者用】基幹理工学部2019秋学期
Research Project C 【S Grade】基幹理工学部2019秋学期
Research Project C　【前年度成績S評価者用】基幹理工学部2020秋学期
Research Project C 【S Grade】基幹理工学部2020秋学期
Research Project A基幹理工学部2019秋学期
Research Project A基幹理工学部2019秋学期
Research Project A基幹理工学部2020秋学期
Research Project A基幹理工学部2020秋学期
Research Project D基幹理工学部2019春学期
Research Project D基幹理工学部2019春学期
Research Project D基幹理工学部2020春学期
Research Project D基幹理工学部2020春学期
Communications and Computer Engineering Laboratory基幹理工学部2019秋学期
Communications and Computer Engineering Laboratory基幹理工学部2020秋学期
Computer Science and Communications Engineering Laboratory A基幹理工学部2019秋学期
Computer Science and Engineering Laboratory基幹理工学部2019秋学期
Computer Science and Engineering Laboratory基幹理工学部2019秋学期
Computer Science and Communications Engineering Laboratory A基幹理工学部2020秋学期
Computer Science and Engineering Laboratory基幹理工学部2020秋学期
Computer Science and Engineering Laboratory基幹理工学部2020秋学期
Computer Science and Communications Engineering Laboratory A [S Grade]基幹理工学部2019秋学期
Computer Science and Communications Engineering Laboratory A [S Grade]基幹理工学部2020秋学期
Introduction to Computers and Networks基幹理工学部2019春学期
Introduction to Computers and Networks基幹理工学部2020春学期
Project Research基幹理工学部2020春学期
Computer Science and Communications Engineering Laboratory B基幹理工学部2020春学期
修士論文（情報・通信）大学院基幹理工学研究科2019通年
修士論文（情報・通信）大学院基幹理工学研究科2020通年
Research on Information Access大学院基幹理工学研究科2019通年
情報アクセス研究大学院基幹理工学研究科2019通年
Research on Information Access大学院基幹理工学研究科2020通年
情報アクセス研究大学院基幹理工学研究科2020通年
Special Laboratory A in Computer Science and Communications Engineering大学院基幹理工学研究科2019春学期
情報理工・情報通信特別実験A大学院基幹理工学研究科2019春学期
Special Laboratory A in Computer Science and Communications Engineering大学院基幹理工学研究科2020春学期
情報理工・情報通信特別実験A大学院基幹理工学研究科2020春学期
Special Laboratory B in Computer Science and Communications Engineering大学院基幹理工学研究科2019秋学期
情報理工・情報通信特別実験B大学院基幹理工学研究科2019秋学期
Special Laboratory B in Computer Science and Communications Engineering大学院基幹理工学研究科2020秋学期
情報理工・情報通信特別実験B大学院基幹理工学研究科2020秋学期
プロジェクト研究大学院基幹理工学研究科2019通年
プロジェクト研究大学院基幹理工学研究科2020通年
Foundations for Information Access Evaluation大学院基幹理工学研究科2019春学期
情報アクセス評価基盤大学院基幹理工学研究科2019春学期
Seminar on Information Access A大学院基幹理工学研究科2019春学期
情報アクセス演習A大学院基幹理工学研究科2019春学期
Seminar on Information Access A大学院基幹理工学研究科2020春学期
情報アクセス演習A大学院基幹理工学研究科2020春学期
Seminar on Information Access B大学院基幹理工学研究科2019秋学期
情報アクセス演習Ｂ大学院基幹理工学研究科2019秋学期
Seminar on Information Access B大学院基幹理工学研究科2020秋学期
情報アクセス演習Ｂ大学院基幹理工学研究科2020秋学期
Seminar on Information Access C大学院基幹理工学研究科2019春学期
情報アクセス演習C大学院基幹理工学研究科2019春学期
Seminar on Information Access C大学院基幹理工学研究科2020春学期
情報アクセス演習C大学院基幹理工学研究科2020春学期
Seminar on Information Access D大学院基幹理工学研究科2019秋学期
情報アクセス演習D大学院基幹理工学研究科2019秋学期
Seminar on Information Access D大学院基幹理工学研究科2020秋学期
情報アクセス演習D大学院基幹理工学研究科2020秋学期
Master's Thesis (Department of Computer Science and Communications Engineering)大学院基幹理工学研究科2019通年
Master's Thesis (Department of Computer Science and Communications Engineering)大学院基幹理工学研究科2020通年
情報アクセス研究大学院基幹理工学研究科2019通年
情報アクセス研究大学院基幹理工学研究科2020通年
情報理工・情報通信特別演習Ａ大学院基幹理工学研究科2019春学期
情報理工・情報通信特別演習Ａ大学院基幹理工学研究科2020春学期
情報理工・情報通信特別演習Ｂ大学院基幹理工学研究科2019秋学期
情報理工・情報通信特別演習Ｂ大学院基幹理工学研究科2020秋学期

Page Top

Copyright(c) WASEDA University. All rights reserved.