9.TOEIC に関する誤解(3)
TOEIC はビジネスマンだけを対象にしたテストではない
 TOEIC はビジネスマン対象の英語運用能力テストだと言われている。それ自体は決して間違いではない。しかし,一口にビジネスマンといっても,その職種はまさに千差万別である。総務,人事,経理,企画開発,営業,製造,技術等々,大学の専攻分野で言えば,文系あり理系ありで,すべての分野を網羅している。しかも技術一つを例にとってみても,機械,電子工学,遺伝子工学,薬品,コンピューター,鉄鋼,繊維等々,無限の分野がある。これらの分野一つ一つの業務で使われる専門英語の運用能力を評価することは,常識で考えても不可能である。なぜなら,そのためには,無限の特殊分野に対応した無限の種類の TOEIC を開発しなければならないからである。現実には,TOEIC は1種類しかない。となれば,TOEIC はビジネスマン対象ではあっても,ビジネスマン1人1人の専門分野で用いられる特殊な英語を評価するテストではない。これらビジネスマンすべてに共通した英語運用能力を評価するテストである。さらに突っ込んだ言い方をすれば,TOEIC は一般人を対象とした英語運用能力テストであると言うことができる。
Data and Analysis に見る事実
 このことは Data and Analysis(第1回~第73回テスト総合結果, TOEIC 運営委員会発行)からも分かる。TOEIC 運営委員会では,公式テストに先立ってアンケート調査を行っているが,その1つに「主として英語を話す生活を送りながら,海外に通算6か月以上滞在したことがありますか」という質問がある。これに Yes と回答した若年層受験者の通学校と,その平均スコアは次のとおりである。通学校というのは「現在そこの学校に通っている生徒・学生」ということである。これらの生徒・学生のほぼ全員が帰国子女であると考えてまず間違いない。


通学校
受験者数
小学校
175
386
217
603
中学校
672
424
289
713
高校
4316
382
262
644
(参考: 1999年度大卒新入社員)
232
208
440

 これらの生徒・学生はもちろんビジネスマンではない。また,いわゆる成人でもない。すべて未成年である。しかし,かっこ内に示した 1999 年度大卒新入社員の平均スコアと比較しても分かるように,かなりの高点である。一般企業では,TOEIC 600は海外出張レベルとされ, TOEIC 730は海外駐在レベルとされていることを考えれば,社員としても相当なレベルにあることが分かる。このように年齢の低い生徒・学生も TOEIC を受験できるということは,ビジネスマン以外の一般人も TOEIC の対象になり得ることを示している。
増える大学在学中の TOEIC 受験者
 近年,大卒新入社員に TOEIC を受験させる企業の数が増えてきている。それにつれて,企業に学生を送り込む立場にある大学でも,実用的英語能力の重視という観点から,在学生に TOEIC を受験させる傾向が目立つようになってきた。この現象は,TOEIC がビジネスマンだけではなく,一般人も対象になり得るという意味からすれば,きわめて自然な流れである。しかし,ここに一つだけ問題がある。それは大学で TOEIC を実施するほとんどの場合,大学が単なるテスト・センターの役割しか果していないことである。
望まれる教育での利用
 そもそも大学というのは教育の場であり,研究の場でもある。そのような大学がただ単に TOEIC のテスト・センターにとどまっているというのは,どう見てももったいないことである。どうして TOEIC 受験によって得られた貴重なスコアの情報を,大学本来の場である教育に利用できないのであろうか。それを可能にするためには,まずスコア解釈(score interpretation)が必要となる。適切なスコア解釈が行われれば,それに基づいた効果的なカリキュラムの設定も可能になり,学生一人一人に対応した学習カウンセリングも可能となる。これからの大学はおそらくこの方向に向かって進んで行くであろう。
 ただし,これらのことはすべての英語能力テストに当てはまるわけではない。TOEIC にそれが可能であるのは,次の理由による。

(1)評価を合格不合格ではなくスコアで行っている。
(2)評価測定の信頼性が統計的に証明されている。
他のテストとは異なるTOEICの特色
 一般的に言うと,英語能力テストとは英語学習の達成度を評価するために用いられるものである。入学試験は合格者を選抜するために用いられ,学期末試験・学年末試験は成績評価をするために用いられる。しかし,いったん合格が決まり,成績評価が行われれば,それで物事は完結する。それ以上テスト結果が問題にされることはない。留学生試験である TOEFL についても同じことが言える。志望大学の要求するスコアを取ることができれば,入学が許可され,それでテスト目的は達成される。入学後 TOEFL スコアが問題にされることはない。
 しかし,TOEIC の場合は事情が異なるようである。なぜなら,TOEIC スコアはそれだけでは自己完結することがないからである。TOEIC には,入学試験のように合格不合格といった明確な基準がない。もちろん企業内の資格試験とか,ソウル・オリンピックで行われたように通訳選考試験として使われる場合には,他のテスト同様,選抜基準は明確である。しかし,TOEIC の場合には,そのようなケースはむしろまれである。普通 TOEIC が使われるのは英語運用能力の評価のためであって,合格不合格といった基準として使われることは少ない。実は,ここにTOEIC の特色,つまりマイナス面とプラス面とがある。
TOEIC のマイナス面
 TOEIC のマイナス面は,TOEIC は合格不合格といった具体的な基準を示さないために,全体的に理解しにくい点があることである。受験者は英語運用能力をいくら詳細にわたって説明されても,英語運用能力とスコアとの関係が理解しにくい。それどころか,英語運用能力が詳細にわたって説明されればされるほど,話は抽象的になり,ますます理解しにくくなる。これに対して,スコアによる評価は行っても,TOEFL のように,それぞれの志望大学が 550,580 などのように具体的なスコアを示して,それを合格点とすれば,合格基準は明確になり理解しやすい。受験者が求めるのは具体的なスコアであることを考えれば,これは当然なことである。
TOEIC のプラス面
 面白いことに,TOEIC のプラス面は,まさにこの TOEIC のマイナス面そのものの中にある。TOEIC には他のテストとは違って,テスト結果を基にして将来の英語学習につなげようとする傾向がある。これが可能になるのは,それぞれのレベルの英語運用能力をスコアで示すことができるためである。合格不合格だけを示すテストではできることではない。たとえば,企業は 450 とか 490 を取った社員に対しては,目標として 600 を目指して学習させることができる。英語運用能力がスコアで示されるだけに,目標が具体的であり,それだけに研修もしやすい。TOEIC を利用すれば,TOEIC スコアによって研修レベルを設定し,最も効果的といわれる能力別クラス編成を組むことも可能である。さらに研修前とともに研修後にも TOEIC を実施すれば,研修成果が分かるだけではなく,どのタイプの研修がより効果的かを判断することもできる。この方法を系統的に繰り返していけば,最終的には最も効率のよい研修システムを開発することができる。経済・時間の効率化などの点で,その価値は計り知れない。これは TOEIC の統計的信頼性が高いからできることである。
リピート受験者が多いTOEIC
 このことからも分かるように,TOEIC の大きな特色は英語学習との関連が強いことにある。そのため,TOEIC 受験者は他のテストと違って,繰り返し受験する人の数が多い。これは自分の現在の英語運用能力レベルを知り,さらに高いレベルを目指して学習する受験者が多いことを示している。このことを察知して,書店には TOEIC 対策本が数多く並び,新聞広告にも TOEIC プログラムが宣伝され,英語学校でも TOEIC コースをうたったものが目立っている。それ自体は非常に結構であり,大いに歓迎すべきである。
 しかし,残念ながら,これらのほとんどはあまり信用できない。自分に都合のいい単なる宣伝ではなく,学習前・学習後の TOEIC スコアを具体的に示す良心はないものであろうか。TOEIC スコアを示せば,うそは直ちに見破られる。私の今までのデータ調査の経験によれば,短期間で英語能力の伸びが TOEIC スコアに現れることはまずあり得ない。明らかな TOEIC スコアの伸びというのは,測定誤差±25 を考慮した 50 の伸びのことである。これを短期間に実行できれば,英語教育会で大きな話題となることは間違いない。もちろん日本だけではなく,全世界においての話である。
他のテストとは異なるTOEICの特色(2)
 前回,「測定誤差を考慮した場合,短期間で英語能力の伸びが TOEIC スコアに現れることはまずあり得ない」という主旨のことを述べたが,これはすべてのTOEIC スコアについて言えることではなく,あるスコア以上についてのみ言えることである。この点,説明不足であったため,誤解を避けるために,ここで改めて詳しく述べてみることにする。
 TOEIC が英語能力を測定するテストシステムであることはだれでも知っていることである。しかし,その英語能力もレベルによって大きく特徴が異なることは案外知られていない。低いレベルでは短時間の研修でも英語能力は伸びるが,レベルが上がるにしたがって長時間の研修をしなければ英語能力は伸びないようになる。このことを,英語能力予測プログラム CEPAC (Communicative English Proficiency Assessment and Counseling System) によって算出してみると,次のようになる。なお,CEPAC データベースのための企業内研修条件は,次の4項目である。

(1)研修生は大卒
(2)講師はネイティブ・スピーカー
(3)1回2時間単位
(4)クラス・サイズは 10 名程度

(例1) 30 時間の英語研修を施した場合の予測
条件 - 研修前スコア
研修後予想スコア
スコア増加
300(L155/R145)
355
55
350(L180/R170)
399
49
400(L205/R195)
444
44
(参考:1999年度大卒新入社員) 440(L225/R215)
480
40

 30 時間の研修で見ると,測定誤差 ±25 の範囲を超えている(つまり,英語能力が伸びたと判断される)ものは,研修前スコアが 350 未満の場合に限られる。350 以上の場合には,研修時間が足りないため,測定誤差内にとどまり,平均的には研修成果が現れないということが分かる。したがって,1999 年度大卒新入社員の場合には,30 時間の研修では英語能力を伸ばすことはできないことを示している。研修成果に過大な期待をかけず,学習の動機づけ程度に考えて実施する必要がある。

(例2) 50 時間の英語研修を施した場合の予測
条件 - 研修前スコア
研修後予想スコア
スコア増加
350(L180/R170)
405
55
400(L205/R195)
449
49
500(L260/R240)
537
37

 例1より 20 時間増やして 50 時間の研修を行った場合には,研修前スコアが400 未満の時には測定誤差の範囲を超えているが,400 以上の英語能力レベルの場合には研修成果は現れないと判断すべきである。

(例3) 100 時間の英語研修を施した場合の予測
条件 - 研修前スコア
研修後予想スコア
スコア増加
400(L205/R195)
462
62
500(L260/R240)
550
50
600(L310/R290)
639
39

 例2よりさらに 50 時間増やして 100 時間の研修を行った場合には,研修前スコアが 500 未満の時に測定誤差の範囲を超えることが分かる。600 以上の場合には,100 時間の研修でもはっきりした成果は現れないことが予測される。
 このように,英語能力が低い場合には短時間の学習でも成果は現れるが,レベルが上がるにしたがって学習成果はなかなか現れない。これは常識で考えればだれでも分かることであるが,常識を無視して下手に数字にとりつかれると判断を誤ることになる。心すべきである。
proficiency test に対する誤解
 achievement test と proficiency test の違いについてはすでに 18 号(2000年5月12日発行)で説明したが,実際には誤解されるケースが多いようである。その最たる例が「短時間の学習で TOEIC スコアを大幅に上げることができる」というものである。これは TOEIC の測定誤差 ±25 を超えたものを指すことがほとんどである。この中には明らかに誇大宣伝と思われるもの(市販商品は圧倒的にこの例が多い)と,まじめにデータを出した結果,そのようなスコア伸びを示した場合の2つのケースが考えられる。販売促進目的で意図的に TOEIC スコアを捏造した場合は論外としても,実際に「短時間の学習で測定誤差以上のスコア伸び」を記録した場合には,その結果をどう判断すべきか具体的な手順を述べてみよう。
I. 理論的検証
(1) pretest が TOEIC 400 以下の場合は除外する
 学習効果を調べる場合には,pretest(学習前テスト)と posttest(学習後テスト)を行って,両者のスコア差を比較することがよくある。もちろん使用するテストは,スコアで評価し,国際的な信用の高いものでなければならない。TOEIC はその資格を十分備えている。
 TOEIC 400 以下の場合には,短時間の学習で 50(測定誤差)以上の伸びを示すことがあるので,調査対象からは除外することが望ましい。proficiency とは運用能力を示すが,400 以下のレベルでは,proficiency というよりはむしろachievement のレベルと考えるほうが自然である。いわゆる学習レベルである。この段階では学習内容がまだきわめて限られているので,わずかの学習でもスコア伸びとなって現れることがある。
 ちなみに,測定誤差は正式には標準測定誤差と言われるもので,絶対的なものではない。68% はその範囲に入るが,例外も 32% あることを示している(25号参照)。

(2) サンプル数が少ない場合は,pretest を2回行う
 サンプル数が少ないと,「体調が悪い」とか「テストに慣れていない」などの原因によって,pretest と posttest との間に不自然なスコア差が生じることがある(29号参照)。サンプル数が多ければその恐れはなくなる。サンプル数が,たとえば 30 以下の場合には,pretest を2週間以内に2回行って,テスト慣れをさせておく必要がある。テスト形式が被験者にとってまったく経験外の場合には,学習をまったくしなくても,2回目のテストでスコアが大きく伸びることがあるからである。特に proficiency レベルが低いときには,スコアの伸びは大きくなる。テスト慣れによってスコアが伸びるのである。反対に,proficiency レベルが高い場合には,テスト慣れによるスコアの伸びは少なくなる。外的要因によって影響されることが少ないからである。それだけに,そのスコアを上げるためには多大の学習を必要とする。

(3) 統計による検証を行う
 ある学習法を行って,短時間,たとえば 20 時間で 100 のスコア伸びが認められると主張する場合には,それを具体的に数値で示す必要がある。たとえば,学習時間を 20 時間に設定して,各レベル別(たとえば,400~445,450~495,500~545,550~595)の pretest スコアと posttest スコアの変数間の回帰直線と回帰式を求めてみるのも一つの方法である。各レベル・グループに 20 人,計80 人の無差別抽出の被験者を利用できれば十分であろう。その回帰式が絶えず100 以上を示せば,その学習法が画期的であることが証明されたことになる。
II. 実践的検証
 理論的検証が行われていない場合でも,きわめて単純な方法で検証することができる。実はこのほうが,理論的検証より確実性がある。その方法は次のとおりである。「20 時間の学習で 100 スコアが伸びる」と称する学習法,または学習プログラムを使って,無差別抽出の 30 人程度の被験者を対象に実験し,20 時間後に pretest と posttest の結果を比較してみる。100 の伸びの達成率が 100%であれば完璧である。そこまで行かなくとも,70% 以上であれば,その方法は十分優れていると言える。
 以上いずれの場合でも TOEIC フォームは違っていることが望ましい。もちろん学習の中で TOEIC 問題を取り扱うことは許されない。

[ 前ページ | トップ | 次ページ ]