7.TOEIC に関する誤解(1)
TOEICスコアを上げる特効薬はない
 TOEIC についてはいろいろな出版物が出され,受験者も日本だけで 80 万人(2000年4月現在),全世界では 150 万人に達している。しかし,そこにはさまざまの誤解がある。その一つが,短期間で TOEIC スコアを上げられるかも知れないという誤解である。
achievement test と proficiency test の違い
 テストは,分類の仕方によって, achievement test と proficiency test に分けることができる。achievement test というのは,既習事項に関するテストであって,学期末試験がその典型的な例である。これは学習範囲が限られているので,場合によっては,一夜漬けによる準備も可能である。学校で習ったことがそっくりそのまま出題されるのであれば,試験の後はすぐ忘れるが,丸暗記によって高点を取ることも可能である。先生の「ここは試験に出るぞ」といった警告により,または,それぞれの先生の癖から出題傾向を察知して高点を取ることも可能である。ところが,高校入試としての achievement test となると,出題範囲は中学校での既習範囲に限られるとはいえ,3学年分という長期間にわたるので,学期末試験とは比べものにならないくらい範囲が広く,すべてが応用問題なので,一夜漬けというわけには行かない。そのため,かなり長時間の学習が必要となる。
大学入試は一種の proficiency test
 これが大学入試となると,さらに条件は厳しくなる。学習範囲はさらに広がり,高校での学習項目が中学のように規定されていないこともあり,高校教科書の学習範囲を超えることは普通となる。しかも,すべてが応用問題となると,高校入試の achievement test とは比べものにならない。少なくとも,文字英語に関しては英語力全般に及ぶテストである。このように英語力全般に関するテストのことを proficiency test という。その意味では,大学入試は proficiency test ではあるが,必ずしもすべての大学入試問題が適正な手順を経て作成されているとは言いにくいので,信頼できる proficiency test と断言することはできない。また,大学入試は各大学の事情を反映した選抜試験という性格を持っているので,本来の proficiency test とは異なる。
TOEIC は proficiency testである
 TOEIC はもちろん achievement test ではなくproficiency test である。このことはほとんどの人が知っているはずであるが,中にはどう見ても achievementtest と誤解していると思われる例に出くわすことがある。たとえば,「TOEIC 問題集,英語学校の TOEIC 準備コースで学習すれば,短期間にスコアが上がる」といった誤解である。  上に述べた学期末試験の例からも明らかなように,丸暗記で高点が取れるテストの場合には,実力とスコアが一致しない。実力よりスコアのほうが上回ることが多い。これに対して,大学入試の場合には,丸暗記は通用しない。大学により出題傾向はあるものの,前年の問題を見ればだれでも出題傾向は理解できるので,特定の受験者にとって有利には働くことはほとんどない。そのため,実力とスコアとの間のズレが少なくなる。この傾向は,優れた入試問題であればあるほど強まる。スコアは実力を正確に反映し,ごまかしの入り込む余地は少ない。  TOEIC はきわめて優れた大学入試だと思えば分かりやすいであろう。ただし,TOEIC は選抜試験ではないので,予め合格ラインを想定して問題作成することはなく,あらゆるレベルの英語能力に対しても評価測定できるように対処している。スコアで言えば,10~990 までの範囲で英語能力を識別することができるように仕組まれている。
TOEICに一夜漬けは効かない
 このような性質を持ったテスト・プログラムが TOEIC だということを理解すれば,「TOEIC 問題集,英語学校の TOEIC 準備コースで学習すれば,短期間にスコアが上がる」と信じる者はいなくなるはずである。長期間の学習の結果スコアが上がるというならともかく,短期間にスコアが上がるわけがない。切羽詰ると耳を傾けたくなるが,安易なコマーシャリズムに迷わされてはならない。短期間に,または楽をして英語能力が身につくのであれば,これほど簡単なことはない。卑近な例で言えば,金儲けと同じで,うまい話にはどこかに落とし穴がある。くれぐれも用心が肝要である。
スコア差50以内は同じ英語能力
 英語能力は目に見えず,手で触れることもできない。それほど英語能力の実体はとらえにくい。言わばアナログ的存在である。それを TOEIC という物差しを使って,スコアというデジタルの形で測定しようというのである。そのため,厳密な意味では,スコアと英語能力は1対1対応することはない。たとえば,450 のスコアに対応する英語能力と,わずか一段階上のスコア 455(TOEICスコアは5点刻みで変化する)に対応する英語能力とを識別することは不可能である。スコアは単純に5点単位で変化するが,英語能力はそれ自体が漠々として変化の境界があいまいなため,厳密なスコア区分に対応できないのである。したがって,英語能力は 450 とか 455 といった一つ一つのスコアと対応するではなく,450~480といった一定のスコア範囲と対応をすることになる。このスコア範囲が測定誤差と言われるものである。TOEIC の測定誤差は ±25 である。たとえば,450 を中心として考えると,450 とそれより上のスコア 500 までは同じ英語能力を示し,同様に 450 とそれより下のスコア 400 までは同じ英語能力を示していることになる。
TOEICスコアが 50 点以上伸びて初めて英語力が伸びたと言える
 そうだとすれば,TOEIC を何度も受けて,450 が 470 に上がったとか,420 に下がったからといって一喜一憂することはまったく意味がないことが分かる。いずれも,英語能力という点では同一レベルにあることを示しているからである。2人の英語能力を比較する場合も同じである。400 と 450 は同じ英語能力の持ち主であることを示している。450 と 500 も同じ英語能力を示す。つまり,スコア差が 50 以内の場合には同じ英語能力であることを示しているので,TOEIC を受けても意味がないことを示している。しかし,50 以上の差の 400 と 500 は異なった英語能力を示す。これは一見それほど重要でないように思われるかもしれないが,実はきわめて重要な事実を示している。
企業内英語研修の実例
 企業内研修の例で具体的に見てみよう。ここで述べるデータは,TOEIC 運営委員会編『活用実態報告』(2000,pp.36-37)に基づいている。

研修時間
スコア伸び50以上の受講生
49 時間以下(平均 33 時間)
47 %
50~99 時間(平均 78 時間)
45 %
100~149 時間(平均 108 時間)
62 %
150~199 時間(平均 176 時間)
67 %
200 時間以上(平均 268 時間)
72 %

 上の表のパーセンテージは「研修を受けて 50 以上スコアが伸びた,つまり英語能力が伸びた-研修成果があった-受講生の割合」を示している。逆に言うと,残りの受講生は研修成果がなかったということになる。これはショッキングな事実であるが,現実的にはよく起こることである。
 これによると,100 時間未満の研修では,約 50%の受講生には研修成果があったが,残りの約 50%は研修効果がなかったことになる。歩留まりは 50%であり,研修成果としてはあまり成功とは言えない。これに対して,研修時間 100~199 時間では,歩留まりは 60%台となり,100 時間未満の約 50%よりはましなものの,あまり満足すべき数字ではない。研修時間 200 時間以上になると,歩留まりはさらに 10%増えて 70%台となるが,それでも 30%程度の受講生は研修成果ゼロである。厳しい現実と言えよう。
英語力を伸ばすには膨大な時間が必要
 以上の事実から結論づけられることは,「英語能力を伸ばすためには,想像以上に多くの学習時間を必要とする」ということである。また,「一人一人の学習者によって英語能力の伸びは異なる」ということである。また,違った観点からすると,このようなバラツキが出るということは,全体的に研修時間がまだまだ不足していることを示している。自己研修を含めて一定時間以上の研修を行えば,自国語の場合のように,だれもがコミュニケーションレベルの英語には到達するはずである。悲観する必要はない。要するに時間をかけることである。ただし,その学習時間は想像以上に多い。
正確な英語能力測定に必要なテスト慣れ
 TOEIC は英語運用能力を測定するテストとしては優れているが,その評価測定をより正確にするために考えておかなければならないことが一つある。それは TOEIC のテスト問題形式に予め慣れておくということである。テスト問題に慣れているのと慣れていないのとでは,スコアの上で差が生じるからである。しかし,このことは常識的にも容易に想像できる。今まで経験したことのないテスト形式に遭遇すると,受験者は心理的動揺をきたして,普段の実力が発揮できないことが多い。つまり,実力以下の成績しか出せないことになる。TOEIC スコアの面から言えば,実際の英語能力よりもスコアが低くなることを意味する。これは受験者にとっては重大事である。
練習しなければ実力以下のスコアしか出ない
 初めてのテストではスコアが低くなりがちであるということは,裏返して言えば,その対応策としては,予め問題に慣れておけばよいということである。そうすれば正当な評価を得ることができる。このように,予め練習することによってテストの結果が上がることを,練習効果(practice effect)と言う。練習すれば実力が適正に測定できるが,練習しなければ実力以下のスコアしか出ないということになれば,何が何でも実際の TOEIC テスト受験の前に TOEIC の問題形式に慣れておかなくてはならない。しかし,いったいどのくらい練習効果が現れるものであろうか。その実体を実例で見てみよう。
1995年の実験
 1995年の実験  TOEIC に練習効果が起こり得るものかどうか,また起こり得るとすればどの程度の練習効果なのかを知るために,小規模ながら 1995 年に実験が行われた。その内容は,33 人の被験者に2週間以内に TOEIC を2回受けてもらったことである。テスト・スコアを調べた結果,33 人のうちの一人は,リスニング・スコアが異常な変化を示したので,データから省いた。同様に,他の一人もリーディング・スコアの面で異常な変化を示したので,これもデータから省いた。データを削除する基準としては,95 %信頼限界を採用し,この範囲を超えたものを削除することにした。残った 31 人の被験者の TOEIC トータル・スコアについて調べてみると,1回目テスト(T1)と2回目テスト(T2)との相関係数は 0.888 であった。T1の最高点は 915,最低点は 325,T2の最高点は 905,最低点は 365 であった。また,T1とT2との間には,次の回帰式が成り立つことが分かった。

T2 = 0.905 × T1+136.27

 これはデータ数がわずか 31 であるので,予測は正確には行われないが,しかしある程度の推測をするための参考にはなり得る。この式をいくつかのスコアに当てはめてみると,次のようになる。

1回目のテスト(T1)
2回目のテスト(T2)
300
407
400
498
500
588
600
679
700
770

 それぞれのスコアにわたってかなりのスコアの上昇と言える。31 人の被験者の平均スコア上昇は 80 であった。これは TOEIC の測定誤差±25をはるかに超えているので,普通であれば,明らかに英語能力が伸びたことを示している。しかし,わずか2週間以内に英語能力が伸びるわけもないので,このスコア上昇は練習効果の結果であると推測することができる。
TOEIC なりの受験法を心得ておくこと
 この事実から得られる教訓は「TOEICを受ける場合には,何らかの形で,予め TOEIC問題に慣れておく必要がある」ということである。ただし,この練習効果は2回目のテストについてのみ言えることであって,2回目以降については,練習効果は期待できない。英語能力は簡単に伸びるものではないので,少なくとも1年以上の期間を経た後で再受験すべきである。それぞれのテストの特性を見極めた上でのテストの利用法を心得ておく必要がある。無駄を省くためにも,TOEIC は TOEIC なりの受験方法を知っておかなければならない。
Speaking能力はListening能力から推測できる
 「TOEIC は英語能力を Listening と Reading で評価するので,Speaking と Writing は評価できない」と言われることがよくある。答えは yes でもあり,no でもある。
ETSが行なった検証
 まず yes について述べると,TOEIC は確かに Listening だけの測定を行い,Speaking の測定は行っていない。その意味では,Speaking の能力レベルを推測することはできても,直接評価はしていない。となると次に起こる疑問は,「Listening 測定に基づいた Speaking 推測は正確か,または不正確か」ということである。この当然の疑問に対する回答として,TOEIC を開発した Educational Testing Service(ETS)は,TOEIC を実施する前に,次のような信頼性の検証を行っている(TOEIC:Bulletin of Information, ETS, 1982)。
 それぞれのレベルの英語能力を代表する 100 人の被験者に対して,まずこれらの人々に TOEIC を受けてもらい,その結果により5つの能力グループに分類する。その内訳は次のとおりである。

Group I TOEIC Listening  5-100
Group II TOEIC Listening 105-200
Group III TOEIC Listening 205-300
Group IV TOEIC Listening 305-400
Group V TOEIC Listening 405-495
検証の結果,0.83 の相関係数を得る
 次に,これらの被験者一人一人にインタビューを実施し,その評価を行った。そして,TOEIC の Listening スコア(Speaking の間接評価)とインタビュー評価(Speaking の直接評価)との間の相関関係を調べた。その結果は 0.83 であった。この高い相関係数の結果,TOEIC は Listening により,Speaking 能力をかなり正確に推測できると判断した。つまり,Listening スコアにより,Speaking を含めた口頭英語(spoken English)全体の能力レベルを測定できると判断したのである。その意味では,「TOEIC は英語能力を Listening と Reading で評価するので,Speaking と Writing は評価できない」という疑問に対する答えは no,つまり「評価できる」となる。Listening から Speaking の評価はかなりの精度をもって推測できるからである。したがって,結論的には,「yes でもあり,no でもある」ということになる。
Speaking の評価方法についての問題
 Speaking の評価方法については,実は,一つの問題がある。それは,一人一人の受験者に対して少なくとも 20 分程度の時間を費やして,Speaking 能力を測定しなくてはならないという点である。Speaking テストは,Listening テストのように客観テストをするわけには行かないので,どうしても時間がかかる。また,試験官も相当の熟練者でなければ務まらない。さらに,優れたインタビュー用の評価基準が作成できたとしても,これを実際に適応する際には,最終的には試験官個人の判断に依存せざるを得ないという欠点がある。そのため,評価結果にバラツキが生じやすくなる。つまり,評価測定の信頼性が低くなる傾向がある。特に,受験者が多くなったときは評価にバラツキが目立つようになる。これが主観テストの大きな弱点である。テストの重要な要因の一つに実用性(practicality)というのがあるが,Speaking テストは,その意味では,実用性に欠けるところがある。80 万人の TOEIC 受験者にインタビュー・テストを行うことは不可能である。したがって,Speaking 能力が Listening 能力から推測できるのであれば,そのほうが現実的であり,効率もよい。また,場合によっては,信頼性も高まる。
Reading と Writing の相関
 同様に,文字英語(written English)の Writing 能力は TOEIC の Reading スコアから推測できる。この場合の信頼性の検証は 306 人の被験者を使って同様の手順で行われ,TOEIC の Reading スコア(Writing の間接評価)と実際に英語を書かせて行った Writing 評価(Writing の直接評価)との相関係数は,口頭英語の場合と同じ 0.83 であった。したがって,Writing 能力は TOEIC のReading スコアから十分推測できると判断される。

 以上の結果,英語能力,つまり英語の4技能は TOEIC の Listening スコアとReading スコアによって評価測定できることを示している。

[ 前ページ | トップ | 次ページ ]