Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020152737 - INFORMATION PRESENTATION DEVICE, INFORMATION PRESENTATION CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM

Document

明 細 書

発明の名称 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004  

課題を解決するための手段

0005  

発明の効果

0006  

図面の簡単な説明

0007  

発明を実施するための形態

0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140  

符号の説明

0141  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  

明 細 書

発明の名称 : 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体

技術分野

[0001]
 本発明は、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体に関する。

背景技術

[0002]
 車両の周囲を撮像することで得られた画像を、車両内の表示手段で表示することで、運転支援を行う装置が知られている。特許文献1には、運転者の視線に基づき、運転者が注視している対象を特定し、特定された注視対象に応じて表示される情報の種類を切り替える表示装置が開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2008-13070号公報(段落0021、0022)

発明の概要

発明が解決しようとする課題

[0004]
 特許文献1の装置では、運転者が表示情報を確認するには、注視対象から表示手段に視線を移動させなければならず、注視対象と表示手段とが異なる方向にある場合に、表示情報の確認までに時間を要するという課題があった。

課題を解決するための手段

[0005]
 本発明の情報提示装置は、
 車両の周辺を撮像し、車外画像を生成する車外撮像部と、
 前記車両の内部を撮像し、車内画像を生成する車内撮像部と、
 複数の表示手段を有する表示装置と、
 前記車外画像から1又は2以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、前記車内画像から運転者の視線の方向を表す視線情報を生成し、前記障害物情報と前記視線情報とに基づいて、前記複数の表示手段の各々における表示に関する決定を行い、該決定に基づいて前記複数に表示手段の各々における表示を制御する情報提示制御装置とを備え、
 前記表示に関する決定は、前記複数の表示手段の各々における、前記車外画像の表示が必要か否かの決定、及び前記車外画像中の各障害物に対する強調処理に関する決定を含み、
 前記強調処理に関する決定は、強調が必要か否かの決定及び強調のレベルの決定を含み、
 前記情報提示制御装置は、認識された1又は2以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる
 ことを特徴とする。

発明の効果

[0006]
 本発明によれば、認識された1又は2以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させるので、車両の周囲のある方向を視認している運転者が、同じ方向を撮像することで得られた画像を視認するために、視線を移動させる必要がないので、表示された画像の確認までの時間を短くすることができる。

図面の簡単な説明

[0007]
[図1] 本発明の実施の形態1の情報提示装置を示すブロック図である。
[図2] 情報提示装置が搭載された車両を示す概略図である。
[図3] 左表示器及び右表示器の位置関係を示す図である。
[図4] 車外撮像部を構成する広角カメラの撮像範囲と運転者の視野を示す図である。
[図5] 図1の情報提示制御装置の構成例を示すブロック図である。
[図6] 左表示器及び右表示器で表示される画像の視野角を示す図である。
[図7] 撮像画像中で検出される障害物、及び当該障害物を内包する矩形の領域の一例を示す図である。
[図8] 実施の形態1の強調判定部による、左表示器における表示に関する決定の方法の一例を示す表である。
[図9] 表示装置の変形例を示す概略図である。
[図10] 本発明の実施の形態2の情報提示装置を示すブロック図である。
[図11] 図10の情報提示制御装置の構成例を示すブロック図である。
[図12] 本発明の実施の形態3で用いられる情報提示制御装置の構成例を示すブロック図である。
[図13] 実施の形態3の強調判定部による、左表示器における表示に関する決定の方法の一例を示す表である。
[図14] 狭い道路を走行中の車両を示す概略図である。
[図15] 本発明の実施の形態4の情報提示装置を示すブロック図である。
[図16] 図15の情報提示制御装置の構成例を示すブロック図である。
[図17] 本発明の実施の形態5で用いられる情報提示制御装置を示すブロック図である。
[図18] (a)及び(b)は、障害物の危険度の判定方法の一例を示す図である。
[図19] 実施の形態5の強調判定部による、左表示器における表示に関する決定の方法の一例を示す表である。
[図20] 車外撮像部のカメラの配置の変形例を示す図である。
[図21] 車外撮像部のカメラの配置の変形例を示す図である。
[図22] 車外撮像部のカメラの配置の変形例を示す図である。
[図23] 実施の形態1~5で用いられる情報提示制御装置の諸機能を実現する1つのプロセッサを備えたコンピュータの構成例を示すブロック図である。

発明を実施するための形態

[0008]
 以下、添付の図面を参照して本発明の実施の形態を説明する。
[0009]
実施の形態1.
 図1は、本発明の実施の形態1の情報提示装置1の構成例を示すブロック図である。
 図示の情報提示装置1は、例えば図2に示されるように、車両102に搭載されるものであり、車外撮像部2と、車内撮像部3と、情報提示制御装置4と、表示装置5とを有する。
[0010]
 表示装置5は、左表示手段としての左表示器5Lと、右表示手段としての右表示器5Rとを含む。例えば、図3に示すように、車両の右側にある運転席に、前方FWを向いて着座している運転者Uの視点Ueから見て、左表示器5Lは左側に配置されており、右表示器5Rは右側に配置されている。
[0011]
 車外撮像部2は、車両102の周辺を撮像し、車外画像Daを生成して出力する。
 車外撮像部2は、図4に示される広角カメラ2aを含む。広角カメラ2aは、車両102に取り付けられ、車外を撮像する。広角カメラ2aは例えば車両102の前端部104に設置されている。図示の例では、広角カメラ2aは車両の幅方向の中央部に設けられている。
 広角カメラ2aの水平方向の視野角θaが180度以上であるのが望ましい。
[0012]
 図4では、車両102が、狭くて両側に視界を遮る側壁などの建造物114等がある道路112から交差点116に進入しようとしている。この場合、運転者Uにとって、視点Ueと、建造物114の突端部114a、114bとを結ぶ直線Uva、Uvbの集合で画定される視認可能範囲の外側に位置する範囲αL、αRが見えない又は見えにくい範囲である。ここで、「見えにくい範囲」とは、運転者が大きく姿勢を変えるなどしないと見えない範囲である。見えにくい範囲は、通常の姿勢では見えない範囲であるので、その意味で見えない範囲、或いは死角の範囲であるとも言える。
[0013]
 カメラ2aの視野角θaには、上記の見えない又は見えにくい範囲αL、αRの少なくとも一部が含まれる。従って、カメラ2aによる撮像画像は、上記の見えない又は見えにくい範囲の障害物が含まれる。
[0014]
 上記の例は、交差点に進入する場合であるが、建物内の駐車場から道路に進入する場合にも同様の問題がある。
[0015]
 車内撮像部3は、車両の内部、特に運転者の顔及びその周辺を撮像して、車内画像Dbを生成して出力する。
[0016]
 車内撮像部3は、運転者の顔及びその周辺を撮像可能なように設置されたカメラ(図示しない)を含む。
 カメラとして、車両の内部が暗くても撮像が可能なように、赤外線センサを備えたものを用いても良い。赤外線センサとともに赤外線照射器をさらに備えたものを用いても良い。
[0017]
 情報提示制御装置4は、車外画像Da及び車内画像Dbに基づいて、表示装置5での画像の表示を制御する。
[0018]
 情報提示制御装置4は、例えば、図5に示すように、画像補正部41と、画像認識部42と、視線情報取得部43と、強調判定部44と、表示制御部45とを有する。
[0019]
 画像補正部41は、車外撮像部2から入力された車外画像Daから、左画像と右画像とを抽出し、抽出された画像に対して歪補正を行って、左補正画像FL及び右補正画像FRとして出力する。
[0020]
 左画像及び右画像はそれぞれ例えば図6における視野角βL及びβRの画像である。
 視野角βLは、正面方向よりも左向きの方向を中心とする角度範囲である。
 視野角βRは、正面方向よりも右向きの方向を中心とする角度範囲である。
 視野角βLには、見えない又は見えにくい範囲αLの少なくとも一部が含まれ、視野角βRには、見えない又は見えにくい範囲αRの少なくとも一部が含まれる。
[0021]
 左画像及び右画像は、広角レンズでの撮像で得られた画像であるので、歪みがあって、人には見にくく、また画像認識部42による画像認識処理がしにくい。そこで、この歪みを除いて、見やすい画像にするのが歪補正である。
[0022]
 画像認識部42は、左補正画像FL及び右補正画像FRの各々につき画像認識を行い、画像中の1又は2以上の障害物を認識し、障害物認識結果を示す障害物情報を生成して出力する。画像認識には公知の種々のアルゴリズムを用いることができる。
 ここでいう障害物は、運転上衝突を避ける必要のある他の車両、歩行者などである。車両には自動車及び自転車が含まれる。
 他の車両との区別のため情報提示装置1が搭載されている車両102を「自車両」と言うことがある。
[0023]
 障害物情報には、各障害物の種類を示す情報、当該障害物の画像内における位置を示す情報、及び当該障害物の画像内におけるサイズを示す情報が含まれる。
[0024]
 画像内における障害物の位置は、図7に示すように、画像の基準点、例えば、左上隅を原点とする、障害物の代表点の位置の二次元座標(x,y)で表される。ここで言う代表点は、例えば障害物を内包する矩形の領域の左上隅である。
[0025]
 各障害物を内包する矩形の領域は、画像中における当該障害物の最も下に位置する点を通過する水平方向の線分、最も上に位置する点を通過する水平方向の線分、最も左に位置する点を通過する垂直方向の線分、及び最も右に位置する点を通過する垂直方向の線分を辺とする矩形の領域である。
 例えば、図7に示すように、画像中に障害物BJを認識した場合、それを内包する矩形の領域BRを検出する。
[0026]
 障害物のサイズを示す情報は、矩形の領域BRの幅w及び高さhを示す情報であっても良い。代わりに、矩形の領域BRの左上隅の座標及び右下隅の座標を、サイズを示す情報として用いても良い。
[0027]
 視線情報取得部43は、車内画像Dbに対して顔検出及び顔特徴検出を行い、視線の方向を検出し、視線の方向を示す視線情報を生成して出力する。顔検出、顔特徴検出、及びこれらの検出結果に基づく視線の方向の検出には、公知の種々の方法を用いることができる。
[0028]
 強調判定部44は、画像認識部42からの障害物情報と、視線情報取得部43からの視線情報とに基づいて、左表示器5L及び右表示器5Rの各々における表示に関する決定を行う。
 表示に関する決定は、表示が必要か否かの決定、及び強調処理に関する決定を含む。強調処理に関する決定は、強調処理が必要か否かの決定及び強調レベルの決定を含む。
[0029]
 強調処理は、画像中の障害物が目立つようにする処理である。強調処理の方法としては、例えば以下の方法のいずれを用いても良い。
(a1) 障害物を目立つ色の線で囲む。
(a2) 障害物を囲む枠線を点滅させる。
(a3) 障害物周辺の輝度を上げる。
(a4) 障害物以外の画像をぼかす、消す、輝度を下げる。
[0030]
 本実施の形態では、強調処理は異なるレベルで行われる。
 強調レベルをより高くする方法としては、以下の方法を用い得る。
(b1) 強調が方法(a1)で行われる場合、枠線の色をより目立つものにする。
 例えば、赤色はオレンジ色よりもより目立つ色として用いることができる。
(b2) 強調が方法(a2)で行われる場合、枠線の点滅の周期を短くする。
(b3) 強調が方法(a3)で行われる場合、障害物周辺の輝度をより高くする。
(b4) 強調が方法(a4)で行われる場合、画像をぼやかす、消す、輝度を下げる程度をより大きくする。
[0031]
 また、方法(a1)~(a4)のうちいずれかをあるレベルの強調処理として用い、別のものをそれとは異なるレベルの強調処理で用いることとしても良い。
[0032]
 上記のように、強調判定部44が行う表示に関する決定には、表示器の各々における表示が必要か否かの決定及び強調レベルの決定が含まれる。
 図8は、左表示器5Lにおける表示に関する決定の方法(決定規則)の一例を示す。
[0033]
 図8において、条件1A~1Dは、左補正画像FL内に障害物があるか否かの判定の結果と視線が左向きであるか否か判定の結果の組合せ、即ち全部で4つの場合に対応する。図8には、それぞれの場合における左表示器5Lにおける表示の要否、及び強調レベルが示されている。
[0034]
 条件1Aでは、左側に障害物がなく、運転者の視線は左側に向けられていない。条件1Aが満たされた場合には、表示は不要と判断する。この結果、左表示器5Lでは、画像FL又はこれを元にして生成された画像の表示は行われず、或いは表示の輝度が大幅に低くされる。
[0035]
 条件1Bでは、左側に障害物がなく、運転者の視線は左側に向けられている。条件1Bが満たされた場合には、表示が必要と判断する。ただし、障害物がないため、強調処理は不要と判断する。強調処理が不要であることを「強調レベル0」で示す。
[0036]
 条件1Cでは、左側に障害物があり、運転者の視線は左側に向けられていない。条件1Cが満たされた場合には、表示が必要と判断する。また、画像中の障害物に対して強調処理が必要と判断する。
[0037]
 条件1Dでは、左側に障害物があり、運転者の視線は左側に向けられている。条件1Dが満たされた場合には、表示が必要と判断する。また、画像中の障害物に対して強調処理が必要と判断する。
[0038]
 強調のレベルは、条件1Dの場合よりも条件1Cの場合により高くする。図示の例では、条件1Dの場合には、強調レベルを1にするのに対し、条件1Cの場合には、強調レベルを2にしている。
 これは、条件1Dの場合には、運転者が障害物に気付いている可能性が大きいのに対し、条件1Cの場合には、運転者が気付いていない可能性が大きいからである。
 強調レベルをより高くすることにより、画像中の障害物がより目立つものとなり、運転者が障害物に気付くのを早めることが可能となる。
[0039]
 以上、左表示器5Lにおける表示に関する決定について説明したが、右表示器5Rにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器5Rにおける表示に関する決定に当てはまるものとなる。
[0040]
 左表示器5Lについての判定方法に関し、「視線が左向きである」と言うのは、視線が左向きである状態が連続的に維持されている場合に限定されず、短い時間の中断を伴っていても良い。例えば、左に向けられている状態と、短い時間だけ他の方向に向けられている状態とが交互に繰り返されていても良い。
[0041]
 従って、例えば、左に向けられている状態と右に向けられている状態が短時間ずつ交互に繰り返されている場合には、「左向きである」とともに「右向きである」という判断になる。
 この場合、左表示器5L及び右表示器5Rの双方について表示が必要と判断される。
 このようにするのは、短時間ずつ視線方向が切り替わるのは、運転者にとって見えない又は見えにくい範囲が大きく、直視での障害物の有無の確認が困難である状況にあると推定されるためである。
[0042]
 表示制御部45は、強調判定部44における決定の結果に基づいて、左表示器5L及び右表示器5Rの各々における表示の制御を行なう。表示の制御には、表示を行うかどうかの制御、及び強調処理に関する制御を含む。強調処理に関する制御は、強調処理を行うかどうかの制御及び強調レベルの制御を含む。
[0043]
 強調判定部44で、左表示器5Lに関して表示が必要と判断されたときは、表示制御部45は、左表示器5Lに画像の表示を行わせる。その場合、左補正画像FLに対して、強調判定部44で決定された強調レベルに応じた強調処理を施して左提示画像GLを生成して、左表示器5Lに供給して表示を行わせる。
 強調判定部44で、左表示器5Lにおける表示が不要と判断されたときは、表示制御部45は、左表示器5Lにおける画像の表示を行わせず、又は表示輝度を大幅に小さくする。
[0044]
 強調判定部44で、右表示器5Rに関して表示が必要と判断されたときは、表示制御部45は、右表示器5Rに画像の表示を行わせる。その場合、右補正画像FRに対して、強調判定部44で決定された強調レベルに応じた強調処理を施して右提示画像GRを生成して、右表示器5Rに供給して表示を行わせる。
 強調判定部44で、右表示器5Rにおける表示が不要と判断されたときは、表示制御部45は、右表示器5Rにおける画像の表示を行わせず、又は表示輝度を大幅に小さくする。
[0045]
 画像FL、FR、GL、GRはいずれも撮像で得られた画像であるので、これらを単に撮像画像と呼ぶことがある。
[0046]
 左表示器5Lで左提示画像GLが表示される場合、左方向の撮像画像(例えば、視野角βLの画像)が表示されるので、左方向にある障害物の画像を左表示器5L上で認識することができる。即ち、障害物が運転者にとって見えない方向又は見えにくい方向、即ち範囲αLにあっても、当該障害物を表示画像で認識することができる。
 同様に、右表示器5Rで右提示画像GRが表示される場合、右方向の撮像画像(例えば、視野角βRの画像)が表示されるので、右方向にある障害物の画像を右表示器5R上で認識することができる。即ち、障害物が運転者にとって見えない方向又は見えにくい方向、即ち範囲αRにあっても、当該障害物を表示画像で認識することができる。
[0047]
 上記の説明における表示に関する決定は、撮像画像、即ち、車外撮像部2による撮像で得られた画像の表示に関する決定である。即ち、表示が不要と判定したときには、表示を行わず、又は表示の輝度を大幅に低くする。
 ここで、表示を行わないとは、撮像画像の表示を行わないという意味であり、撮像画像、即ち車外撮像部2による撮像で得られた画像の表示を行わないときには、他の画像を表示することとしても良い。
[0048]
 上記の図3では、車両102が右ハンドル車であり、運転者の視点Ueの位置が車両102の右側にある場合を示す。車両102は左ハンドル車である場合には、運転者の視点Ueが車両102の左側にあるが、上記の同様の制御を行ない得る。
[0049]
 上記の例では、表示装置5が左表示器5L及び右表示器5Rを備えている。代わりに表示装置として、図9に示すように1枚の横長の表示面51を有し、表示面51内の左側の表示領域52Lと右側の表示領域52Rに別個の画像を表示し得るものを用いても良い。
 この場合は、左側の表示領域52Lが左表示手段を構成し、右側の表示領域52Rが右表示手段を構成する。
[0050]
 上記の例では、画像補正部41が、車外撮像部2から入力された車外画像Daから、左画像と右画像とを抽出し、抽出された画像に対して歪補正を行って、左補正画像FL及び右補正画像FRとして出力する。
 カメラ2aの機種によっては、左画像及び右画像を抽出し、歪補正を行った後の画像を出力する場合もある。その場合、画像補正部41における抽出処理及び歪補正処理は省略可能である。即ち、画像補正部41を省略しても良い。
[0051]
 上記の例では、表示装置が左表示手段及び右表示手段を有するが、表示装置5が3個以上の表示手段を有していても良い。
[0052]
 上記した実施の形態1によれば、各障害物を含む画像を、当該障害物の方向又はこれに近い方向にある表示手段に表示させるので、運転者にとって自然な動作で、障害物の画像を視認することができる。即ち、車両102の周囲のある方向を視認している運転者が、同じ方向を撮像することで得られた画像を視認するには、視線を移動させる必要がないので、画像の確認までに時間を短くすることができる。
[0053]
 また、表示手段に表示されている画像中の障害物が、当該表示手段と同じ方向に位置しているので、運転者は、当該障害物が存在する方向を直感的に把握することができる。
[0054]
 また、運転者の視線の方向に応じて、各表示手段での画像の表示が必要か否かの決定を行なうので、必要であるときは、障害物の表示を行って注意喚起を行い、不要であるときは表示を行わず又は表示輝度を下げることで不要な注意喚起をしないようにすることができる。
[0055]
 さらに、運転者の視線の方向に応じて、表示手段に表示される画像中の障害物に対する強調の制御を行なうので、必要の度合いに応じて強調のレベルを適切に変えることができる。例えば、運転者の視線が障害物とは異なる方向に向けられている場合、強調表示を行うことで障害物に対する注意を喚起し、障害物を認識させやすくすることができる。一方、運転者の視線が障害物の方向に向けられている場合、強調表示を行わず、或いは強調のレベルをより低くすることで、画像が過度に目立つことがないようにすることができる。
[0056]
実施の形態2.
 図10は、本発明の実施の形態2の情報提示装置1aの構成例を示すブロック図である。
 図示の情報提示装置1aは、図1の情報提示装置1と概して同じであるが、音声出力装置6と、表示灯7とが付加されており、情報提示制御装置4の代わりに、情報提示制御装置4aを備えている。
[0057]
 音声出力装置6は、1又は2以上のスピーカを含む。
 表示灯7は、例えば、1又は2以上の表示素子で構成されている。各表示素子はLEDで構成されていても良い。
 表示灯7は、例えばダッシュボード上に設けられていても良く、Aピラー(前方のピラー)に設けられていても良い。
[0058]
 図11は、図10の情報提示制御装置4aを示す。図示の情報提示制御装置4aは、図5の情報提示制御装置4と概して同じであるが、音声出力制御部46と、表示灯制御部47とが付加されており、強調判定部44の代わりに強調判定部44aが設けられている。
[0059]
 強調判定部44aは、実施の形態1の強調判定部44と同様に、表示に関する決定を行うとともに、表示に関する決定に準じて、音声出力及び表示灯制御に関する決定を行う。
[0060]
 例えば、左表示器5L及び右表示器5Rの少なくとも一方における画像の表示に関して、表示が必要であり、強調が必要であり、強調レベルが予め定められた値以上とすべきであると決定した場合に、音声出力及び表示灯による注意喚起が必要と決定する。
 強調レベルについての上記の予め定められた値は、表示に関する決定で用いられるレベルのうち最も高い値であっても良い。例えば、図8に示される例では強調レベル2が最も高い値である。
 上記の予め定められた値とし強調レベル2を用いる場合、左表示器5Lについて、図8の条件1Cが満たされた場合又は右表示器5Rに同様の条件が満たされた場合に、注意喚起が必要と決定することになる。
[0061]
 音声出力制御部46は、強調判定部44aにおける決定に従って、音声出力装置6に注意喚起のための音声を出力させる。具体的には、音声制御信号Saを音声出力装置6に供給して音声を出力させる。
 この音声は、警報音であっても良く、音声メッセージであっても良い。
[0062]
 例えば、左表示器5Lに関し、図8の条件1Cが満たされた場合、又は右表示器5Rに関し、図8の条件1Cと同様の条件が満たされた場合に、音声を出力させても良い。
 左表示器5Lに関し、図8の条件1Cが満たされた場合には、「左側の車にご注意下さい」と言ったメッセージを出力させても良い。右表示器5Rに関し、図8の条件1Cと同様の条件が満たされた場合には、「右側の車にご注意下さい」と言ったメッセージを出力させても良い。
[0063]
 表示灯制御部47は、強調判定部44aにおける決定に従って、表示灯7に注意喚起のための点灯、或いは点滅を行わせる。具体的には、表示灯駆動信号Sbを表示灯7に供給して点灯又は点滅を行わせる。
[0064]
 なお、音声出力装置6として複数のスピーカを含むものを用いて、障害物のある方向から音声が聞こえるようにする制御を行なっても良い。このような制御は例えば音像制御によって実現し得る。
[0065]
 また、表示灯7を線状に配置された複数の表示素子の列で構成し、該列の一端から他端に順に点滅させることで、注意を向けるべき方向を示すこととしても良い。例えば、複数の表示素子の列を、水平方向に延びる列としておき、運転者の視線を左に誘導したいときは、右端から左端に順次点滅させ、運転者の視線を右に誘導したいときは、左端から右端に順次点滅させることとしても良い。
[0066]
実施の形態3.
 本発明の実施の形態3の情報提示装置の全体的構成は、実施の形態1に関し、図1を参照して説明したのと同様である。図12は、実施の形態3の情報提示装置で用いられる情報提示制御装置4bの構成例を示すブロック図である。
[0067]
 図示の情報提示制御装置4bは、図5の情報提示制御装置4と概して同じであるが、図5の画像認識部42及び強調判定部44の代わりに、画像認識部42b及び強調判定部44bが設けられている。
[0068]
 画像認識部42bは、図4の画像認識部42と同様に、障害物についての認識を行うだけでなく、自車両の周辺の状況に対する認識をも行い、認識結果を示す周辺状況情報を生成して出力する。自車両の周辺の状況に対する認識には、例えば自車両が交差点の付近にいるか否かについての判定結果が含まれる。
[0069]
 自車両の周辺の状況の認識には公知の種々のアルゴリズムを用い得る。
 自車両が交差点の付近にいるか否かについては、画像中の信号機、道路標識、路面標示等に基づいて判断を行なっても良い。
[0070]
 強調判定部44bは、障害物情報及び視線情報のみならず、周辺状況情報をも用いて表示に関する決定を行なう。
[0071]
 例えば、自車両が交差点の付近にいないと判断したときは、撮像画像の表示は不要と判断する。
 自車両が交差点の付近にいる判断したときには、図8と同様に、障害物情報及び視線情報に基づいて表示に関する決定を行う。
[0072]
 図13は、実施の形態3における、左表示器5Lにおける表示に関する決定の方法(決定規則)の一例を示す。
[0073]
 条件3Aでは、自車両が交差点の付近にいない。条件3Aが満たされた場合には、表示は不要と判断する。即ち、自車両が交差点の付近にいない場合には、障害物の有無及び視線の方向に関わらず、左表示器5Lにおける表示は不要と判断する。
[0074]
 条件3B~3Eは、自車両が交差点の付近にいる場合である。
 条件3B~3Eは、自車両が交差点の付近にいるという条件が付加されていることを除けば、図8の条件1A~1Dと同じであり、左表示器5Lにおける表示に関する決定(表示の要否及び強調レベル)も、条件1A~1Dの場合と同じである。
[0075]
 上記の例では、強調判定部44bは、自車両が交差点の付近にいる場合には、その他の条件に基づく決定を実施の形態1の強調判定部44と同様に行い、自車両が交差点の付近にいないときは、左表示器5Lにおける表示を不要と決定する。
 即ち、自車両が交差点の付近にいるときは、注意喚起レベルを高くして、左表示器5Lにおける表示に関する決定を実施の形態1と同様に行う一方、自車両が交差点の付近にいないときは、注意喚起レベルを低くして、表示器における表示は不要と決定している。
[0076]
 以上、左表示器5Lにおける表示に関する決定について説明したが、右表示器5Rにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器5Rにおける表示に関する決定に当てはまるものとなる。
[0077]
 上記の例では、交差点の付近か否かを判断しているが、交差点であっても見通しの良い交差点では、注意喚起レベルを高くする必要がないと考えることもできる。そこで、狭くて見通しの悪い道路から交差点に入ろうとしているか否かを判断し、判断結果をも考慮に入れて、表示に関する決定を行なっても良い。
[0078]
 例えば、図14に示すように、自車両が側壁などの建造物114に挟まれた狭い道路112を一定時間以上走行しているか否かを判定し、判定結果を利用しても良い。即ち、そのような判定の結果がYESであり、かつ自車両が交差点116の付近にいることが検出された場合には、注意喚起レベルを上げることとしても良い。
[0079]
 代わりに、距離センサで自車両の側方にある側壁などの建造物114までの距離を測定し、測定結果を利用しても良い。即ち、建造物114までの距離が短く、かつ自車両が交差点116の付近にいることが検出された場合には注意喚起レベルを上げることとしても良い。
[0080]
 以上、自車両が交差点の付近にいる場合に注意喚起レベルを高くする例について説明したが、代わりに、自車両が建物内の駐車場から道路に進入しようとしているか否かを判定し、そのような状況であれば注意喚起レベルを高くすることとしても良い。
[0081]
 これらの場合、注意喚起レベルを高くした場合には、図13の条件3B~3Eによる表示に関する決定を行なうことになる。
[0082]
 上記した実施の形態3によれば、実施の形態1と同様の効果に加えて以下の効果が得られる。
 即ち、画像認識部42bで生成された周辺状況情報に基づいて表示に関する決定及び表示の制御を行なうので、表示の要否の判定及び強調レベルの決定などを、自車両の周辺の状況に応じて適切に行うことができる。
[0083]
実施の形態4.
 図15は、本発明の実施の形態4における情報提示装置1cの構成例を示すブロック図である。
[0084]
 図示の情報提示装置1cは、図1の情報提示装置1と概して同じであるが、位置情報取得装置8及び地図情報データベース9が付加されており、情報提示制御装置4の代わりに、情報提示制御装置4cが設けられている。
[0085]
 位置情報取得装置8は、自車両の位置を示す位置情報Dpを生成して出力する。代表的な例としてGPS(Global Positioning System)受信機が挙げられるが、どのような位置情報取得装置を用いても良い。
[0086]
 地図情報データベース9は、地図情報を記憶しているデータベースである。地図情報には、交差点に関する情報が含まれる。
[0087]
 図16は、情報提示制御装置4cの構成例を示すブロック図である。
 図示の情報提示制御装置4cは、図12の情報提示制御装置4bと概して同じであるが、周辺状況認識部48が付加されており、強調判定部44bの代わりに強調判定部44cを備える。
[0088]
 周辺状況認識部48は、位置情報取得装置8から自車両の位置情報Dpを取得し、地図情報データベース9から、自車両の周辺の地図情報Dmを取得し、位置情報で示される位置の周辺の地図情報を参照することで、自車両の周辺の状況を認識し、認識結果を示す周辺状況情報を生成して出力する。周辺状況情報は、例えば、自車両が交差点の付近にいるか否かを示すものである。
[0089]
 図16の強調判定部44cは、図12の強調判定部44bと同様に、障害物情報、視線情報及び周辺状況情報に基づいて、表示に関する決定を行う。但し、図12では、周辺状況情報が画像認識部42bから供給されるのに対し、図16では、周辺状況認識部48から供給される。
[0090]
 障害物情報、視線情報及び周辺状況情報に基づく、表示に関する決定の方法は、実施の形態3に関し、図13を参照して説明したのと同じである。
[0091]
 以上、左表示器5Lにおける表示に関する決定について説明したが、右表示器5Rにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器5Rにおける表示に関する決定に当てはまるものとなる。
[0092]
 なお、地図情報に道路の広さを示す情報が含まれる場合には、そのような情報を併せて利用しても良い。例えば狭い道路から交差点に進入する場合に限り、注意喚起レベルを高くして、表示器における表示に関する決定を実施の形態1と同様に行う一方、それ以外のとき、即ち、自車両が交差点の付近にいないとき、或いは交差点の付近にいるが走行中の道路が広いときは、注意喚起レベルを低くして、表示器における表示は不要と判断しても良い。
[0093]
 また、周辺状況情報として、自車両が交差点の付近にいるか否かについての判定結果ではなく、自車両が建物内の駐車場から道路に進入しようとしているか否かを判定し、そのような状況であれば注意喚起レベルを高くすることとしても良い。
[0094]
 上記した実施の形態4によれば、実施の形態3と同様の効果が得られる。
 また、位置情報と地図情報から周辺状況情報を生成しているので、撮像画像に基づく認識が困難である場合にも、周辺の状況を正しく認識することが可能である。
[0095]
 実施の形態3では、自車両が交差点の付近にいるか否の判断に画像認識部42bによる認識結果を用いており、実施の形態4では、自車両が交差点の付近にいるか否の判断に、地図情報データベース9からの地図情報を用いているが、これらの代わりに、或いはこれらとともに、自車両の速度及び運転者によるウィンカーの操作の少なくとも一方に基づいて自車両が交差点にいるかの判断を行なっても良い。
[0096]
実施の形態5.
 本発明の実施の形態5の情報提示装置の全体的構成は、実施の形態1に関し、図1を参照して説明したのと同様である。図17は、実施の形態5の情報提示装置で用いられる情報提示制御装置4dの構成例を示すブロック図である。
[0097]
 図示の情報提示制御装置4dは、図5の情報提示制御装置4と概して同じであるが、危険度判定部49が付加されており、図5の強調判定部44の代わりに、強調判定部44dが設けられている。
[0098]
 危険度判定部49は、画像認識部42からの障害物情報に基づいて、障害物の危険度を判定し、判定結果を示す危険度情報を生成して出力する。
[0099]
 例えば、画像内における障害物の位置に基づいて危険度を判定することとしても良い。
 例えば左補正画像FLについて、図18(a)に示すように、画像のうちの左端に近い部分FLaを危険度の比較的高い領域と指定し、残りの部分FLbを危険度の比較的低い領域と指定する。そして、領域FLa内にある障害物は危険度が高いと判定する。このように判定するのは、領域FLa内にある障害物は自車両により近い位置にあるためである。
[0100]
 同様に、右補正画像FRについて、図18(b)に示すように、画像のうちの右端に近い部分FRaを危険度の比較的高い領域と指定し、残りの部分FRbを危険度の比較的低い領域と指定する。そして、領域FRa内にある障害物は危険度が高いと判定する。このように判定するのは、領域FRa内にある障害物は自車両により近い位置にあるためである。
[0101]
 なお、障害物の種類によって移動速度が異なるため、領域FLa、FRの位置、広さを切り替えても良い。例えば、障害物の種類を判定し、判定結果に応じて、上記の切り替えを行なっても良い。
[0102]
 強調判定部44dは、実施の形態1の強調判定部44の説明で示した障害物情報及び視線情報に加えて、上記した危険度情報をも用いて表示に関する決定を行う。
 画像内に複数の障害物がある場合、最も危険度の高い障害物の危険度に基づいて表示に関する決定を行うこととしても良い。
[0103]
 図19に、実施の形態5における、左表示器5Lにおける表示に関する決定の方法(決定規則)の一例を示す。
[0104]
 条件5Aでは、左側に障害物がなく、運転者の視線が左側に向けられていない。条件5Aが満たされた場合には、表示は不要と判断する。
[0105]
 条件5Bでは、左側に障害物がなく、運転者の視線が左側に向けられている。条件5Bが満たされた場合には、表示が必要と判断する。ただし、障害物がないため、強調処理は不要と判断する。強調処理が不要であることを「強調レベル0」で示す。
[0106]
 条件5Cでは、左側に障害物があり、その危険度は低い。条件5Cが満たされた場合には、視線の方向に関わらず、表示が必要と判断し、強調レベルを1とする。
[0107]
 条件5Dでは、左側に障害物があり、その危険度が高く、運転者の視線は左側に向けられていない。条件5Dが満たされた場合には、表示が必要と判断し、強調レベルを3とする。
[0108]
 条件5Eでは、左側に障害物があり、その危険度が高く、運転者の視線は左側に向けられている。条件5Eが満たされた場合には、表示が必要と判断し、強調レベルを2とする。
[0109]
 条件5Cの場合と、条件5Dの場合と、条件5Eの場合との比較から分かるように、同じく表示が必要と判断する場合でも危険度に応じて強調レベルを変えている。即ち、危険度が高いほど、強調レベルを高くしている。このようにすることで、障害物の危険度が高いほど、運転者により早く認識させることが可能となる。
[0110]
 条件5Dの場合と、条件5Eの場合との比較から分かるように、同じく危険度の高い障害物が左側にあっても、運転者の視線の方向に応じて強調レベルを変えている。例えば、運転者の視線の方向が左向きでなければ、強調レベルをより高くしている。
 このようにするのは、視線の方向が左向きでなければ、運転者が左側の障害物に気付いていない可能性が大きく、強調レベルをより高くすることで、運転者が左側の障害物に気付くのを早くすることが望ましいからである。
[0111]
 なお、ここで示した強調レベル0~3は、実施の形態1、3で示した強調レベル0~2に対して、レベルの数を増やしたものである。
[0112]
 以上、左表示器5Lにおける表示に関する決定について説明したが、右表示器5Rにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器5Rにおける表示に関する決定に当てはまるものとなる。
[0113]
 上記の例では、画像内の障害物の位置に基づいて危険度を判定している。このため比較的簡単な処理で危険度を判定することが可能である。
[0114]
 上記の例では、危険度が比較的高いかどうかを判定している。危険度をその高さに応じて3以上の段階に区分けしてそのいずれであるかに応じて表示に関する決定を行なっても良い。
[0115]
 危険度の判定を上記の方法以外の方法で行っても良い。例えば、自車両と障害物との相対速度に基づいて危険度の判定を行なっても良い。
[0116]
 例えば、他のセンサの結果を利用して危険度の判定を行なってもよい。
 また、実施の形態3及び実施の形態4と同様に、自車両が交差点の付近にいるか否かの判定を行ない、判定結果に基づいて危険度の判定を行なっても良い。例えば、交差点の付近にいる場合には、危険度がより高いと判断しても良い。
[0117]
 上記した実施の形態5によれば、実施の形態1と同様の効果に加えて以下の効果が得られる。
 即ち、危険度情報に基づいて表示に関する決定を行うので、危険度に応じて適切に表示の制御を行うことができる。
例えば、認識した障害物の危険度が高いときは、表示を行うとともに、危険度に応じた強調レベルで強調を行うことができる。一方、危険度が低い場合には、表示を行わず又は表示輝度を大幅に下げることとし、或いは、低い強調レベルで表示を行うことができる。即ち、必要に応じて表示及び強調を行うとともに、不要なときには過度の注意喚起をしないようにすることができる。
[0118]
 実施の形態1~5においては、車外撮像部のカメラとして車両102の前端部であって、幅方向の中央部に広角カメラ2aが設置されている。
 この点は必須ではなく、要するに、図6に示したように、運転者に見えない又は見えにくい方向を撮像できれば良い。即ち、車外撮像部に含まれるカメラの配置、個数に制約はない。
[0119]
 例えば、図20に示すように車両102の前端部の左側の部分104L及び右側の部分104Rに1台ずつ広角ではないカメラ2b、2cを設置することとしても良い。図20に示す例では、カメラ2bは、左前方を中心とする視野角θbの範囲を撮像し、カメラ2cは、右前方を中心とする視野角θcの範囲を撮像する。視野角θb、θcは例えば90度である。
[0120]
 広角ではないカメラを用いる場合には、画像補正部41において歪補正を行う必要がない。また2台のカメラからそれぞれの撮像画像が得られる場合には、画像補正部41では、左画像、右画像の抽出を行う必要がない。
[0121]
 また、図21に示すように、車両102の前端部の左側の部分104Lに設置された第1のカメラ2dで右前方を中心とする視野角θdの範囲を撮像し、車両102の前端部の右側の部分104Rに設置された第2のカメラ2eで左前方を中心とする視野角θeの範囲を撮像することで、車両102の一部が各カメラの撮像範囲に入るようにしても良い。
[0122]
 即ち、車外撮像部2は、車両102の前端部の左側の部分104Lに設置された第1のカメラ2dと、車両102の前端部の右側の部分104Rに設置された第2のカメラ2eとを含み、第1のカメラ2dの視野角θdが、車両102の前方から右横方向までの範囲を含み、第2のカメラ2eの視野角θeが、車両102の前方から左横方向までの範囲を含み、第1のカメラ2dの撮像範囲に、車両102の一部、例えば、前端部の右側部分の少なくとも一部が含まれ、第2のカメラ2eの撮像範囲に、車両102の一部、例えば、前端部の左側部分の少なくとも一部が含まれるものであっても良い。
[0123]
 このようにカメラ2d、2eの各々の撮像範囲に車両102の一部が入るようにすれば、運転者にとって撮像範囲の範囲が把握しやくなり、撮像画像中の位置と実空間の位置との対応付けが容易になるという利点がある。
[0124]
 さらにまた、図22に示すように、車両102の左側の部分105Lと右側の部分105Rに広角カメラ2f、2gを配置し、各カメラで車両102の前方だけでなく車両102の後方をも撮像できるようにしても良い。図示の例では、カメラ2f、2gが車両の前端部の左側の部分の前端部と右側の部分の前端部に配置されているが、左側、右側であればどこでもよく、例えば後方であっても良い。後方に配置することとすれば、後進の際に有効である。
[0125]
 即ち、車外撮像部2が、車両102の左側の部分104Lに設置された第1の広角カメラ2fと、車両102の右側の部分104Rに設置された第2の広角カメラ2gとを含み、第1の広角カメラ2fは、左側方を中心とする視野角θfの範囲を撮像し、第2の広角カメラ2gは、右側方を中心とする視野角θgの範囲を撮像し、視野角θf及び視野角θgは、ともに180度以上であって、第1の広角カメラ2fの撮像範囲に、車両102の左側方、前方及び後方が含まれ、第2の広角カメラ2gの撮像範囲に、車両102の右側方、前方及び後方が含まれるものであっても良い。
[0126]
 このような構成であれば、車両102の左右の広い範囲につき撮像画像が得られるので、広い範囲の障害物に対する注意喚起が可能となる。
[0127]
 実施の形態1について説明した変形は、実施の形態2~5に対して加えることができる。
また、実施の形態2を実施の形態1に対する変形として説明したが、実施の形態3~5に対しても同様の変形を加えることができる。
[0128]
 上記の情報提示制御装置4、4a、4b、4c及び4dの各々は、1又は2以上の処理回路により構成される。
 各処理回路は、専用のハードウェアで構成されていても良く、プロセッサとプログラムメモリとで構成されていても良い。
[0129]
 専用のハードウェアで構成されている場合、各処理回路は、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又はこれらを組み合わせであっても良い。
[0130]
 プロセッサとプログラムメモリとで構成される場合、各処理回路は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現されていても良い。ソフトウェア又はファームウェアはプログラムとして記述され、プログラムメモリに格納される。プロセッサは、プログラムメモリに記憶されたプログラムを読み出して実行することにより、各処理回路の機能を実現する。
[0131]
 ここで、プロセッサとは、例えば、CPU(Central Processing Unit)、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はDSP(Digital Signal Processor)と呼ばれるものであっても良い。
 プログラムメモリは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク等の磁気ディスクであってもよいし、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
[0132]
 情報提示制御装置4、4a、4b、4c及び4dの諸機能は、その一部を専用のハードウェアで実現し、他の一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、情報提示制御装置4、4a、4b、4c又は4dは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上記の各機能を実現することができる。
[0133]
 図23は、情報提示制御装置4、4a、4b、4c又は4dの諸機能を実現する1つのプロセッサを含むコンピュータを示す。
 図示のコンピュータは、プロセッサ941、メモリ942、不揮発性記憶装置943、車外撮像部インタフェース944、車内撮像部インタフェース945、左表示器インタフェース946、及び右表示器インタフェース947を備えている。
 不揮発性記憶装置943は、プロセッサ941が実行するプログラムを記憶している。
 プロセッサ941は、不揮発性記憶装置943に記憶されているプログラムを読み出して、メモリ942に保存し、実行する。
[0134]
 車外撮像部インタフェース944は、情報提示制御装置4、4a、4b、4c又は4dと車外撮像部2との間のインタフェースであり、車外撮像部2から情報提示制御装置4、4a、4b、4c又は4dへ出力される画像情報を中継する。
[0135]
 車内撮像部インタフェース945は、情報提示制御装置4、4a、4b、4c又は4dと車内撮像部3との間のインタフェースであり、車内撮像部3から情報提示制御装置4、4a、4b、4c又は4dへ出力される画像情報を中継する。
[0136]
 左表示器インタフェース946及び右表示器インタフェース947は、情報提示制御装置4、4a、4b、4c又は4dと左表示器5L及び右表示器5Rとの間のインタフェースであり、それぞれ情報提示制御装置4、4a、4b、4c又は4dから左表示器5L及び右表示器5Rに出力される画像を中継する。
[0137]
 図23の車外撮像部2、車内撮像部3、左表示器5L及び右表示器5Rは、図1に示したものと同じであっても良い。
[0138]
 不揮発性記憶装置943は、情報提示制御装置4、4a、4b、4c又は4dにおける処理で用いられる情報をも記憶する。例えば不揮発性記憶装置943には、画像補正部41における画像補正、及び画像認識部42又は42bにおける画像認識、及び強調判定部44、44a、44b又は44dにおける強調判定等に使用されるパラメータ情報を記憶する。
 不揮発性記憶装置943は、情報提示制御装置4、4a、4b、4c又は4dとは独立して設けられた記憶装置であってもよい。例えば、不揮発性記憶装置943として、クラウド上に存在する記憶装置を利用してもよい。
[0139]
 不揮発性記憶装置943は、実施の形態4の地図情報データベース9を兼ねていても良く、地図情報データベースとして別個の記憶装置又は記憶媒体が設けられていても良い。
[0140]
 以上、本発明に係る情報提示制御装置置について説明したが、情報提示制御装置で実施される情情報提示制御方法も本発明の一部を成す。また、これらの装置又は方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録したコンピュータで読取可能な記録媒体も本発明の一部を成す。

符号の説明

[0141]
 2 車外撮像部、 2a~2g カメラ、 3 車内撮像部、 4,4a,4b,4c,4d 情報提示制御装置、 5L 左表示器、 5R 右表示器、 6 音声出力装置、 7 表示灯、 8 位置情報取得装置、 9 地図情報データベース、 41 画像補正部、 42,42b 画像認識部、 43 視線情報取得部、 44,44a,44b,44d 強調判定部、 45 表示制御部、 46 音声出力制御部、 47 表示灯制御部、 48 周辺状況認識部、 49 危険度判定部、 941 プロセッサ、 942 メモリ、 943 不揮発性記憶装置、 944 車外撮像部インタフェース、 945 車内撮像部インタフェース、 946 左表示器インタフェース、 947 右表示器インタフェース。

請求の範囲

[請求項1]
 車両の周辺を撮像し、車外画像を生成する車外撮像部と、
 前記車両の内部を撮像し、車内画像を生成する車内撮像部と、
 複数の表示手段を有する表示装置と、
 前記車外画像から1又は2以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、前記車内画像から運転者の視線の方向を表す視線情報を生成し、前記障害物情報と前記視線情報とに基づいて、前記複数の表示手段の各々における表示に関する決定を行い、該決定に基づいて前記複数に表示手段の各々における表示を制御する情報提示制御装置とを備え、
 前記表示に関する決定は、前記複数の表示手段の各々における、前記車外画像の表示が必要か否かの決定、及び前記車外画像中の各障害物に対する強調処理に関する決定を含み、
 前記強調処理に関する決定は、強調が必要か否かの決定及び強調のレベルの決定を含み、
 前記情報提示制御装置は、認識された1又は2以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる
 ことを特徴とする情報提示装置。
[請求項2]
 前記情報提示制御装置は、前記表示に関する決定において、表示が不要と決定したときは、当該障害物を含む画像の、当該表示手段での表示をさせず、又は表示の輝度を低くする
 ことを特徴とする請求項1に記載の情報提示装置。
[請求項3]
 前記情報提示制御装置は、前記車両の周辺の状況を認識して、周辺状況情報を生成し、
 前記障害物情報及び前記視線情報のみならず、前記周辺状況情報にも基づいて、前記表示に関する決定を行なう
 ことを特徴とする請求項1又は2に記載の情報提示装置。
[請求項4]
 前記情報提示制御装置は、前記車外画像から前記周辺の状況を認識する
 ことを特徴とする請求項3に記載の情報提示装置。
[請求項5]
 前記車両の位置を示す位置情報を取得する位置情報取得装置と、
 地図情報を格納した地図情報データベースとをさらに有し、
 前記情報提示制御装置は、前記位置情報で表される位置の周辺の地図情報を参照することで前記周辺の状況を認識する
 ことを特徴とする請求項3に記載の情報提示装置。
[請求項6]
 前記情報提示制御装置は、前記車外画像中の障害物の各々について危険度を検出して危険度情報を生成し、
 前記障害物情報及び前記視線情報のみならず、前記危険度情報にも基づいて、前記表示に関する決定を行う
 ことを特徴とする請求項1から5のいずれか1項に記載の情報提示装置。
[請求項7]
 前記車外撮像部は、前記車両の前端部に設置された広角カメラを含む
 ことを特徴とする請求項1から6のいずれか1項に記載の情報提示装置。
[請求項8]
 前記車外撮像部は、
 前記車両の前端部の左側の部分に設置された第1のカメラと、
 前記車両の前端部の右側の部分に設置された第2のカメラとを含み、
 前記第1のカメラが、車両の前方から右横方向までの範囲を撮像し、
 前記第2のカメラが、車両の前方から左横方向までの範囲を撮像し、
 前記第1のカメラの撮像範囲に、前記車両の前端部の右側部分の少なくとも一部が含まれ、
 前記第2のカメラの撮像範囲に、前記車両の前端部の左側部分の少なくとも一部が含まれる
 ことを特徴とする請求項1から6のいずれか1項に記載の情報提示装置。
[請求項9]
 前記車外撮像部は、
 前記車両の左側の部分に設置された第1の広角カメラと、
 前記車両の右側の部分に設置された第2の広角カメラとを含み、
 前記第1の広角カメラの撮像範囲に、前記車両の左側方、前方及び後方が含まれ、
 前記第2の広角カメラの撮像範囲に、前記車両の右側方、前方及び後方が含まれる
 ことを特徴とする請求項1から6のいずれか1項に記載の情報提示装置。
[請求項10]
 前記表示装置は、運転者から見て左前方に配置された第1の表示器と、運転者から見て右前方に配置された第2の表示器とを含む
 ことを特徴とする請求項1から9のいずれか1項に記載の情報提示装置。
[請求項11]
 前記表示装置は、運転者から見て左前方に配置された第1の表示領域と、運転者から見て右前方に配置された第2の表示領域とを含む表示面を有する
 ことを特徴とする請求項1から9のいずれか1項に記載の情報提示装置。
[請求項12]
 さらに音声出力装置を有し、
 前記情報提示制御装置は、認識された障害物に対する注意喚起のための音声を、前記音声出力装置に出力させる
 ことを特徴とする請求項1から11のいずれか1項に記載の情報提示装置。
[請求項13]
 複数の表示手段を有する表示装置と、
 車両の周辺を撮像することで生成した車外画像から1又は2以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、
 前記車両の内部を撮像することで生成した車内画像から、運転者の視線の方向を表す視線情報を生成し、
 前記障害物情報と前記視線情報とに基づいて、複数の表示手段の各々における表示に関する決定を行い、該決定に基づいて前記複数に表示手段の各々における表示を制御する情報提示制御方法であって、
 前記表示に関する決定は、前記複数の表示手段の各々における、前記車外画像の表示が必要か否かの決定、及び前記車外画像中の各障害物に対する強調処理に関する決定を含み、
 前記強調処理に関する決定は、強調が必要か否かの決定及び強調のレベルの決定を含み、
 認識された1又は2以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる
 ことを特徴とする情報提示制御方法。
[請求項14]
 請求項13に記載の情報提示制御方法における処理をコンピュータに実行させるためのプログラム。
[請求項15]
 請求項14に記載のプログラムを記録したコンピュータで読取可能な記録媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]