黒人&白人「黒人サムライの弥助は奴隷じゃなかったんだ」

1573年（天正元年）にはカブラルは山口へ足を伸ばした。そこはトーレスが1556年（弘治2年）に訪れてから誰も宣教師が訪れていなかった地域であったので、信徒の大歓迎を受けた。九州に戻って大友宗麟に洗礼を授けたのもカブラルであった。宗麟は若き日に出会ったザビエルへの追憶としてフランシスコの洗礼名を選んだ。

一見、順調に進んでいるかのようであったイエズス会の布教活動だったが、カブラルの方針によって日本人信徒と宣教師たちの間に溝ができつつあった。カブラルは日本語を不可解な言語として、宣教師たちに習得させようとせず、日本人に対してもラテン語もポルトガル語も習得させようとしなかった。それは、日本人がそれらを理解し宣教師たちが話している内容がわかるようになると宣教師を尊敬しなくなる、という理由からだった[1]。さらに日本人が司祭になる道も閉ざしていた。

1579年（天正7年）、総長の名代として日本を訪れた巡察師アレッサンドロ・ヴァリニャーノは、九州においてカブラルから日本人が布教に適していないという悲観的な報告を受けて衝撃を受けた。カブラルは止めたが、ヴァリニャーノはあきらめきれずに畿内へ視察に赴いた。畿内においてヴァリニャーノは多くの優れたキリスト教徒たち、キリシタンの武将たちに会って感激し、日本布教区の問題点が実はカブラルにあるのではないかと考え始めた。

視察を終えたヴァリニャーノはカブラルの宣教方針を完全に否定し、（カブラルが禁じた）日本人司祭の育成、日本布教区と本部との連絡通信の徹底、トーレスの適応主義の復活を指示した。ヴァリニャーノはトーレスの日本文化尊重の姿勢を絶賛し、宣教師が日本の礼儀作法を学ぶことの重要性を指摘している。

カブラルはヴァリニャーノを逆に非難したが、結果として1581年（天正9年）に布教責任者の立場を解任された。

カブラルが日本人を評した言葉に以下のようなものがある[2]。

私は日本人ほど傲慢、貪欲、不安定で、偽装的な国民は見たことがない。…日本人は悪徳に耽っており、かつまた、そのように育てられている

カブラルと対立したヴァリニャーノの記述によれば、カブラルは日本人を黒人とみなすなど、以下のような言動をとっていた[3]。

カブラルは、日本人を黒人で低級な国民と呼び、その他、侮蔑的な表現を用いた。かれはしばしば日本人にむかい、「とどのつまり、おまえたちは日本人(ジャポンイス)だ」というのがつねで、日本人に対して、日本人が誤った低級な人間であることを理解させようとした。