유부남 과장이 자꾸 단둘이 밥 먹자고 함. 내가 오바하는 거임?

입사 2년 차 여자임. 옆 팀 과장(40대 초, 애 둘)이 한 달 전부터 자꾸 단둘이 저녁 먹자고 함.
처음엔 "업무 조언해줄게" 였는데 이제는 "주말에 뭐 해? 맛집 아는데" 로 바뀜.
선 넘는 말은 아직 없음. 그래서 더 애매함. 거절도 세 번 하니까 표정이 굳더라.
동기한테 말했더니 "그냥 후배 챙기는 거 아님? 너무 나간 거 같은데" 함.
근데 챙기는 거면 왜 나만, 왜 꼭 둘이서임? 어느 시점에 인사팀에 말해야 되는 거야?