由于每年的农历日期都对应着不同的阳历日期，需要查阅历法或者利用一些历法软件来确定91年农历5月20日具体对应到阳历是哪一天。确定了阳历日期后，再根据西方星座的划分标准，即根据太阳在黄道上的位置变化而划分的十二个星座区域，来判定该日期的星座归属。
由于没有具体的年份信息，无法直接确定91年农历5月20日是双子座还是巨蟹座。建议使用专业的历法工具或咨询天文学专家，来获得准确的天文数据，进而确定这一天的星座归属。一般来说，在大多数情况下，农历5月属于阳历的双子座季节。但是具体到某一天，需要准确的阳历日期来确定。